Testul raportului de probabilitate - Likelihood-ratio test

În statistici , testul raportului de probabilitate evaluează bunătatea potrivirii a două modele statistice concurente pe baza raportului probabilităților lor , în mod specific unul găsit prin maximizarea întregului spațiu de parametri și altul găsit după impunerea unor constrângeri . Dacă constrângerea (adică ipoteza nulă ) este susținută de datele observate , cele două probabilități nu ar trebui să difere cu mai mult decât eroarea de eșantionare . Astfel, testul raportului de probabilitate testează dacă acest raport este semnificativ diferit de unul sau echivalent dacă logaritmul său natural este semnificativ diferit de zero.

Testul raportului de probabilitate, cunoscut și sub numele de testul Wilks , este cea mai veche dintre cele trei abordări clasice ale testării ipotezelor, împreună cu testul multiplicator Lagrange și testul Wald . De fapt, ultimele două pot fi conceptualizate ca aproximări la testul raportului de probabilitate și sunt echivalente asimptotic. În cazul comparării a două modele dintre care fiecare nu are parametri necunoscuți , utilizarea testului raportului de probabilitate poate fi justificată de lema Neyman-Pearson . Lema demonstrează că testul are cea mai mare putere dintre toți concurenții.

Definiție

General

Să presupunem că avem un model statistic cu spațiu de parametri . O ipoteză nulă este adesea afirmată spunând că parametrul se află într-un subset specificat de . Ipoteza alternativă este , așadar , că este în completarea lui , adică în care este notat cu . Statistica testului raportului de probabilitate pentru ipoteza nulă este dată de: ${\ displaystyle \ Theta}$${\ displaystyle \ theta}$${\ displaystyle \ Theta _ {0}}$${\ displaystyle \ Theta}$${\ displaystyle \ theta}$${\ displaystyle \ Theta _ {0}}$${\ displaystyle \ Theta ~ \ backslash ~ \ Theta _ {0}}$${\ displaystyle \ Theta _ {0} ^ {\ text {c}}}$${\ displaystyle H_ {0} \,: \, \ theta \ in \ Theta _ {0}}$

${\ displaystyle \ lambda _ {\ text {LR}} = - 2 \ ln \ left [{\ frac {~ \ sup _ {\ theta \ in \ Theta _ {0}} {\ mathcal {L}} (\ theta) ~} {~ \ sup _ {\ theta \ in \ Theta} {\ mathcal {L}} (\ theta) ~}} \ right]}$

unde cantitatea din paranteze se numește raport de probabilitate. Aici, notația se referă la suprem . Deoarece toate probabilitățile sunt pozitive și, deoarece maximul constrâns nu poate depăși maximul necontrolat, raportul de probabilitate este limitat între zero și unu. ${\ displaystyle \ sup}$

Adesea statistica testului raportului de probabilitate este exprimată ca o diferență între probabilitățile de log

${\ displaystyle \ lambda _ {\ text {LR}} = - 2 \ left [~ \ ell (\ theta _ {0}) - \ ell ({\ hat {\ theta}} ~ \ right]}$

Unde

${\ displaystyle \ ell ({\ hat {\ theta}}) \ equiv \ ln \ left [~ \ sup _ {\ theta \ in \ Theta} {\ mathcal {L}} (\ theta) ~ \ right] ~ }$

este logaritmul funcției de probabilitate maximizată și este valoarea maximă în cazul special că ipoteza nulă este adevărată (dar nu neapărat o valoare care se maximizează pentru datele eșantionate) și ${\ displaystyle {\ mathcal {L}}}$${\ displaystyle \ ell (\ theta _ {0})}$${\ displaystyle {\ mathcal {L}}}$

${\ displaystyle \ theta _ {0} \ in \ Theta _ {0} \ qquad {\ text {și}} \ qquad {\ hat {\ theta}} \ in \ Theta ~}$

denotați argumentele respective ale valorilor maxime și ale intervalelor permise în care sunt încorporate. Înmulțirea cu −2 asigură matematic că (prin teorema lui Wilks ) converge asimptotic spre a fi distribuite χ ² dacă ipoteza nulă este adevărată. Cele Distribuțiile finite eșantion testelor probabilitate ratio sunt în general necunoscute. ${\ displaystyle \ lambda _ {\ text {LR}}}$

Testul raportului de probabilitate necesită ca modelele să fie imbricate - adică modelul mai complex poate fi transformat în modelul mai simplu prin impunerea de constrângeri asupra parametrilor primului. Multe statistici comune de testare sunt teste pentru modele imbricate și pot fi formulate ca raporturi log-probabilitate sau aproximări ale acestora: de exemplu, Z si testul , The F si testul , The G - test , și testul chi-pătrat Pearson ; pentru o ilustrare cu un eșantion t -test , vezi mai jos.

Dacă modelele nu sunt imbricate, atunci în loc de testul raportului de probabilitate, există o generalizare a testului care poate fi utilizată de obicei: pentru detalii, consultați probabilitatea relativă .

Caz de ipoteze simple

Un test de ipoteză simplu vs. simplu a specificat complet modele atât în ​​ipoteza nulă, cât și în ipoteza alternativă, care pentru comoditate sunt scrise în termeni de valori fixe ale unui parametru noțional : ${\ displaystyle \ theta}$

${\ displaystyle {\ begin {align} H_ {0} &: & \ theta = \ theta _ {0}, \\ H_ {1} &: & \ theta = \ theta _ {1}. \ end {align} }}$

În acest caz, în ambele ipoteze, distribuția datelor este complet specificată: nu există parametri necunoscuți de estimat. Pentru acest caz, este disponibilă o variantă a testului raportului de probabilitate:

${\ displaystyle \ Lambda (x) = {\ frac {~ {\ mathcal {L}} (\ theta _ {0} \ mid x) ~} {~ {\ mathcal {L}} (\ theta _ {1} \ mid x) ~}}}$

Unele referințe mai vechi pot folosi reciprocitatea funcției de mai sus ca definiție. Astfel, raportul de probabilitate este mic dacă modelul alternativ este mai bun decât modelul nul.

Testul raportului de probabilitate oferă regula deciziei după cum urmează:

Dacă nu respingeți ;${\ displaystyle ~ \ Lambda> c ~}$${\ displaystyle H_ {0}}$

Dacă , respinge ;${\ displaystyle ~ \ Lambda <c ~}$${\ displaystyle H_ {0}}$

Respingeți cu probabilitate dacă${\ displaystyle ~ q ~}$${\ displaystyle ~ \ Lambda = c ~.}$

Valorile și sunt de obicei alese pentru a obține un nivel de semnificație specificat , prin relație ${\ displaystyle c}$${\ displaystyle q}$ ${\ displaystyle \ alpha}$

${\ displaystyle ~ q \ cdot \ operatorname {P} (\ Lambda = c \ mid H_ {0}) ~ + ~ \ operatorname {P} (\ Lambda <c \ mid H_ {0}) ~ = ~ \ alpha ~ .}$

Neyman-Pearson Lema afirmă că acest test de probabilitate-raport este cel mai puternic dintre toate la nivel de teste pentru acest caz. ${\ displaystyle \ alpha}$

Interpretare

Raportul de probabilitate este o funcție a datelor ; prin urmare, este o statistică , deși neobișnuită prin aceea că valoarea statisticii depinde de un parametru ,. Testul raportului de probabilitate respinge ipoteza nulă dacă valoarea acestei statistici este prea mică. Cât de mic este prea mic depinde de nivelul de semnificație al testului, adică de ce probabilitate de eroare de tip I este considerată tolerabilă (erorile de tip I constau în respingerea unei ipoteze nule care este adevărată). ${\ displaystyle x}$${\ displaystyle \ theta}$

Numărătorul corespunde probabilitatea unui rezultat observat sub ipoteza nulă . La numitor corespunde probabilității maxime a unui rezultat observat, parametrii peste întregul spațiu parametru care variază. Numărătorul acestui raport este mai mic decât numitorul; deci, raportul de probabilitate este între 0 și 1. Valorile scăzute ale raportului de probabilitate înseamnă că rezultatul observat a fost mult mai puțin probabil să apară sub ipoteza nulă în comparație cu alternativa. Valorile ridicate ale statisticii înseamnă că rezultatul observat a fost aproape la fel de probabil să apară sub ipoteza nulă ca alternativă, și astfel ipoteza nulă nu poate fi respinsă.

Un exemplu

Următorul exemplu este adaptat și prescurtat de la Stuart, Ord și Arnold (1999 , §22.2).

Să presupunem că avem un eșantion aleatoriu, de mărimea n , dintr-o populație care este distribuită în mod normal. Atât media, μ , cât și abaterea standard, σ , a populației sunt necunoscute. Vrem să testăm dacă media este egală cu o valoare dată, μ ₀ .

Astfel, ipoteza noastră nulă este H ₀ :  μ = μ _0,  iar ipoteza noastră alternativă este H ₁ :  μ ≠ μ ₀  . Funcția de probabilitate este

${\ displaystyle {\ mathcal {L}} (\ mu, \ sigma \ mid x) = \ left (2 \ pi \ sigma ^ {2} \ right) ^ {- n / 2} \ exp \ left (- \ sum _ {i = 1} ^ {n} {\ frac {(x_ {i} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ right) \ ,.}$

Cu un anumit calcul (omis aici), se poate arăta că

${\ displaystyle \ lambda = \ left (1 + {\ frac {t ^ {2}} {n-1}} \ right) ^ {- n / 2}}$

unde t este statisticul t cu n  - 1 grade de libertate. Prin urmare, putem folosi distribuția exactă cunoscută a lui t _{n -1} pentru a trage inferențe.

Distribuție asimptotică: teorema lui Wilks

Dacă distribuția raportului de probabilitate corespunzătoare unei anumite ipoteze nule și alternative poate fi determinată în mod explicit, atunci poate fi utilizată direct pentru a forma regiuni de decizie (pentru a susține sau respinge ipoteza nulă). Cu toate acestea, în majoritatea cazurilor, distribuția exactă a raportului de probabilitate corespunzătoare unor ipoteze specifice este foarte dificil de determinat.

Presupunând că H ₀ este adevărat, există un rezultat fundamental al lui Samuel S. Wilks : Pe măsură ce dimensiunea eșantionului se apropie , statisticile de test definite mai sus vor fi distribuite asimptotic chi-pătrat ( ) cu grade de libertate egale cu diferența de dimensionalitate a și . Aceasta implică faptul că, pentru o mare varietate de ipoteze, putem calcula raportul de probabilitate pentru date și apoi putem compara valoarea observată cu valoarea corespunzătoare unei semnificații statistice dorite ca un test statistic aproximativ . Există și alte extensii. ${\ displaystyle n}$${\ displaystyle \ infty}$${\ displaystyle \ lambda _ {\ text {LR}}}$ ${\ displaystyle \ chi ^ {2}}$${\ displaystyle \ Theta}$${\ displaystyle \ Theta _ {0}}$${\ displaystyle \ lambda}$${\ displaystyle \ lambda _ {\ text {LR}}}$${\ displaystyle \ chi ^ {2}}$

Vezi si

• Criteriul de informare Akaike
• Factorul Bayes
• Testul Johansen
• Selectarea modelului
• Testul de apropiere al lui Vuong
• Testul Sup-LR
• Exponenți de eroare în testarea ipotezelor

Referințe

Lecturi suplimentare

• Glover, Scott; Dixon, Peter (2004), „Ratele de probabilitate: o statistică simplă și flexibilă pentru psihologii empirici”, Psychonomic Bulletin & Review , 11 (5): 791–806, doi : 10.3758 / BF03196706
• Held, Leonhard; Sabanés Bové, Daniel (2014), Inferință statistică aplicată - Probabilitate și Bayes , Springer
• Kalbfleisch, JG (1985), Probabilitate și inferență statistică , 2 , Springer-Verlag
• Perlman, Michael D .; Wu, Lang (1999), „Noile teste ale împăratului”, Știința statistică , 14 (4): 355–381, doi : 10.1214 / ss / 1009212517
• Perneger, Thomas V. (2001), "Sifting the evidence: Likelihood ratio are alternatives to P values", The BMJ , 322 (7295): 1184–5, doi : 10.1136 / bmj.322.7295.1184 , PMC  1120301 , PMID  11379590
• Pinheiro, José C .; Bates, Douglas M. (2000), Modele cu efecte mixte în S și S-PLUS , Springer-Verlag , pp. 82-93
• Solomon, Daniel L. (1975), „O notă cu privire la non-echivalența testelor Neyman-Pearson și a raportului de probabilitate generalizat pentru testarea unui simplu nul față de o simplă ipoteză alternativă” (PDF) , The American Statistician , 29 (2) : 101–102, doi : 10.1080 / 00031305.1975.10477383 , hdl : 1813/32605

linkuri externe

• Aplicarea practică a testului raportului de probabilitate descris
• Pachet R: Testul raportului de probabilitate secvențială Wald
• Valorile predictive ale Richard Lowry și ratele de probabilitate Calculator clinic online