Teorema Rao – Blackwell - Rao–Blackwell theorem

În statistici , teorema Rao – Blackwell , uneori denumită teorema Rao – Blackwell – Kolmogorov , este un rezultat care caracterizează transformarea unui estimator arbitrar brut într-un estimator care este optim prin criteriul erorii pătrate medii sau oricare dintre o varietate de criterii similare.

Teorema Rao – Blackwell afirmă că, dacă g ( X ) este orice fel de estimator al unui parametru θ, atunci așteptarea condiționată a g ( X ) dată T ( X ), unde T este o statistică suficientă , este de obicei un estimator mai bun al θ și nu este niciodată mai rău. Uneori se poate construi foarte ușor un estimator g ( X ) foarte brut și apoi se poate evalua acea valoare condiționată așteptată pentru a obține un estimator care este optim în diferite sensuri.

Teorema poartă numele lui Calyampudi Radhakrishna Rao și David Blackwell . Procesul de transformare a unui estimator utilizând teorema Rao – Blackwell este uneori numit Rao – Blackwellization . Estimatorul transformat se numește estimatorul Rao – Blackwell .

Definiții

Un estimator δ ( X ) este o variabilă aleatorie observabilă (adică o statistică ) utilizată pentru estimarea unei cantități neobservabile . De exemplu, este posibil să nu puteți observa înălțimea medie a tuturor studenților de sex masculin de la Universitatea X, dar puteți observa înălțimile unui eșantion aleatoriu de 40 dintre ei. Înălțimea medie a celor 40 - „media eșantionului” - poate fi utilizată ca estimator al „mediei populației” neobservabile.
O statistică suficientă T ( X ) este o statistică calculată din datele X pentru a estima un parametru θ pentru care nicio altă statistică care poate fi calculată din datele X nu oferă informații suplimentare despre θ. Este definită ca o variabilă aleatorie observabilă astfel încât distribuția condițională a probabilității tuturor datelor observabile X dată T ( X ) nu depinde de parametrul neobservabil θ, cum ar fi media sau deviația standard a întregii populații de la care au fost datele X Luat. În exemplele cele mai des citate, cantitățile „neobservabile” sunt parametri care parametrizează o familie cunoscută de distribuții de probabilitate în funcție de care sunt distribuite datele.

Cu alte cuvinte, o statistică suficientă T (X) pentru un parametru θ este o statistică astfel încât distribuția condiționată a datelor X , dată T ( X ), să nu depindă de parametrul θ.

Un estimator Rao – Blackwell δ ₁ ( X ) al unei cantități neobservabile θ este valoarea condiționată așteptată E (δ ( X ) | T ( X )) a unui estimator δ ( X ) având o statistică suficientă T ( X ). Numiți δ ( X ) „estimatorul original” și δ ₁ ( X ) „estimatorul îmbunătățit” . Este important ca estimatorul îmbunătățit să fie observabil , adică să nu depindă de θ. În general, valoarea condiționată așteptată a unei funcții a acestor date, având în vedere o altă funcție a acestor date , depinde de θ, însă însăși definiția de suficiență dată mai sus implică faptul că aceasta nu.
Eroarea medie pătratică a unui estimator de este valoarea așteptată a pătratului abaterii sale de la cantitatea neobservabil fiind estimată.

Teorema

Versiunea de eroare pătrată medie

Un caz al teoremei Rao – Blackwell afirmă:

Eroarea medie pătrată a estimatorului Rao – Blackwell nu o depășește pe cea a estimatorului inițial.

Cu alte cuvinte,

{\ displaystyle \ operatorname {E} ((\ delta _ {1} (X) - \ theta) ^ {2}) \ leq \ operatorname {E} ((\ delta (X) - \ theta) ^ {2} ).}

Instrumentele esențiale ale dovezii pe lângă definiția de mai sus sunt legea așteptării totale și faptul că pentru orice variabilă aleatorie Y , E ( Y ² ) nu poate fi mai mică de [E ( Y )] ² . Această inegalitate este un caz de inegalitate a lui Jensen , deși se poate demonstra că urmează instantaneu din faptul menționat frecvent că

{\ displaystyle 0 \ leq \ operatorname {Var} (Y) = \ operatorname {E} ((Y- \ operatorname {E} (Y)) ^ {2}) = \ operatorname {E} (Y ^ {2} ) - (\ operatorname {E} (Y)) ^ {2}.}

Mai precis, eroarea pătrată medie a estimatorului Rao-Blackwell are următoarea descompunere

{\ displaystyle \ operatorname {E} [(\ delta _ {1} (X) - \ theta) ^ {2}] = \ operatorname {E} [(\ delta (X) - \ theta) ^ {2}] - \ operatorname {E} [\ operatorname {Var} (\ delta (X) \ mid T (X))]}

Din moment ce urmează imediat teorema Rao-Blackwell. ${\ displaystyle \ operatorname {E} [\ operatorname {Var} (\ delta (X) \ mid T (X))] \ geq 0}$

Generalizarea pierderii convexe

Versiunea mai generală a teoremei Rao – Blackwell vorbește despre „pierderea așteptată” sau funcția de risc :

{\ displaystyle \ operatorname {E} (L (\ delta _ {1} (X))) \ leq \ operatorname {E} (L (\ delta (X)))}

unde "funcția de pierdere" L poate fi orice funcție convexă . Dacă funcția de pierdere este de două ori diferențiată, ca în cazul erorii medii pătrate, atunci avem inegalitatea mai accentuată

{\ displaystyle \ operatorname {E} (L (\ delta (X))) - \ operatorname {E} (L (\ delta _ {1} (X))) \ geq {\ frac {1} {2}} \ operatorname {E} _ {T} \ left [\ inf _ {x} L '' (x) \ operatorname {Var} (\ delta (X) \ mid T) \ right].}

Proprietăți

Estimatorul îmbunătățit este imparțial dacă și numai dacă estimatorul original este imparțial, așa cum se poate vedea imediat utilizând legea așteptării totale . Teorema se menține indiferent dacă se utilizează estimatori imparțiali sau imparțiali.

Teorema pare foarte slabă: spune doar că estimatorul Rao – Blackwell nu este mai rău decât estimatorul inițial. Cu toate acestea, în practică, îmbunătățirea este adesea enormă.

Exemplu

Apelurile telefonice ajung la o centrală conform unui proces Poisson la o rată medie de λ pe minut. Această rată nu este observabilă, dar sunt observate numerele X ₁ , ..., X _n ale apelurilor telefonice care au sosit în n perioade succesive de un minut. Este de dorit să se estimeze probabilitatea e ^-A că următoarea perioadă de un minut trece cu nici un telefon.

Un estimator extrem de brut al probabilității dorite este

{\ displaystyle \ delta _ {0} = \ left \ {{\ begin {matrix} 1 & {\ text {if}} \ X_ {1} = 0, \\ 0 & {\ text {altfel,}} \ end { matrice}} \ dreapta.}

adică, estimează această probabilitate a fi 1 dacă nu s-au sosit apeluri telefonice în primul minut și zero altfel. În ciuda limitelor aparente ale acestui estimator, rezultatul dat de Rao-Blackwellization este un estimator foarte bun.

Suma

{\ displaystyle S_ {n} = \ sum _ {i = 1} ^ {n} X_ {i} = X_ {1} + \ cdots + X_ {n}}

poate fi ușor arătat a fi o statistică suficientă pentru λ, adică distribuția condiționată a datelor X ₁ , ..., X _n , depinde de λ numai prin această sumă. Prin urmare, găsim estimatorul Rao – Blackwell

{\ displaystyle \ delta _ {1} = \ operatorname {E} (\ delta _ {0} \ mid S_ {n} = s_ {n}).}

După ce am făcut niște algebre avem

{\ displaystyle {\ begin {align} \ delta _ {1} & = \ operatorname {E} \ left (\ mathbf {1} _ {\ {X_ {1} = 0 \}} {\ Bigg |} \ sum _ {i = 1} ^ {n} X_ {i} = s_ {n} \ right) \\ & = P \ left (X_ {1} = 0 {\ Bigg |} \ sum _ {i = 1} ^ {n} X_ {i} = s_ {n} \ right) \\ & = P \ left (X_ {1} = 0, \ sum _ {i = 2} ^ {n} X_ {i} = s_ {n } \ right) \ times P \ left (\ sum _ {i = 1} ^ {n} X_ {i} = s_ {n} \ right) ^ {- 1} \\ & = e ^ {- \ lambda} {\ frac {\ left ((n-1) \ lambda \ right) ^ {s_ {n}} e ^ {- (n-1) \ lambda}} {s_ {n}!}} \ times \ left ( {\ frac {(n \ lambda) ^ {s_ {n}} e ^ {- n \ lambda}} {s_ {n}!}} \ right) ^ {- 1} \\ & = {\ frac {\ left ((n-1) \ lambda \ right) ^ {s_ {n}} e ^ {- n \ lambda}} {s_ {n}!}} \ times {\ frac {s_ {n}!} {( n \ lambda) ^ {s_ {n}} e ^ {- n \ lambda}}} \\ & = \ left (1 - {\ frac {1} {n}} \ right) ^ {s_ {n}} \ end {align}}}

Deoarece numărul mediu de apeluri care sosesc în primele n minute este n λ, s-ar putea să nu fim surprinși dacă acest estimator are o probabilitate destul de mare (dacă n este mare) de a fi aproape de

{\ displaystyle \ left (1- {1 \ over n} \ right) ^ {n \ lambda} \ approx e ^ {- \ lambda}.}

Deci δ ₁ este în mod clar un estimator foarte îmbunătățit al ultimei cantități. De fapt, din moment ce S _n este complet și δ ₀ este imparțial, δ ₁ este estimatorul unic de variație minimă imparțial de către teorema Lehmann-Scheffé .

Idempotență

Rao – Blackwellization este o operație idempotentă . Folosirea acestuia pentru a îmbunătăți estimatorul deja îmbunătățit nu obține o îmbunătățire suplimentară, ci doar returnează ca rezultat același estimator îmbunătățit.

Completitudine și varianță minimă Lehmann – Scheffé

Dacă statistica de condiționare este atât completă, cât și suficientă , iar estimatorul inițial este imparțial, atunci estimatorul Rao – Blackwell este „ cel mai bun estimator imparțial ” unic : vezi teorema Lehmann-Scheffé .

Un exemplu de îmbunătățire Rao – Blackwell îmbunătățibilă, atunci când se utilizează o statistică minimă suficientă, care nu este completă , a fost furnizat de Galili și Meilijson în 2016. Fie un eșantion aleatoriu dintr-o distribuție uniformă la scară cu medie necunoscută și parametru de proiectare cunoscut . În căutarea „celor mai buni” estimatori nepărtinitori posibili , este firesc să se ia în considerare un estimator inițial (brut) imparțial pentru și apoi să încerce să-l îmbunătățească. Deoarece nu este o funcție a statisticii minime suficiente pentru (unde și ), poate fi îmbunătățită folosind teorema Rao-Blackwell după cum urmează: ${\ displaystyle X_ {1}, \ ldots, X_ {n}}$ ${\ displaystyle X \ sim U \ left ((1-k) \ theta, (1 + k) \ theta \ right),}$ ${\ displaystyle E [X] = \ theta}$ ${\ displaystyle k \ in (0,1)}$ ${\ displaystyle \ theta,}$ ${\ displaystyle X_ {1}}$ ${\ displaystyle \ theta}$ ${\ displaystyle X_ {1}}$ ${\ displaystyle T = \ left (X _ {(1)}, X _ {(n)} \ right)}$ ${\ displaystyle \ theta}$ ${\ displaystyle X _ {(1)} = \ min (X_ {i})}$ ${\ displaystyle X _ {(n)} = \ max (X_ {i})}$