Paradoxul lui Stein

În 1961, James și Stein au publicat lucrarea Estimation with Quadratic Loss . Luați date distribuite normal cu o medie necunoscută \(\mu\) și varianță \(1\) . Dacă acum alegeți o valoare aleatorie \(x\) din aceste date și trebuie să estimați media \(\mu\) pe baza acesteia, intuitiv \(x\) este o estimare rezonabilă pentru \(\mu\) (deoarece este prezentă o distribuție normală, \(x\) aleasă aleatoriu este probabil aproape \(\mu\) ).


Acum experimentul se repetă - de data aceasta cu trei seturi de date independente, din nou distribuite în mod normal, fiecare cu varianță \(1\) și valorile medii \(\mu_1\) , \(\mu_2\) , \(\mu_3\) . După obținerea a trei valori aleatoare \(x_1\) , \(x_2\) și \(x_3\) , se estimează (folosind aceeași procedură) \(\mu_1=x_1\) , \(\mu_2=x_2\) și \(\mu_3=x_3\) .

Rezultatul surprinzător al lui James și Stein este că există o estimare mai bună pentru \( \left( \mu_1, \mu_2, \mu_3 \right) \) (adică combinația celor trei seturi de date independente) decât \( \left( x_1, x_2, x_3 \right) \) . „Estimatorul James Stein” este atunci:

$$ \begin{pmatrix}\mu_1\\\mu_2\\\mu_3\end{pmatrix} = \left( 1-\frac{1}{x_1^2+x_2^2+x_3^2} \right) \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} \neq \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} $$

Abaterea pătratică medie a acestui estimator este atunci întotdeauna mai mică decât abaterea pătratică medie \( E \left[ \left|| X - \mu \right||^2 \right] \) a estimatorului obișnuit.

Este surprinzător și poate paradoxal faptul că estimatorul James-Stein deplasează estimatorul obișnuit (prin un factor de micșorare) către origine și, astfel, dă un rezultat mai bun în majoritatea cazurilor. Acest lucru se aplică dimensiunilor \( \geq 3 \) , dar nu și în cazul bidimensional.

O explicație geometrică frumoasă a motivului pentru care funcționează este oferită de Brown & Zao . Rețineți că acest lucru nu înseamnă că aveți o estimare mai bună pentru fiecare set de date - aveți doar o estimare mai bună, cu un risc combinat mai mic.

Înapoi