Steins paradox

In 1961 publiceerden James en Stein het artikel Estimation with Quadratic Loss . Neem normaal verdeelde gegevens met een onbekend gemiddelde \(\mu\) en variantie \(1\) . Als je nu uit deze gegevens een willekeurige waarde \(x\) kiest en op basis daarvan het gemiddelde \(\mu\) moet schatten, is intuïtief \(x\) een redelijke schatting voor \(\mu\) (aangezien er een normale verdeling aanwezig is, ligt de willekeurig gekozen \(x\) waarschijnlijk in de buurt van \(\mu\) ).


Nu wordt het experiment herhaald - dit keer met drie onafhankelijke, wederom normaal verdeelde datasets elk met variantie \(1\) en de gemiddelde waarden \(\mu_1\) , \(\mu_2\) , \(\mu_3\) . Na het verkrijgen van drie willekeurige waarden \(x_1\) , \(x_2\) en \(x_3\) , schat men (volgens dezelfde procedure) \(\mu_1=x_1\) , \(\mu_2=x_2\) en \(\mu_3=x_3\) .

Het verrassende resultaat van James en Stein is dat er een betere schatting is voor \( \left( \mu_1, \mu_2, \mu_3 \right) \) (d.w.z. de combinatie van de drie onafhankelijke datasets) dan \( \left( x_1, x_2, x_3 \right) \) . De "James Stein schatter" is dan:

$$ \begin{pmatrix}\mu_1\\\mu_2\\\mu_3\end{pmatrix} = \left( 1-\frac{1}{x_1^2+x_2^2+x_3^2} \right) \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} \neq \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} $$

De gemiddelde kwadratische afwijking van deze schatter is dan altijd kleiner dan de gemiddelde kwadratische afwijking \( E \left[ \left|| X - \mu \right||^2 \right] \) van de gebruikelijke schatter.

Het is verrassend en misschien paradoxaal dat de James-Stein schatter de gebruikelijke schatter (met een krimpfactor) naar de oorsprong verschuift en zo in de meeste gevallen een beter resultaat geeft. Dit geldt voor dimensies \( \geq 3 \) , maar niet in het tweedimensionale geval.

Een mooie geometrische verklaring waarom dit werkt wordt geleverd door Brown & Zao . Merk op dat dit niet betekent dat u een betere schatting heeft voor elke afzonderlijke dataset - u heeft alleen een betere schatting met een kleiner gecombineerd risico.

Terug