1961 publicerade James och Stein tidningen Estimation with Quadratic Loss . Ta normalfördelade data med ett okänt medelvärde \(\mu\) och varians \(1\) . Om du nu väljer ett slumpmässigt värde \(x\) från dessa data och måste uppskatta medelvärdet \(\mu\) utifrån detta, är \(x\) intuitivt en rimlig uppskattning för \(\mu\) (eftersom en normalfördelning finns, är den slumpmässigt valda \(x\) förmodligen nära \(\mu\) ).
Nu upprepas experimentet - denna gång med tre oberoende, återigen normalfördelade datamängder var och en med varians \(1\) och medelvärdena \(\mu_1\) , \(\mu_2\) , \(\mu_3\) . Efter att ha erhållit tre slumpmässiga värden \(x_1\) , \(x_2\) och \(x_3\) , uppskattar man (med samma procedur) \(\mu_1=x_1\) , \(\mu_2=x_2\) och \(\mu_3=x_3\) .
Det överraskande resultatet av James och Stein är att det finns en bättre uppskattning för \( \left( \mu_1, \mu_2, \mu_3 \right) \) (dvs kombinationen av de tre oberoende datamängderna) än \( \left( x_1, x_2, x_3 \right) \) . "James Stein estimator" är då:
$$ \begin{pmatrix}\mu_1\\\mu_2\\\mu_3\end{pmatrix} = \left( 1-\frac{1}{x_1^2+x_2^2+x_3^2} \right) \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} \neq \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} $$
Medelkvadratavvikelsen för denna estimator är då alltid mindre än medelkvadratavvikelsen \( E \left[ \left|| X - \mu \right||^2 \right] \) för den vanliga estimatorn.
Det är förvånande och kanske paradoxalt att James-Stein-estimatorn flyttar den vanliga estimatorn (med en krympande faktor) mot ursprunget och därmed ger ett bättre resultat i de flesta fall. Detta gäller dimensioner \( \geq 3 \) , men inte i det tvådimensionella fallet.
En trevlig geometrisk förklaring till varför detta fungerar tillhandahålls av Brown & Zao . Observera att detta inte betyder att du har en bättre uppskattning för varje enskild datamängd – du har bara en bättre uppskattning med en mindre kombinerad risk.