En 1961, James et Stein ont publié l'article Estimation with Quadratic Loss . Prenez des données distribuées normalement avec une moyenne inconnue \(\mu\) et une variance \(1\) . Si vous choisissez maintenant une valeur aléatoire \(x\) à partir de ces données et devez estimer la moyenne \(\mu\) sur cette base, intuitivement \(x\) est une estimation raisonnable pour \(\mu\) (puisqu'une distribution normale est présente, le \(x\) choisi au hasard est probablement proche de \(\mu\) ).
Maintenant, l'expérience est répétée - cette fois avec trois ensembles de données indépendants, à nouveau normalement distribués, chacun avec une variance \(1\) et les valeurs moyennes \(\mu_1\) , \(\mu_2\) , \(\mu_3\) . Après avoir obtenu trois valeurs aléatoires \(x_1\) , \(x_2\) et \(x_3\) , on estime (selon la même procédure) \(\mu_1=x_1\) , \(\mu_2=x_2\) et \(\mu_3=x_3\) .
Le résultat surprenant de James et Stein est qu'il existe une meilleure estimation pour \( \left( \mu_1, \mu_2, \mu_3 \right) \) (c'est-à-dire la combinaison des trois ensembles de données indépendants) que \( \left( x_1, x_2, x_3 \right) \) . L'"estimateur de James Stein" est alors:
$$ \begin{pmatrix}\mu_1\\\mu_2\\\mu_3\end{pmatrix} = \left( 1-\frac{1}{x_1^2+x_2^2+x_3^2} \right) \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} \neq \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} $$
L'écart quadratique moyen de cet estimateur est alors toujours inférieur à l'écart quadratique moyen \( E \left[ \left|| X - \mu \right||^2 \right] \) de l'estimateur usuel.
Il est surprenant et peut-être paradoxal que l'estimateur de James-Stein déplace l'estimateur usuel (d'un facteur de contraction) vers l'origine et donne ainsi un meilleur résultat dans la majorité des cas. Cela s'applique aux dimensions \( \geq 3 \) , mais pas dans le cas bidimensionnel.
Une belle explication géométrique de la raison pour laquelle cela fonctionne est fournie par Brown & Zao . Notez que cela ne signifie pas que vous avez une meilleure estimation pour chaque ensemble de données - vous avez juste une meilleure estimation avec un risque combiné plus petit.