I 1961 udgav James og Stein papiret Estimation with Quadratic Loss . Tag normalfordelte data med en ukendt middelværdi \(\mu\) og varians \(1\) . Hvis du nu vælger en tilfældig værdi \(x\) fra disse data og skal estimere middelværdien \(\mu\) på baggrund af dette, er \(x\) intuitivt et rimeligt estimat for \(\mu\) (da en normalfordeling er til stede, er den tilfældigt valgte \(x\) sandsynligvis nær \(\mu\) ).
Nu gentages eksperimentet - denne gang med tre uafhængige, igen normalfordelte datasæt hver med varians \(1\) og middelværdierne \(\mu_1\) , \(\mu_2\) , \(\mu_3\) . Efter at have opnået tre tilfældige værdier \(x_1\) , \(x_2\) og \(x_3\) estimerer man (ved hjælp af samme procedure) \(\mu_1=x_1\) , \(\mu_2=x_2\) og \(\mu_3=x_3\) .
Det overraskende resultat af James og Stein er, at der er et bedre estimat for \( \left( \mu_1, \mu_2, \mu_3 \right) \) (dvs. kombinationen af de tre uafhængige datasæt) end \( \left( x_1, x_2, x_3 \right) \) . "James Stein-estimatoren" er derefter:
$$ \begin{pmatrix}\mu_1\\\mu_2\\\mu_3\end{pmatrix} = \left( 1-\frac{1}{x_1^2+x_2^2+x_3^2} \right) \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} \neq \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} $$
Den gennemsnitlige kvadratafvigelse for denne estimator er da altid mindre end den gennemsnitlige kvadratiske afvigelse \( E \left[ \left|| X - \mu \right||^2 \right] \) af den sædvanlige estimator.
Det er overraskende og måske paradoksalt, at James-Stein-estimatoren flytter den sædvanlige estimator (med en skrumpende faktor) mod oprindelsen og dermed giver et bedre resultat i de fleste tilfælde. Dette gælder for dimensioner \( \geq 3 \) , men ikke i det todimensionale tilfælde.
En flot geometrisk forklaring på hvorfor dette virker er leveret af Brown & Zao . Bemærk, at det ikke betyder, at du har et bedre estimat for hvert enkelt datasæt - du har bare et bedre estimat med en mindre samlet risiko.