1961 veröffentlichten James und Stein das Paper "Estimation with Quadratic Loss". Man nehme normalverteilte Daten mit einem unbekannten Mittelwert \(\mu\) und Varianz \(1\). Wählt man nun einen zufälligen Wert \(x\) aus diesen Daten und muss auf Basis dessen den Mittelwert \(\mu\) schätzen, ist intuitiv \(x\) ein vernünftiger Schätzwert für \(\mu\) (da eine Normalverteilung vorliegt, befindet sich das zufällig gewählte \(x\) wahrscheinlich in der Nähe von \(\mu\)).
Nun wiederholt man das Experiment – dieses Mal mit drei voneinander unabhängigen, erneut normalverteilten Datensätzen mit jeweils Varianz \(1\) und den Mittelwerten \(\mu_1\), \(\mu_2\), \(\mu_3\). Nachdem man drei zufällige Werte \(x_1\), \(x_2\) und \(x_3\) erhalten hat, schätzt man (nach denselben Vorgehensweise) \(\mu_1=x_1\), \(\mu_2=x_2\) und \(\mu_3=x_3\).
Das überraschende Resultat von James und Stein ist, dass es einen besseren Schätzwert für \( \left( \mu_1, \mu_2, \mu_3 \right) \) (also der Kombination der drei unabhängigen Datensätze) gibt als \( \left( x_1, x_2, x_3 \right) \). Der "James-Stein-Schätzer" lautet dann:
$$ \begin{pmatrix}\mu_1\\\mu_2\\\mu_3\end{pmatrix} = \left( 1-\frac{1}{x_1^2+x_2^2+x_3^2} \right) \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} \neq \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} $$
Die mittlere quadratische Abweichung dieses Schätzers ist dann stets kleiner als die mittlere quadratische Abweichung \( E \left[ \left|| X - \mu \right||^2 \right] \) des gewöhnlichen Schätzers.
Überraschend und vielleicht paradox ist es, dass der James-Stein-Schätzer den gewöhnlichen Schätzer (durch einen Schrumpfungsfaktor) hin zum Ursprung verschiebt und damit in der Mehrzahl der Fälle ein besseres Ergebnis liefert. Das gilt für Dimensionen \( \geq 3 \), nicht jedoch im zweidimensionalen Fall.
Eine schöne geometrische Erklärung, warum das funktioniert, liefern Brown & Zao. Man beachte, dass dies nicht heißt, einen besseren Schätzwert für jeden einzelnen Datensatz zu haben – man hat nur eben einen besseren Schätzer mit einem kleineren kombinierten Risiko.