En 1961, James y Stein publicaron el artículo Estimación con pérdida cuadrática . Tome datos distribuidos normalmente con una media desconocida \(\mu\) y varianza \(1\) . Si ahora elige un valor aleatorio \(x\) de estos datos y tiene que estimar la media \(\mu\) sobre la base de esto, intuitivamente \(x\) es una estimación razonable para \(\mu\) (Dado que está presente una distribución normal, el \(x\) elegido al azar probablemente esté cerca de \(\mu\) ).
Ahora se repite el experimento, esta vez con tres conjuntos de datos independientes, nuevamente distribuidos normalmente, cada uno con varianza \(1\) y los valores medios \(\mu_1\) , \(\mu_2\) , \(\mu_3\) . Después de obtener tres valores aleatorios \(x_1\) , \(x_2\) y \(x_3\) , se estima (usando el mismo procedimiento) \(\mu_1=x_1\) , \(\mu_2=x_2\) y \(\mu_3=x_3\) .
El sorprendente resultado de James y Stein es que hay una mejor estimación para \( \left( \mu_1, \mu_2, \mu_3 \right) \) (es decir, la combinación de los tres conjuntos de datos independientes) que \( \left( x_1, x_2, x_3 \right) \) . El "estimador de James Stein" es entonces:
$$ \begin{pmatrix}\mu_1\\\mu_2\\\mu_3\end{pmatrix} = \left( 1-\frac{1}{x_1^2+x_2^2+x_3^2} \right) \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} \neq \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} $$
La desviación cuadrática media de este estimador es entonces siempre menor que la desviación cuadrática media \( E \left[ \left|| X - \mu \right||^2 \right] \) del estimador habitual.
Es sorprendente y quizás paradójico que el estimador de James-Stein desplaza el estimador habitual (por un factor de reducción) hacia el origen y, por lo tanto, da un mejor resultado en la mayoría de los casos. Esto se aplica a las dimensiones \( \geq 3 \) , pero no en el caso bidimensional.
Brown & Zao proporciona una buena explicación geométrica de por qué esto funciona. Tenga en cuenta que esto no significa que tenga una mejor estimación para cada conjunto de datos, simplemente tiene una mejor estimación con un riesgo combinado más pequeño.