Το 1961 ο James και ο Stein δημοσίευσαν το έγγραφο Εκτίμηση με Τετραγωνική Απώλεια . Λήψη κανονικά κατανεμημένων δεδομένων με άγνωστη μέση τιμή \(\mu\) και διακύμανση \(1\) . Εάν τώρα επιλέξετε μια τυχαία τιμή \(x\) από αυτά τα δεδομένα και πρέπει να υπολογίσετε τη μέση τιμή \(\mu\) με βάση αυτό, διαισθητικά το \(x\) είναι μια λογική εκτίμηση για το \(\mu\) (εφόσον υπάρχει μια κανονική κατανομή, το τυχαία επιλεγμένο \(x\) είναι πιθανώς κοντά στο \(\mu\) ).
Τώρα το πείραμα επαναλαμβάνεται - αυτή τη φορά με τρία ανεξάρτητα, και πάλι κανονικά κατανεμημένα σύνολα δεδομένων το καθένα με διακύμανση \(1\) και τις μέσες τιμές \(\mu_1\) , \(\mu_2\) , \(\mu_3\) . Αφού ληφθούν τρεις τυχαίες τιμές \(x_1\) , \(x_2\) και \(x_3\) , κάποιος εκτιμά (χρησιμοποιώντας την ίδια διαδικασία) \(\mu_1=x_1\) , \(\mu_2=x_2\) και \(\mu_3=x_3\) .
Το εκπληκτικό αποτέλεσμα των James και Stein είναι ότι υπάρχει καλύτερη εκτίμηση για \( \left( \mu_1, \mu_2, \mu_3 \right) \) (δηλαδή ο συνδυασμός των τριών ανεξάρτητων συνόλων δεδομένων) από το \( \left( x_1, x_2, x_3 \right) \) . Ο «εκτιμητής Τζέιμς Στάιν» είναι τότε:
$$ \begin{pmatrix}\mu_1\\\mu_2\\\mu_3\end{pmatrix} = \left( 1-\frac{1}{x_1^2+x_2^2+x_3^2} \right) \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} \neq \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} $$
Η μέση τετραγωνική απόκλιση αυτού του εκτιμητή είναι τότε πάντα μικρότερη από τη μέση τετραγωνική απόκλιση \( E \left[ \left|| X - \mu \right||^2 \right] \) του συνηθισμένου εκτιμητή.
Είναι εκπληκτικό και ίσως παράδοξο ότι ο εκτιμητής James-Stein μετατοπίζει τον συνηθισμένο εκτιμητή (με συρρικνούμενο παράγοντα) προς την προέλευση και έτσι δίνει καλύτερο αποτέλεσμα στην πλειονότητα των περιπτώσεων. Αυτό ισχύει για τις διαστάσεις \( \geq 3 \) , αλλά όχι για τη δισδιάστατη περίπτωση.
Μια ωραία γεωμετρική εξήγηση του γιατί αυτό λειτουργεί παρέχεται από την Brown & Zao . Λάβετε υπόψη ότι αυτό δεν σημαίνει ότι έχετε καλύτερη εκτίμηση για κάθε μεμονωμένο σύνολο δεδομένων - απλώς έχετε καλύτερη εκτίμηση με μικρότερο συνδυασμένο κίνδυνο.