Năm 1961 James và Stein đã xuất bản bài viết Ước tính với Tổn thất bậc hai . Lấy dữ liệu được phân phối bình thường với giá trị trung bình không xác định \(\mu\) và phương sai \(1\) . Nếu bây giờ bạn chọn một giá trị ngẫu nhiên \(x\) từ dữ liệu này và phải ước tính giá trị trung bình \(\mu\) trên cơ sở này, thì \(x\) theo trực giác là một ước tính hợp lý cho \(\mu\) (vì có phân phối chuẩn nên \(x\) được chọn ngẫu nhiên có thể ở gần \(\mu\) ).
Bây giờ thí nghiệm được lặp lại – lần này với ba tập dữ liệu độc lập, phân bố chuẩn, mỗi tập có phương sai \(1\) và giá trị trung bình \(\mu_1\) , \(\mu_2\) , \(\mu_3\) . Sau khi thu được ba giá trị ngẫu nhiên \(x_1\) , \(x_2\) , và \(x_3\) , \(\mu_1=x_1\) \(\mu_2=x_2\) và \(\mu_3=x_3\) được ước tính (sử dụng cùng một quy trình).
Kết quả đáng ngạc nhiên của James và Stein là có ước tính tốt hơn cho \( \left( \mu_1, \mu_2, \mu_3 \right) \) (tức là sự kết hợp của ba bộ dữ liệu độc lập) so với \( \left( x_1, x_2, x_3 \right) \) . Khi đó “Công cụ ước tính James Stein” là::
$$ \begin{pmatrix}\mu_1\\\mu_2\\\mu_3\end{pmatrix} = \left( 1-\frac{1}{x_1^2+x_2^2+x_3^2} \right) \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} \neq \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix} $$
Độ lệch bình phương trung bình của công cụ ước tính này sau đó luôn nhỏ hơn độ lệch bình phương trung bình \( E \left[ \left|| X - \mu \right||^2 \right] \) của công cụ ước tính thông thường.
Điều đáng ngạc nhiên và có lẽ là nghịch lý là công cụ ước tính James-Stein dịch chuyển công cụ ước tính thông thường (bằng hệ số thu hẹp) về phía gốc và do đó mang lại kết quả tốt hơn trong phần lớn các trường hợp. Điều này áp dụng cho kích thước \( \geq 3 \) , nhưng không áp dụng cho trường hợp hai chiều.
Brown & Zao cung cấp một giải thích hình học thú vị về lý do tại sao điều này hoạt động. Lưu ý rằng điều này không có nghĩa là bạn có ước tính tốt hơn cho mọi tập dữ liệu đơn lẻ - bạn chỉ có ước tính tốt hơn với rủi ro kết hợp nhỏ hơn.