Nghịch lý Simpson là một trong những hiện tượng dễ hiểu và đồng thời đáng kinh ngạc trong thống kê. Nó xảy ra bất cứ khi nào các nhóm dữ liệu hiển thị một xu hướng cụ thể, nhưng xu hướng đó bị đảo ngược khi các nhóm được kết hợp với nhau. Với sự trợ giúp của một ví dụ đơn giản, nghịch lý có thể được hiểu ngay lập tức.
Chúng tôi xem xét hai bộ rời rạc \(\#1\) và \(\#2\) cũng như \(G = \#1 \cup \#2\) và kiểm tra tỷ lệ thành công của \(A\) và trong các bộ này \(B\):
| \(A\) | \(B\) | \(win\) | |
| \(\#1\) | \(\frac{1}{1}=100\%\) | \(\frac{3}{4}=75\%\) | \(A\) |
| \(\#2\) | \(\frac{2}{5}=40\%\) | \(\frac{1}{3}=33\%\) | \(A\) |
| \(\#1 \cup \#2\) | \(\frac{3}{6}=50\%\) | \(\frac{4}{7}=57\%\) | \(B\) |
Nó chỉ ra rằng \(A\) thành công hơn \(B\) trong \(\#1\) cũng như \(\#2\) \(B\) , nhưng đáng ngạc nhiên là trong \(G\) \(B\) thành công hơn \(A\) . Ví dụ này cũng là một trong những ví dụ có tập nhỏ nhất \(G\) với \(|G|=13\) . Không có \(G\) với \(|G|<13\) (bằng chứng bằng vũ lực).
Bây giờ chúng tôi chia nhỏ tập hợp \(G\) thay vì \(2\) thành \(3\) các tập con rời rạc \(\#1, \, \#2, \, \#3\) với \(\#1 \cup \#2 \cup \#3 = G\) . Sau đó, chúng tôi xây dựng trường hợp thú vị mà đối với mọi phần tử \(e_k \neq \emptyset\) bộ nguồn \(P(G)\) của \(G\) điều sau sẽ áp dụng: $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$ $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$
Sau một vài giờ bạo lực trên Core i7 tiêu chuẩn, có thể tìm thấy ví dụ sau:
| \(A\) | \(B\) | \(C\) | \(win\) | |
| \(\#1\) | \(\frac{6}{7}=85,71\%\) | \(\frac{12}{15}=80,00\%\) | \(\frac{22}{37}=59,46\%\) | \(A\) |
| \(\#2\) | \(\frac{95}{167}=56,89\%\) | \(\frac{48}{88}=54,55\%\) | \(\frac{38}{67}=56,72\%\) | \(A\) |
| \(\#3\) | \(\frac{48}{144}=33,33\%\) | \(\frac{16}{50}=32,00\%\) | \(\frac{2}{20}=10,00\%\) | \(A\) |
| \(\#1 \cup \#2\) | \(\frac{101}{174}=58,05\%\) | \(\frac{60}{103}=58,25\%\) | \(\frac{60}{104}=57,69\%\) | \(B\) |
| \(\#1 \cup \#3\) | \(\frac{54}{151}=35,76\%\) | \(\frac{28}{65}=43,08\%\) | \(\frac{24}{57}=42,11\%\) | \(B\) |
| \(\#2 \cup \#3\) | \(\frac{143}{311}=45,98\%\) | \(\frac{64}{138}=46,38\%\) | \(\frac{40}{87}=45,98\%\) | \(B\) |
| \(\#1 \cup \#2\cup \#3\) | \(\frac{149}{318}=46,86\%\) | \(\frac{76}{153}=49,67\%\) | \(\frac{62}{124}=50,00\%\) | \(C\) |
Qua đó (giả sử thời gian tính toán dài tùy ý) có thể tìm thấy các ví dụ về \(n\) các tập con rời rạc có cùng hành vi. Nếu những trường hợp như vậy xảy ra trên thực tế, bất kỳ kết luận nào về một khuyến nghị về thành công của nhóm đều hợp lý và vô nghĩa.
Tại thời điểm này, chúng tôi cũng giới thiệu bài đọc thú vị Nhân quả: Mô hình, Lý trí và Suy luận của Judea Pearl .