Simpsons paradox är ett av de lättförståeliga och samtidigt förvånande fenomenen i statistiken. Det inträffar när grupper av data visar en viss trend, men den trenden vänds när grupperna kombineras. Med hjälp av ett enkelt exempel kan paradoxen förstås omedelbart.
Vi tar hänsyn till de två separata uppsättningarna \(\#1\) och \(\#2\) samt \(G = \#1 \cup \#2\) och testar framgångsgraden för \(A\) och inom dessa uppsättningar \(B\):
| \(A\) | \(B\) | \(win\) | |
| \(\#1\) | \(\frac{1}{1}=100\%\) | \(\frac{3}{4}=75\%\) | \(A\) |
| \(\#2\) | \(\frac{2}{5}=40\%\) | \(\frac{1}{3}=33\%\) | \(A\) |
| \(\#1 \cup \#2\) | \(\frac{3}{6}=50\%\) | \(\frac{4}{7}=57\%\) | \(B\) |
Det visar sig att \(A\) är mer framgångsrik än \(B\) i \(\#1\) liksom \(\#2\) \(B\) , men överraskande i \(G\) \(B\) mer framgångsrik än \(A\) . Detta exempel är också en av dem med den minsta uppsättningen \(G\) med \(|G|=13\) . Det finns ingen \(G\) med \(|G|<13\) (bevis med brute force).
Vi delar nu upp uppsättningen \(G\) istället för \(2\) i \(3\) separata delmängder \(\#1, \, \#2, \, \#3\) med \(\#1 \cup \#2 \cup \#3 = G\) . Sedan konstruerar vi det spännande fallet att för varje element \(e_k \neq \emptyset\) kraftuppsättningen \(P(G)\) av \(G\) gäller följande: $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$ $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$
Efter några timmars brute force på en standard Core i7 kan följande exempel hittas:
| \(A\) | \(B\) | \(C\) | \(win\) | |
| \(\#1\) | \(\frac{6}{7}=85,71\%\) | \(\frac{12}{15}=80,00\%\) | \(\frac{22}{37}=59,46\%\) | \(A\) |
| \(\#2\) | \(\frac{95}{167}=56,89\%\) | \(\frac{48}{88}=54,55\%\) | \(\frac{38}{67}=56,72\%\) | \(A\) |
| \(\#3\) | \(\frac{48}{144}=33,33\%\) | \(\frac{16}{50}=32,00\%\) | \(\frac{2}{20}=10,00\%\) | \(A\) |
| \(\#1 \cup \#2\) | \(\frac{101}{174}=58,05\%\) | \(\frac{60}{103}=58,25\%\) | \(\frac{60}{104}=57,69\%\) | \(B\) |
| \(\#1 \cup \#3\) | \(\frac{54}{151}=35,76\%\) | \(\frac{28}{65}=43,08\%\) | \(\frac{24}{57}=42,11\%\) | \(B\) |
| \(\#2 \cup \#3\) | \(\frac{143}{311}=45,98\%\) | \(\frac{64}{138}=46,38\%\) | \(\frac{40}{87}=45,98\%\) | \(B\) |
| \(\#1 \cup \#2\cup \#3\) | \(\frac{149}{318}=46,86\%\) | \(\frac{76}{153}=49,67\%\) | \(\frac{62}{124}=50,00\%\) | \(C\) |
Därigenom (förutsatt godtyckligt lång datatid) finns exempel på \(n\) ojämna underuppsättningar med samma beteende. När sådana fall förekommer i verkligheten är alla slutsatser baserade på en rekommendation för en grupps framgång både förnuftiga och meningslösa.
Vid denna tidpunkt rekommenderar vi den spännande behandlingen Causality: Models, Reasoning and Inference av Judea Pearl .