辛普森悖论是统计中容易理解且令人惊讶的现象之一。 只要数据组显示特定趋势,就会发生这种情况,但是当组合这些数据组时,该趋势会逆转。 借助一个简单的例子,就可以立即理解这一悖论。
我们考虑两个不相交的集合\(\#1\)和\(\#2\)以及\(G = \#1 \cup \#2\)并测试\(A\)和在这些集合内的成功率\(B\):
\(A\) | \(B\) | \(win\) | |
\(\#1\) | \(\frac{1}{1}=100\%\) | \(\frac{3}{4}=75\%\) | \(A\) |
\(\#2\) | \(\frac{2}{5}=40\%\) | \(\frac{1}{3}=33\%\) | \(A\) |
\(\#1 \cup \#2\) | \(\frac{3}{6}=50\%\) | \(\frac{4}{7}=57\%\) | \(B\) |
事实证明, \(A\) \(\#1\) \(B\)在\(\#1\)和\(\#2\) \(B\)比\(B\)更成功,但在\(G\) \(B\)却出人意料\(B\)比\(A\)更成功。 此示例也是具有\(|G|=13\)的最小集\(G\)示例之一。 \(|G|<13\) (用蛮力证明\(G\)没有\(G\) )。
现在我们将集合\(G\)代替\(2\)细分为\(3\) \(\#1, \, \#2, \, \#3\) \(3\)不相交的子集\(\#1, \, \#2, \, \#3\)用\(\#1 \cup \#2 \cup \#3 = G\) 。 然后,我们构建了令人兴奋的情况下,对于每一个元素\(e_k \neq \emptyset\)功率设定\(P(G)\)的\(G\)以下内容适用: $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$ $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$
在标准Core i7上进行了数小时的暴力破解后,可以找到以下示例:
\(A\) | \(B\) | \(C\) | \(win\) | |
\(\#1\) | \(\frac{6}{7}=85,71\%\) | \(\frac{12}{15}=80,00\%\) | \(\frac{22}{37}=59,46\%\) | \(A\) |
\(\#2\) | \(\frac{95}{167}=56,89\%\) | \(\frac{48}{88}=54,55\%\) | \(\frac{38}{67}=56,72\%\) | \(A\) |
\(\#3\) | \(\frac{48}{144}=33,33\%\) | \(\frac{16}{50}=32,00\%\) | \(\frac{2}{20}=10,00\%\) | \(A\) |
\(\#1 \cup \#2\) | \(\frac{101}{174}=58,05\%\) | \(\frac{60}{103}=58,25\%\) | \(\frac{60}{104}=57,69\%\) | \(B\) |
\(\#1 \cup \#3\) | \(\frac{54}{151}=35,76\%\) | \(\frac{28}{65}=43,08\%\) | \(\frac{24}{57}=42,11\%\) | \(B\) |
\(\#2 \cup \#3\) | \(\frac{143}{311}=45,98\%\) | \(\frac{64}{138}=46,38\%\) | \(\frac{40}{87}=45,98\%\) | \(B\) |
\(\#1 \cup \#2\cup \#3\) | \(\frac{149}{318}=46,86\%\) | \(\frac{76}{153}=49,67\%\) | \(\frac{62}{124}=50,00\%\) | \(C\) |
由此(假定计算时间任意长),可以找到具有相同行为的\(n\)不交集子集的示例。 如果这种情况在现实中发生,那么关于推荐该小组成功的任何结论都是明智且毫无意义的。
在这一点上,我们推荐Judea Pearl撰写的激动人心的因果关系:模型,推理和推理。