Simpson Paradoksu

Simpson'un paradoksu, istatistikteki kolayca anlaşılabilir ve aynı zamanda şaşırtıcı fenomenlerden biridir. Veri grupları belirli bir eğilimi gösterdiğinde ortaya çıkar, ancak gruplar birleştirildiğinde bu eğilim tersine döner. Basit bir örnek yardımıyla paradoks hemen anlaşılabilir.


İki ayrık seti \(\#1\) ve \(\#2\) \(G = \#1 \cup \#2\) önünde bulunduruyoruz ve \(A\) nın başarı oranını ve bu kümeler içinde test ediyoruz \(B\):

\(A\)\(B\)\(win\)
\(\#1\)\(\frac{1}{1}=100\%\)\(\frac{3}{4}=75\%\)\(A\)
\(\#2\)\(\frac{2}{5}=40\%\)\(\frac{1}{3}=33\%\)\(A\)
\(\#1 \cup \#2\)\(\frac{3}{6}=50\%\)\(\frac{4}{7}=57\%\)\(B\)

\(A\) nın \(\#1\) ve \(\#2\) \(B\) içinde \(B\) den daha başarılı olduğu ortaya çıktı, ancak şaşırtıcı bir şekilde \(G\) \(B\) \(A\) dan daha başarılıdır. Bu örnek aynı zamanda \(|G|=13\) ile en küçük \(G\) kümesine sahip olanlardan biridir. Hiçbir yoktur \(G\) ile \(|G|<13\) (kaba kuvvet ile proof).

Şimdi \(2\) \(G\) yerine \(G\) kümesini \(G\) \(3\) ayrık alt kümelere \(\#1, \, \#2, \, \#3\) \(\#1 \cup \#2 \cup \#3 = G\) ile alt gruplara ayırıyoruz. \(\#1 \cup \#2 \cup \#3 = G\) . Sonra, \(G\) güç kümesinin \(P(G)\) her öğesi için \(e_k \neq \emptyset\) aşağıdakilerin geçerli olduğu heyecan verici durumu oluşturuyoruz: $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$ $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$

Standart bir Core i7 üzerinde birkaç saatlik kaba kuvvetin ardından aşağıdaki örnek bulunabilir.:

\(A\)\(B\)\(C\)\(win\)
\(\#1\)\(\frac{6}{7}=85,71\%\)\(\frac{12}{15}=80,00\%\) \(\frac{22}{37}=59,46\%\) \(A\)
\(\#2\)\(\frac{95}{167}=56,89\%\) \(\frac{48}{88}=54,55\%\) \(\frac{38}{67}=56,72\%\) \(A\)
\(\#3\)\(\frac{48}{144}=33,33\%\) \(\frac{16}{50}=32,00\%\) \(\frac{2}{20}=10,00\%\) \(A\)
\(\#1 \cup \#2\)\(\frac{101}{174}=58,05\%\) \(\frac{60}{103}=58,25\%\) \(\frac{60}{104}=57,69\%\) \(B\)
\(\#1 \cup \#3\)\(\frac{54}{151}=35,76\%\) \(\frac{28}{65}=43,08\%\) \(\frac{24}{57}=42,11\%\) \(B\)
\(\#2 \cup \#3\)\(\frac{143}{311}=45,98\%\) \(\frac{64}{138}=46,38\%\) \(\frac{40}{87}=45,98\%\) \(B\)
\(\#1 \cup \#2\cup \#3\)\(\frac{149}{318}=46,86\%\) \(\frac{76}{153}=49,67\%\) \(\frac{62}{124}=50,00\%\) \(C\)

Böylelikle (keyfi olarak uzun hesaplama süresi varsayıldığında \(n\) aynı davranışa sahip \(n\) ayrık altkümelerin örnekleri bulunabilir. Gerçekte bu tür durumlar ortaya çıktığında, grubun başarısının bir tavsiyesine dayanan sonuçlar hem mantıklı hem de anlamsızdır.

Bu noktada Judea Pearl'ün heyecan verici Nedensellik: Modeller, Akıl Yürütme ve Çıkarım okumasını öneriyoruz.

Geri