The Simpson Paradoks

Paradoks Simpson adalah salah satu fenomena statistik yang mudah difahami dan pada masa yang sama. Ia berlaku setiap kali kumpulan data menunjukkan tren tertentu, tetapi trend itu terbalik apabila kumpulan digabungkan. Dengan bantuan contoh mudah, paradoks dapat difahami dengan segera.


Kami menganggap dua set disjoint \(\#1\) dan \(\#2\) serta \(G = \#1 \cup \#2\) dan menguji kadar kejayaan \(A\) dan dalam set ini \(B\):

\(A\)\(B\)\(win\)
\(\#1\)\(\frac{1}{1}=100\%\)\(\frac{3}{4}=75\%\)\(A\)
\(\#2\)\(\frac{2}{5}=40\%\)\(\frac{1}{3}=33\%\)\(A\)
\(\#1 \cup \#2\)\(\frac{3}{6}=50\%\)\(\frac{4}{7}=57\%\)\(B\)

Ternyata \(A\) lebih berjaya daripada \(B\) di \(\#1\) dan juga \(\#2\) \(B\) , tetapi mengejutkan di \(G\) \(B\) lebih berjaya daripada \(A\) . Contoh ini juga salah satu yang mempunyai set terkecil \(G\) dengan \(|G|=13\) . Tidak ada \(G\) dengan \(|G|<13\) (bukti dengan kekerasan).

Kami sekarang membahagikan set \(G\) dan bukan \(2\) menjadi \(3\) terasing subset \(\#1, \, \#2, \, \#3\) dengan \(\#1 \cup \#2 \cup \#3 = G\) . Kemudian kami membina kes menarik bahawa untuk setiap elemen \(e_k \neq \emptyset\) set kuasa \(P(G)\) dari \(G\) berikut berlaku: $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$ $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$

Selepas beberapa jam kekuatan kasar pada Core i7 standard, contoh berikut dapat dijumpai:

\(A\)\(B\)\(C\)\(win\)
\(\#1\)\(\frac{6}{7}=85,71\%\)\(\frac{12}{15}=80,00\%\) \(\frac{22}{37}=59,46\%\) \(A\)
\(\#2\)\(\frac{95}{167}=56,89\%\) \(\frac{48}{88}=54,55\%\) \(\frac{38}{67}=56,72\%\) \(A\)
\(\#3\)\(\frac{48}{144}=33,33\%\) \(\frac{16}{50}=32,00\%\) \(\frac{2}{20}=10,00\%\) \(A\)
\(\#1 \cup \#2\)\(\frac{101}{174}=58,05\%\) \(\frac{60}{103}=58,25\%\) \(\frac{60}{104}=57,69\%\) \(B\)
\(\#1 \cup \#3\)\(\frac{54}{151}=35,76\%\) \(\frac{28}{65}=43,08\%\) \(\frac{24}{57}=42,11\%\) \(B\)
\(\#2 \cup \#3\)\(\frac{143}{311}=45,98\%\) \(\frac{64}{138}=46,38\%\) \(\frac{40}{87}=45,98\%\) \(B\)
\(\#1 \cup \#2\cup \#3\)\(\frac{149}{318}=46,86\%\) \(\frac{76}{153}=49,67\%\) \(\frac{62}{124}=50,00\%\) \(C\)

Oleh itu (dengan anggapan masa pengkomputeran yang sewenang-wenangnya panjang) dapat dijumpai contoh \(n\) pemisah subset dengan tingkah laku yang sama. Apabila kes seperti itu berlaku dalam kenyataan, segala kesimpulan berdasarkan cadangan untuk kejayaan kumpulan adalah masuk akal dan tidak berguna.

Pada tahap ini, disarankan untuk membaca Kausalitas: Model, Penalaran dan Inferensi oleh Judea Pearl yang menarik .

Belakang