Paradoksi Simpson është një nga dukuritë lehtësisht të kuptueshme dhe në të njëjtën kohë mahnitëse në statistikë. Ndodh sa herë që grupet e të dhënave tregojnë një trend të veçantë, por kjo tendencë kthehet kur grupet kombinohen. Me ndihmën e një shembulli të thjeshtë, paradoksi mund të kuptohet menjëherë.
Ne i konsiderojmë dy bashkësitë e ndara \(\#1\) dhe \(\#2\) si dhe \(G = \#1 \cup \#2\) dhe testojmë shkallën e suksesit të \(A\) dhe brenda këtyre grupeve \(B\):
\(A\) | \(B\) | \(win\) | |
\(\#1\) | \(\frac{1}{1}=100\%\) | \(\frac{3}{4}=75\%\) | \(A\) |
\(\#2\) | \(\frac{2}{5}=40\%\) | \(\frac{1}{3}=33\%\) | \(A\) |
\(\#1 \cup \#2\) | \(\frac{3}{6}=50\%\) | \(\frac{4}{7}=57\%\) | \(B\) |
Rezulton se \(A\) është më i suksesshëm se \(B\) në \(\#1\) si dhe \(\#2\) \(B\) , por çuditërisht në \(G\) \(B\) më i suksesshëm se \(A\) . Ky shembull është gjithashtu një nga ata me grupin më të vogël \(G\) me \(|G|=13\) . Nuk ka asnjë \(G\) me \(|G|<13\) (provë me forcë brutale).
Tani e ndajmë grupin \(G\) në vend të \(2\) në \(3\) nënbashkësi të ndara \(\#1, \, \#2, \, \#3\) me \(\#1 \cup \#2 \cup \#3 = G\) . Pastaj ne ndërtojmë rastin emocionues që për çdo element \(e_k \neq \emptyset\) grupit të energjisë \(P(G)\) të \(G\) vlen si vijon: $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$ $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$
Pas disa orësh forcë brutale në një Core i7 standard, shembulli i mëposhtëm mund të gjendet:
\(A\) | \(B\) | \(C\) | \(win\) | |
\(\#1\) | \(\frac{6}{7}=85,71\%\) | \(\frac{12}{15}=80,00\%\) | \(\frac{22}{37}=59,46\%\) | \(A\) |
\(\#2\) | \(\frac{95}{167}=56,89\%\) | \(\frac{48}{88}=54,55\%\) | \(\frac{38}{67}=56,72\%\) | \(A\) |
\(\#3\) | \(\frac{48}{144}=33,33\%\) | \(\frac{16}{50}=32,00\%\) | \(\frac{2}{20}=10,00\%\) | \(A\) |
\(\#1 \cup \#2\) | \(\frac{101}{174}=58,05\%\) | \(\frac{60}{103}=58,25\%\) | \(\frac{60}{104}=57,69\%\) | \(B\) |
\(\#1 \cup \#3\) | \(\frac{54}{151}=35,76\%\) | \(\frac{28}{65}=43,08\%\) | \(\frac{24}{57}=42,11\%\) | \(B\) |
\(\#2 \cup \#3\) | \(\frac{143}{311}=45,98\%\) | \(\frac{64}{138}=46,38\%\) | \(\frac{40}{87}=45,98\%\) | \(B\) |
\(\#1 \cup \#2\cup \#3\) | \(\frac{149}{318}=46,86\%\) | \(\frac{76}{153}=49,67\%\) | \(\frac{62}{124}=50,00\%\) | \(C\) |
Në këtë mënyrë (duke supozuar kohë të gjatë në mënyrë arbitrare informatikë) shembuj të \(n\) subsets veçoj me të njëjtën sjellje mund të gjendet. Kur raste të tilla ndodhin në realitet, çdo përfundim i mbështetur në një rekomandim për suksesin e një grupi është edhe i arsyeshëm edhe i pakuptimtë.
Në këtë pikë, ne rekomandojmë leximin emocionues Kauzaliteti: Modele, arsyetim dhe konkluzion nga Judea Pearl .