La paradoja de Simpson es uno de los fenómenos estadísticos fácilmente comprensibles y al mismo tiempo asombrosos. Ocurre siempre que grupos de datos muestran una tendencia particular, pero esa tendencia se invierte cuando se combinan los grupos. Con la ayuda de un ejemplo simple, la paradoja se puede entender de inmediato.
Consideramos los dos conjuntos disjuntos \(\#1\) y \(\#2\) así como \(G = \#1 \cup \#2\) y probamos la tasa de éxito de \(A\) y dentro de estos conjuntos \(B\):
| \(A\) | \(B\) | \(win\) | |
| \(\#1\) | \(\frac{1}{1}=100\%\) | \(\frac{3}{4}=75\%\) | \(A\) |
| \(\#2\) | \(\frac{2}{5}=40\%\) | \(\frac{1}{3}=33\%\) | \(A\) |
| \(\#1 \cup \#2\) | \(\frac{3}{6}=50\%\) | \(\frac{4}{7}=57\%\) | \(B\) |
Resulta que \(A\) tiene más éxito que \(B\) en \(\#1\) así como en \(\#2\) \(B\) , pero sorprendentemente en \(G\) \(B\) más éxito que \(A\) . Este ejemplo también es uno de los que tienen el conjunto más pequeño \(G\) con \(|G|=13\) . No hay \(G\) con \(|G|<13\) (prueba por fuerza bruta).
Ahora subdividimos el conjunto \(G\) lugar de \(2\) en \(3\) subconjuntos disjuntos \(\#1, \, \#2, \, \#3\) con \(\#1 \cup \#2 \cup \#3 = G\) . Luego construimos el interesante caso de que para cada elemento \(e_k \neq \emptyset\) conjunto de potencia \(P(G)\) de \(G\) aplica lo siguiente: $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$ $$\forall e_1, e_2 \in P(G): |e_1| \neq |e_2| \Rightarrow win(e_1) \neq win(e_2) \land |e_1| = |e_2| \Rightarrow win(e_1) = win(e_2)$$
Después de unas horas de fuerza bruta en un Core i7 estándar, se puede encontrar el siguiente ejemplo:
| \(A\) | \(B\) | \(C\) | \(win\) | |
| \(\#1\) | \(\frac{6}{7}=85,71\%\) | \(\frac{12}{15}=80,00\%\) | \(\frac{22}{37}=59,46\%\) | \(A\) |
| \(\#2\) | \(\frac{95}{167}=56,89\%\) | \(\frac{48}{88}=54,55\%\) | \(\frac{38}{67}=56,72\%\) | \(A\) |
| \(\#3\) | \(\frac{48}{144}=33,33\%\) | \(\frac{16}{50}=32,00\%\) | \(\frac{2}{20}=10,00\%\) | \(A\) |
| \(\#1 \cup \#2\) | \(\frac{101}{174}=58,05\%\) | \(\frac{60}{103}=58,25\%\) | \(\frac{60}{104}=57,69\%\) | \(B\) |
| \(\#1 \cup \#3\) | \(\frac{54}{151}=35,76\%\) | \(\frac{28}{65}=43,08\%\) | \(\frac{24}{57}=42,11\%\) | \(B\) |
| \(\#2 \cup \#3\) | \(\frac{143}{311}=45,98\%\) | \(\frac{64}{138}=46,38\%\) | \(\frac{40}{87}=45,98\%\) | \(B\) |
| \(\#1 \cup \#2\cup \#3\) | \(\frac{149}{318}=46,86\%\) | \(\frac{76}{153}=49,67\%\) | \(\frac{62}{124}=50,00\%\) | \(C\) |
De este modo (asumiendo un tiempo de cálculo arbitrariamente largo) se pueden encontrar ejemplos de \(n\) subconjuntos disjuntos con el mismo comportamiento. Cuando tales casos ocurren en la realidad, cualquier conclusión basada en una recomendación para el éxito de un grupo es sensata y sin sentido.
En este punto, recomendamos la apasionante lectura Causality: Models, Reasoning and Inference de Judea Pearl .