Paradoxe de Simpson

Un article de Wikipédia, l'encyclopédie libre.

Vous avez de nouveaux messages (diff^?).

Pour les articles homonymes, voir Simpson.

Le paradoxe de Simpson ou effet de Yule-Simpson est un paradoxe statistique décrit par Edward Simpson en 1951 et George Udny Yule en 1903, dans lequel le succès de plusieurs groupes semblent s'inverser lorsque les groupes sont combinés. Ce résultat qui paraît impossible est souvent rencontré dans la réalité, en particulier dans les sciences sociales et les statistiques médicales.

[modifier] Explication à travers un exemple

Pour illustrer ce paradoxe, on considère deux contributeurs de Wikipédia, Lisa et Bart. La première semaine, Lisa améliore 60 % des articles qu'elle édite alors que Bart améliore 90 % des articles qu'il édite. La deuxième semaine, Lisa n'améliore que 10 % des articles et Bart s'en tient à un score de 30 %.

Les deux fois, Bart obtient un meilleur score que Lisa et pourtant, lorsque les deux actions sont combinées, Lisa améliore un plus grand pourcentage que Bart. Le résultat peut être expliqué de cette manière :

La première semaine, Lisa édite 100 articles. Elle améliore donc 60 articles. Pendant ce temps, Bart s'occupe de 10 articles et en améliore ainsi 9. La deuxième semaine, Lisa n'édite que 10 articles et n'améliore qu'une seule page. Bart édite 100 articles et en améliore 30. Quand le résultat à la fin des deux semaines est combiné, on constate que les deux contributeurs ont édités le même nombre d'articles (110) mais que Lisa a amélioré 55% des articles (61 sur 110) alors que Bart s'en tient à 35% des articles (39 sur 110).

	Semaine 1	Semaine 2	Total
Lisa	60 / 100	1 / 10	61 / 110
Bart	9 / 10	30 / 100	39 / 110

Il apparaît que les deux données, séparées, soutiennent une hypothèse donnée mais, une fois rassemblées, supportent l'hypothèse inverse.

D'une manière plus formelle :

La première semaine :

$S_A(1) = 60\% ~$ — Lisa améliore 60% des articles qu'elle édite
$S_B(1) = 90\% ~$ — Bart améliore 90% des articles qu'il édite

La notion de succès est associée à Bart.

La deuxième semaine :

$S_A(2) = 10\%~$ — Lisa améliore 10% des articles qu'elle édite
$S_B(2) = 30\%~$ — Bart améliore 30% des articles qu'il édite

Le succès est ici encore attribué à Bart.

Dans les deux cas, Bart a un meilleur pourcentage d'amélioration. Mais en combinant les deux résultats, nous voyons que Lisa et Bart ont édité 110 articles. On établit ainsi :

$S_A = \begin{matrix}\frac{61}{110}\end{matrix}$ — Lisa a amélioré 61 articles.
$S_B = \begin{matrix}\frac{39}{110}\end{matrix}$ — Bart en amélioré seulement 39.
$S_A > S_B~$ — Lisa repasse en tête (hypothèse opposée)

Bart est meilleur pour chaque semaine mais globalement plus mauvais, d'où le paradoxe.

Les bases mathématiques du paradoxe sont sans équivoque. Si $S_B(1) > S_A(1)~$ et $S_B(2) > S_A(2)~$ , on sent que $S_B~$ doit être plus grand que $S_A~$ . Mais si des pondérations différentes sont utilisées pour obtenir le score final de chaque personne, alors cette tendance s'inverse.

Le premier score de Lisa est pondéré : $\begin{matrix}\frac{100}{110}\end{matrix}$ ; de même pour Bart : $\begin{matrix}\frac{10}{110}\end{matrix}$ .

Mais ces poids sont inversés par la suite.

$S_A = \begin{matrix}\frac{100}{110}\end{matrix}S_A(1) + \begin{matrix}\frac{10}{110}\end{matrix}S_A(2)$

$S_B = \begin{matrix}\frac{10}{110}\end{matrix}S_B(1) + \begin{matrix}\frac{100}{110}\end{matrix}S_B(2)$

Au final, la question est de savoir qui est le plus efficace. Lisa paraît supérieure grâce à son succès global qui est le plus grand. Mais il est possible de reformuler la situation afin que Bart apparaisse plus efficace. Supposons que le cas se présente comme suit :

La première semaine, Lisa et Bart corrigent des erreurs simples, par exemple des coquilles. Mais la deuxième semaine, ils s'attaquent à la neutralité des articles, tâche qui nécessite une réflexion plus poussée. Maintenant, on remarque que Bart s'en sort mieux que Lisa dans la correction de la neutralité. Malgré ses interventions, Bart est globalement moins efficace que Lisa mais la grande différence vient du fait que Lisa s'est principalement occupée de tâches triviales de la première semaine alors que Bart a fait un peu de tout, et surtout des neutralisations plus complexes.

On remarque ainsi à travers cet exemple que le contexte est important pour qualifier la notion de succès, concept qui peut être trompeur si l'on s'en tient aux chiffres.

[modifier] Exemple médical

Un exemple réel provenant d'une étude médicale sur le succès de deux traitements contre les calculs rénaux permet de voir le paradoxe sous un autre angle. [1]

La première table montre le succès global et le nombre de traitements pour chaque méthode.

**taux de succès (succès/total)**
Traitement A	Traitement B
78% (273/350)	83% (289/350)

Cela semble révéler que le traitement B est plus efficace. Maintenant, en ajoutant des données concernant la taille des calculs, la comparaison prend une autre tournure :

**Résultats en fonction de la taille des calculs**
petits calculs		gros calculs
Traitement A	Traitement B	Traitement A	Traitement B
93% (81/87)	87% (234/270)	73% (192/263)	69% (55/80)

L'information au sujet de la taille des calculs a inversé les conclusions concernant l'efficacité de chaque traitement. Le traitement A est maintenant considéré comme plus efficace dans les deux cas. Le traitement le plus efficace peut être déterminé grâce à l'inégalité entre les deux rapports (succès/total). Le rebroussement de cette inégalité, qui conduit au paradoxe, se produit à cause de deux effets concurrentts :

la variable supplémentaire (ici la taille) a un impact significatif sur les rapports
les tailles des groupes qui sont combinés quand la variable supplémentaire est ignorée sont très différentes