Négligence de la taille de l'échantillon
Insensitivity to sample size, loi des petits nombres
Accorder autant de crédit à un résultat obtenu sur un petit échantillon qu'à un résultat obtenu sur un grand, alors que les petits échantillons varient beaucoup plus.
L'essentiel
Mécanisme
On juge un résultat à sa ressemblance avec ce qu'on attend, pas à la quantité de données qui le soutient. Or une moyenne calculée sur peu de cas fluctue bien plus : pour diviser ses fluctuations par deux, il faut quatre fois plus de cas. Les valeurs extrêmes sont donc bien plus fréquentes dans les petits groupes.
En pratique
Exemple
Aux États-Unis, les comtés où le cancer du rein est le plus rare sont surtout ruraux et peu peuplés. Ceux où il est le plus fréquent aussi : avec peu d'habitants, les taux varient fortement d'un comté à l'autre.
Cas célèbre
Dans les années 2000, la fondation Gates a consacré plus d'un milliard de dollars à la création de petits lycées, en partie parce que les petites écoles figuraient en nombre parmi les plus performantes. Le statisticien Howard Wainer a souligné qu'elles figuraient aussi en nombre parmi les moins performantes : avec peu d'élèves, les moyennes varient davantage. En 2008, la fondation a qualifié les résultats de décevants.
Se défendre
Comment s'en prémunir
Toujours demander : sur combien de cas ? Se méfier des classements où figurent de petites entités, en tête comme en queue.
Ne pas confondre
À ne pas confondre avec : Généralisation hâtive (sophisme)
La généralisation hâtive est un raisonnement explicite à partir de quelques cas ; la négligence de la taille de l'échantillon est une erreur d'intuition qui touche aussi des données chiffrées.
Aller plus loin
Source
Kahneman et Tversky (1972), problème des maternités : 56 % des participants répondent « à peu près autant », alors que la petite maternité en comptera nettement plus. Tversky et Kahneman (1971), « Belief in the law of small numbers ».
S'entraîner
Dans l'application, chaque fiche propose de quoi s'entraîner à reconnaître la notion. Sans inscription : votre progression reste sur votre appareil.