Esprit critique
← Tous les biais
biais · Probabilités

Négligence de la taille de l'échantillon

Insensitivity to sample size, loi des petits nombres

Accorder autant de crédit à un résultat obtenu sur un petit échantillon qu'à un résultat obtenu sur un grand, alors que les petits échantillons varient beaucoup plus.

Mécanisme

On juge un résultat à sa ressemblance avec ce qu'on attend, pas à la quantité de données qui le soutient. Or une moyenne calculée sur peu de cas fluctue bien plus : pour diviser ses fluctuations par deux, il faut quatre fois plus de cas. Les valeurs extrêmes sont donc bien plus fréquentes dans les petits groupes.

En pratique

Exemple

Aux États-Unis, les comtés où le cancer du rein est le plus rare sont surtout ruraux et peu peuplés. Ceux où il est le plus fréquent aussi : avec peu d'habitants, les taux varient fortement d'un comté à l'autre.

Cas célèbre

Dans les années 2000, la fondation Gates a consacré plus d'un milliard de dollars à la création de petits lycées, en partie parce que les petites écoles figuraient en nombre parmi les plus performantes. Le statisticien Howard Wainer a souligné qu'elles figuraient aussi en nombre parmi les moins performantes : avec peu d'élèves, les moyennes varient davantage. En 2008, la fondation a qualifié les résultats de décevants.

Se défendre

Comment s'en prémunir

Toujours demander : sur combien de cas ? Se méfier des classements où figurent de petites entités, en tête comme en queue.

Ne pas confondre

Généralisation hâtive (sophisme)

La généralisation hâtive est un raisonnement explicite à partir de quelques cas ; la négligence de la taille de l'échantillon est une erreur d'intuition qui touche aussi des données chiffrées.

Aller plus loin

Source

Kahneman et Tversky (1972), problème des maternités : 56 % des participants répondent « à peu près autant », alors que la petite maternité en comptera nettement plus. Tversky et Kahneman (1971), « Belief in the law of small numbers ».

S'entraîner

Dans l'application, chaque fiche propose de quoi s'entraîner à reconnaître la notion. Sans inscription : votre progression reste sur votre appareil.

Ouvrir la fiche interactive