Une explication des valeurs p et de la signification statistique

L’inférence statistique contemporaine constitue le socle méthodologique sur lequel repose la majeure partie de la production scientifique en sciences empiriques, et tout particulièrement en psychologie, en médecine et en sciences sociales. Depuis près d’un siècle, la quête d’objectivité dans l’interprétation des données quantitatives a conduit la communauté des chercheurs à s’en remettre de manière quasi exclusive à un instrument singulier : le test d’hypothèse nulle et sa métrique emblématique, la valeur p (ou p-value). Conçue initialement comme un baromètre d’évaluation continue du degré de concordance entre des observations d’échantillon et un modèle probabiliste théorique, cette statistique s’est peu à peu muée en un arbitre décisionnel omnipotent, dictant l’accès aux revues prestigieuses, la validation des théories et l’octroi de financements institutionnels. Cette suprématie a toutefois engendré une crise épistémologique majeure, caractérisée par une prolifération de résultats irréproductibles et une incompréhension généralisée de ses postulats sous-jacents.

Le concept de signification statistique, traditionnellement cristallisé autour du seuil fatidique de cinq pour cent (α = 0,05), est aujourd’hui au cœur des débats les plus vifs de la métarecherche. Les praticiens confondent régulièrement l’absence de preuve avec la preuve de l’absence, l’improbabilité des données sous un modèle nul avec la vérité de l’hypothèse de recherche, et la significativité numérique avec la pertinence clinique ou sociétale. Cette confusion systémique ne découle pas uniquement d’une carence de formation mathématique chez les utilisateurs ; elle plonge ses racines dans une hybridation théorique historiquement conflictuelle entre deux approches incompatibles de l’inférence : l’épistémologie inductive de Ronald Fisher d’une part, et le cadre de décision comportementale de Jerzy Neyman et Egon Pearson d’autre part. Cette synthèse boiteuse a engendré un rituel dogmatique que le statisticien Paul Meehl qualifiait dès les années 1960 de routine stérile masquant la faiblesse conceptuelle des modèles psychologiques.

Comprendre la nature, les déterminants mécaniques, les dérives opératoires et les limites intrinsèques de la valeur p s’avère dès lors indispensable pour quiconque souhaite naviguer avec rigueur dans la littérature scientifique moderne. Le présent traité propose une déconstruction minutieuse de l’échafaudage statistique entourant le test d’hypothèse nulle. À travers un parcours alliant fondements mathématiques, perspectives socio-historiques et directives méthodologiques concrètes, nous examinerons comment s’articulent probabilité conditionnelle, taille d’échantillon et puissance d’un test, tout en explorant les solutions contemporaines — des intervalles de confiance aux facteurs de Bayes et aux protocoles d’équivalence — destinées à restaurer la robustesse et la transparence de l’entreprise scientifique empirique.

1. Les fondements épistémologiques du test d’hypothèse statistique

1.1 La confrontation historique entre approches fisherienne et neyman-pearsonienne

L’architecture du test d’hypothèse statistique enseignée dans les manuels universitaires contemporains n’est pas un édifice unifié, mais plutôt une chimère méthodologique issue de la fusion forcée de deux écoles de pensée irréconciliables. D’un côté, Sir Ronald Aylmer Fisher développa dans les années 1920 une approche inductive centrée sur le concept de test de signification. Pour Fisher, le chercheur formule une hypothèse nulle unique (souvent notée H0), laquelle représente l’absence d’effet ou l’intervention du seul hasard. À partir des données observées, on calcule une valeur p représentant la plausibilité d’observer un tel résultat sous l’empire de cette hypothèse nulle. Si cette valeur s’avère particulièrement faible, le chercheur dispose d’une indication quantitative l’incitant à douter de la validité de l’hypothèse nulle. Fisher concevait cette démarche comme un processus continu d’apprentissage inductif guidé par le jugement du chercheur et contextualisé par l’expertise du domaine, sans qu’un rejet définitif et mécanique ne soit préconisé.

À l’opposé de cette vision épistémologique, Jerzy Neyman et Egon Pearson proposèrent dès 1928 un paradigme décisionnel déductif rigoureusement binaire. Refusant l’idée que l’on puisse quantifier la créance accordée à une hypothèse unique à l’aide d’une métrique continue, ils introduisirent une seconde hypothèse en compétition directe : l’hypothèse alternative (H1). Dans ce cadre formalisé, le chercheur ne cherche pas à mesurer la plausibilité d’un phénomène ponctuel, mais à établir des règles de décision à long terme destinées à minimiser deux types spécifiques d’erreurs : l’erreur de Type I (alpha), consistant à rejeter à tort l’hypothèse nulle, et l’erreur de Type II (bêta), consistant à conserver à tort l’hypothèse nulle lorsqu’elle est fausse. Neyman et Pearson insistaient sur le fait que leur méthode ne visait pas à modifier les croyances subjectives d’un scientifique, mais à guider un comportement d’action efficace dans le cadre d’expérimentations répétées.

La synthèse bâtarde qui s’est imposée dans la recherche empirique, particulièrement dans les sciences du comportement, juxtapose la valeur p de Fisher — interprétée abusivement comme une mesure de force de preuve — et les concepts d’hypothèse alternative, d’erreur de Type I et de puissance statistique issus de Neyman-Pearson. Cette hybridation engendre des contradictions insolubles. Par exemple, un chercheur contemporain pose a priori un niveau alpha de 0,05 dans une logique de Neyman-Pearson, tout en considérant une valeur p = 0,001 comme fournissant un soutien empirique « plus fort » qu’une valeur p = 0,04 — une déviation fisherienne dénuée de sens dans le cadre strict de Neyman-Pearson où la décision binaire est déjà actée. Cette dissonance cognitive institutionnalisée constitue la racine première des errements interprétatifs qui jalonnent la littérature académique.

1.2 La formalisation des hypothèses nulle (H0) et alternative (H1)

La rigueur de la démarche inférentielle dépend entièrement de la clarté avec laquelle les propositions théoriques sont traduites en paramètres mathématiques précis au sein d’une population d’intérêt. L’hypothèse nulle (H0) ne se résume pas à l’énoncé simpliste « il ne se passe rien ». Elle correspond plus fondamentalement à un modèle stochastique précis postulant l’invariance paramétrique, c’est-à-dire l’absence de différence entre les moyennes de deux populations (μ1 – μ2 = 0), l’absence d’association linéaire entre deux variables (ρ = 0) ou la conformité parfaite entre une distribution observée et une distribution théorique attendue. H0 agit comme une référence épistémique par défaut, représentant le bruit de fond aléatoire contre lequel le signal expérimental doit se détacher.

En miroir, l’hypothèse alternative (H1) spécifie l’existence d’un effet non nul dans la population parente. Sa construction méthodologique exige une attention minutieuse quant à sa directionnalité. Une hypothèse alternative bidirectionnelle ou non dirigée (μ1 ≠ μ2) postule simplement une déviation par rapport à zéro sans préjuger du sens de l’écart. À l’inverse, une hypothèse directionnelle (μ1 > μ2 ou μ1 < μ2) découle nécessairement d’un ancrage théorique substantiel permettant de prédire a priori l’orientation de l’effet. L’opérationnalisation des construits psychologiques — tels que l’anxiété, la charge cognitive ou l’empathie — implique le passage d’une conceptualisation théorique abstraite à des grandeurs scalaires continues ou discrètes aptes à faire l’objet de tests statistiques paramétriques ou non paramétriques.

Cette dialectique entre H0 et H1 s’inscrit au cœur du principe de parcimonie scientifique (le rasoir d’Ockham) et du faillibilisme poppérien. L’hypothèse nulle jouit d’un statut méthodologique asymétrique : elle est présumée valide jusqu’à ce que les données apportent une contradiction flagrante et statistiquement improbable. Cette présomption initiale protège la communauté scientifique contre l’inflation d’entités théoriques superflues et l’enthousiasme naïf envers des fluctuations fortuites d’échantillonnage. En l’absence de signaux robustes démontrant l’inadéquation empirique du modèle nul, la prudence méthodologique impose de maintenir ce dernier, sans pour autant affirmer qu’il a été définitivement démontré dans l’absolu.

1.3 La typologie des erreurs de décision statistique

L’inférence inductive fondée sur l’échantillonnage partiel d’une population sous-jacente comporte inévitablement un risque d’erreur décisionnelle, que le formalisme de Neyman et Pearson segmente en deux catégories mutuellement exclusives. L’erreur de Type I, traditionnellement quantifiée par le symbole α, survient lorsque le chercheur rejette indûment l’hypothèse nulle alors que celle-ci est rigoureusement vraie dans la population cible. Dans le contexte de la psychologie scientifique ou de la pharmacologie clinique, une erreur de Type I se traduit par la déclaration fallacieuse de l’efficacité d’une nouvelle thérapie cognitive ou d’une molécule médicamenteuse, polluant ainsi le corpus scientifique par un faux positif aux ramifications théoriques et thérapeutiques néfastes.

À l’inverse, l’erreur de Type II, désignée par le symbole β, se produit lorsque le dispositif expérimental échoue à rejeter l’hypothèse nulle alors que celle-ci est matériellement fausse, c’est-à-dire lorsqu’un effet substantiel existe réellement dans la population. Il s’agit d’un faux négatif. L’expérimentateur conclut à l’absence de preuve d’un effet pourtant bien réel, risquant d’interrompre prématurément une ligne de recherche prometteuse ou de disqualifier une intervention psychologique efficace. La quantité complémentaire, définie par la formule 1 – β, représente la puissance statistique du test, soit sa probabilité intrinsèque de détecter un effet réel d’une amplitude donnée.

Il existe une interdépendance mathématique et pragmatique incontournable entre le contrôle de ces deux risques d’erreur. À taille d’échantillon constante, toute tentative de réduire drastiquement l’erreur de Type I (en abaissant par exemple le seuil critique α de 0,05 à 0,001) entraîne mécaniquement une augmentation proportionnelle du risque d’erreur de Type II, diminuant d’autant la sensibilité du test. L’arbitrage historique fixant α à 0,05 et le niveau tolérable de β à 0,20 (soit une puissance minimale de 80 %) reflète une asymétrie de valeurs épistémologiques : les disciplines académiques ont traditionnellement jugé qu’un faux positif était quatre fois plus délétère pour l’édifice scientifique qu’un faux négatif, érigeant la rétention du modèle nul en rempart contre la crédulité statistique.

2. Définition rigoureuse et nature probabiliste de la valeur p

2.1 Formulation mathématique formelle de la valeur p

La définition formelle de la valeur p constitue sans doute l’énoncé le plus systématiquement déformé de la méthodologie quantitative. Mathématiquement, la valeur p est la probabilité conditionnelle, sous l’hypothèse explicite et stricte que l’hypothèse nulle (H0) est vraie dans la population, d’obtenir une statistique de test d’échantillon au moins aussi extrême ou plus déviante que la valeur empiriquement observée dans le jeu de données actuel. Si l’on désigne par T la variable aléatoire représentant la statistique de test associée au modèle nul, et par t_obs la réalisation numérique de cette statistique calculée à partir des observations recueillies, la valeur p pour un test bilatéral s’exprime selon l’expression formelle :

p = P(|T| ≥ |t_obs| | H0)

Cette formulation met en lumière la nature purement contrefactuelle du raisonnement statistique fréquentiste. La valeur p est une mesure probabiliste conditionnée de manière absolue par l’exactitude de H0 : P(Données | H0). Elle n’est en aucune circonstance une mesure de la probabilité de l’hypothèse nulle sachant les données empiriques recueillies, une quantité formellement notée P(H0 | Données). Cette distinction fondamentale, issue du calcul des probabilités conditionnelles formalisé par Thomas Bayes, constitue le verrou épistémologique central : la valeur p ne quantifie pas la véracité d’une hypothèse, mais uniquement la conformité distributionnelle de données observées au regard d’un modèle nul postulated a priori.

De surcroît, la métrique p s’inscrit sur une échelle continue bornée au sein du continuum [0, 1]. Elle ne possède pas d’unité intrinsèque et varie en fonction de la configuration précise de la statistique de test considérée, qu’il s’agisse d’un test z, d’un test t de Student, d’un ratio F de Snedecor ou d’une distribution du Chi-carré. La valeur p est une variable aléatoire continue qui fluctue d’un échantillon à un autre, même lorsque les conditions expérimentales demeurent strictement identiques, ce qui souligne son statut d’estimation stochastique hautement volatile plutôt que de constante universelle.

2.2 La distribution d’échantillonnage sous l’hypothèse nulle

Pour appréhender concrètement la dérivation de la valeur p, il est impératif de conceptualiser la distribution d’échantillonnage de la statistique de test sous la condition H0. Lorsque des chercheurs extraient un échantillon de taille N d’une population infinie où aucun effet n’existe, les variations aléatoires inhérentes au processus d’échantillonnage produisent inévitablement des écarts mineurs entre les moyennes observées ou entre les coefficients de corrélation estimés. Si cette expérience imaginaire était répétée une infinité de fois sous H0, la collection exhaustive des statistiques calculées (par exemple, les valeurs t) formerait une distribution théorique continue parfaitement connue des mathématiciens.

L’édification de ces distributions théoriques s’appuie directement sur les fondements du théorème central limite, qui stipule que la somme ou la moyenne d’un grand nombre de variables aléatoires indépendantes et identiquement distribuées tend vers une loi normale, indépendamment de la forme de la distribution sous-jacente dans la population originelle, pourvu que la variance soit finie. En intégrant la statistique de test observée dans cette courbe de probabilité théorique, la valeur p correspond exactement à l’aire sous la courbe située au-delà de la valeur critique observée t_obs, projetée dans les zones extrêmes (les queues) de la distribution.

La morphologie mathématique de cette distribution d’échantillonnage dépend intrinsèquement des degrés de liberté (notés ddl ou df), un paramètre reflétant la taille de l’échantillon diminuée du nombre de contraintes imposées par l’estimation des paramètres de population. Par exemple, pour une distribution t de Student, un faible nombre de degrés de liberté confère à la courbe des queues plus épaisses (leptokurticité relative), traduisant une incertitude accrue due à une estimation imprécise de la variance. À mesure que les degrés de liberté progressent vers l’infini, la distribution de Student converge asymptotiquement vers la distribution normale standardisée (loi z), illustrant comment la précision de l’inférence se stabilise avec l’accroissement de la taille d’échantillon.

2.3 Propriétés distributionnelles de la valeur p

L’une des caractéristiques mathématiques les plus élégantes et méconnues de la valeur p réside dans son comportement distributionnel lorsque l’hypothèse nulle est scrupuleusement respectée. Sous la stricte validité de H0, la valeur p suit exactement une distribution uniforme continue sur l’intervalle [0, 1]. Cela signifie que l’obtention d’une valeur p comprise entre 0,01 et 0,02 est rigoureusement aussi probable que l’obtention d’une valeur p comprise entre 0,45 et 0,46 ou entre 0,98 et 0,99. Chaque centile de l’intervalle possède une probabilité d’occurrence égale à 0,01. Par voie de conséquence, un chercheur testant un effet totalement inexistant obtiendra une valeur p inférieure à 0,05 exactement dans 5 % des réplications aléatoires, ce qui démontre la tautologie opérationnelle du seuil alpha de Fisher sous le régime du modèle nul.

À l’inverse, lorsque l’hypothèse alternative est vraie et qu’il existe un effet authentique au sein de la population parente, la distribution de la valeur p cesse d’être uniforme pour adopter une asymétrie positive prononcée (right-skewed distribution). Plus l’effet sous-jacent est substantiel et plus la puissance de l’expérience est robuste, plus la densité de probabilité s’accumule massivement au voisinage immédiat de zéro. Dans une étude correctement dimensionnée examinant un phénomène réel, la majorité des valeurs p générées convergeront en deçà de 0,01, voire de 0,001, tandis que les valeurs situées entre 0,04 et 0,05 deviendront comparativement très rares.

Toutefois, cette harmonie distributionnelle s’effondre lorsque les postulats paramétriques fondamentaux sont violés — tels que l’indépendance des observations, l’homoscédasticité (homogénéité des variances) ou la normalité distributionnelle en présence de cohortes réduites. La distribution sous H0 n’est alors plus uniforme, ce qui distord artificiellement les probabilités d’erreur de premier ordre. Cette propriété distributionnelle différentielle entre H0 et H1 a donné naissance à une méthodologie d’analyse méta-analytique innovante : la p-curve. Conceptualisée par Uri Simonsohn et ses collègues, la p-curve permet d’évaluer la forme de la distribution d’un ensemble de valeurs p significatives publiées dans une littérature spécifique. Une courbe fortement asymétrique à gauche signale la présence d’une valeur probante robuste, tandis qu’une courbe plate ou inclinée vers le seuil critique dénonce l’action ubiquitaire de biais méthodologiques et de manipulation de données.

3. Le seuil conventionnel alpha et le concept de signification statistique

3.1 Origine et pérennisation du seuil critique de cinq pour cent

L’omniprésence du seuil de signification de 5 % (α = 0,05) au sein de la recherche contemporaine relève davantage d’un accident sociologique et historique que d’une nécessité mathématique immuable. Dans son ouvrage fondateur publié en 1925, Statistical Methods for Research Workers, Ronald A. Fisher cherchait à doter les agronomes britanniques d’un outil décisionnel commode pour évaluer les rendements d’engrais expérimentaux. Fisher nota qu’un écart dépassant deux fois l’erreur standard représentait approximativement une chance sur vingt (soit 0,05 ou 5 %) de survenir sous le coup du seul hasard d’échantillonnage. Il proposa d’utiliser ce point de repère comme un critère heuristique commode pour distinguer un résultat digne d’une investigation approfondie d’une variation banale, sans lui attribuer une nature dogmatique intangible.

Au cours des décennies suivantes, ce critère purement pragmatique s’est bureaucratisé. Les comités éditoriaux des principales revues académiques, confrontés à un volume exponentiel de manuscrits soumis, ont adopté le seuil p < 0,05 comme une frontière de démarcation objective et commode entre les découvertes scientifiques publiables et les données rejetées au néant méthodologique. Ce qui n’était à l’origine qu’une suggestion suggestive dans l’évaluation de parcelles d’orge s’est métamorphosé en un standard épistémologique universel, régissant sans discernement des disciplines aussi dissemblables que la psychologie clinique, l’économie expérimentale et la génétique moléculaire.

Cette institutionnalisation d’un seuil arbitraire illustre l’inertie culturelle qui paralyse l’évolution des pratiques en sciences humaines. Bien que d’éminents statisticiens aient dénoncé dès les années 1950 l’absurdité de déléguer le jugement scientifique à un seuil fixe, le rituel statistique s’est perpétué à travers les générations de chercheurs via la formation méthodologique standardisée des cursus universitaires. Le seuil de 0,05 est devenu une « monnaie d’échange » universitaire incontournable pour l’obtention de promotions, la diplomation des doctorants et l’attractivité institutionnelle des laboratoires, verrouillant son statut au détriment de l’analyse critique de la robustesse des données.

3.2 La dichotomisation décisionnelle et la pensée en seuils rigides

L’utilisation universelle du critère alpha génère une distorsion cognitive majeure : la dichotomisation décisionnelle. Cette pathologie logique consiste à projeter un continuum probabiliste — la valeur p s’étendant de manière infiniment nuancée entre 0 et 1 — sur une variable qualitative binaire et manichéenne : « significatif » versus « non significatif ». Sous cette grille de lecture réductrice, une étude affichant p = 0,049 est instantanément consacrée comme une démonstration valide de l’effet théorique postulé, tandis qu’une recherche identique révélant p = 0,051 se voit reléguée au statut d’échec expérimental infécond.

Ce phénomène porte en psychologie de la décision le nom d’effet falaise (ou cliff effect), documenté de manière saisissante par Robert Rosenthal et John Gaito. Les chercheurs interrogés attribuent un degré de confiance disproportionnellement supérieur à un résultat franchissant tout juste le seuil conventionnel par rapport à un résultat situé immédiatement au-delà de la ligne de démarcation, alors même que la différence d’information quantitative contenue dans ces deux valeurs est infinitésimale. Cette pensée catégorielle rigide conduit à des interprétations absurdes, où la non-significativité est automatiquement traduite comme une preuve robuste d’absence d’effet, sans aucune considération pour l’incertitude métrologique entourant l’estimation.

En outre, cette focalisation sur le seuil induit un traitement asymétrique néfaste des données marginales. La littérature psychologique abonde en locutions rhétoriques bancales telles que « tendance vers la significativité » (p = 0,07) ou « significativité quasi-totale » (p = 0,06), déployées par des auteurs cherchant désespérément à négocier la survie de leurs hypothèses auprès des évaluateurs. Cette rhétorique révèle une adhésion opportuniste aux canons statistiques : on vénère la barrière binaire du seuil lorsqu’elle est franchie avec succès, mais on tente d’en relativiser la rigidité dès lors que les données empiriques échouent à quelques millièmes de la terre promise institutionnelle.

3.3 Tests unilatéraux versus tests bilatéraux

La question du choix entre un test unilatéral (one-tailed) et un test bilatéral (two-tailed) constitue une source récurrente de tensions méthodologiques dans la planification expérimentale. Dans un test bilatéral classique, l’aire de rejet critique α de 0,05 est équitablement répartie entre les deux extrémités de la distribution théorique, allouant 2,5 % (α/2 = 0,025) à chaque queue. Ce modèle prudent postule que l’intervention expérimentale peut tout aussi bien augmenter que diminuer le score paramétrique étudié, obligeant la statistique observée à atteindre une valeur plus extrême pour franchir le cap de la significativité.

À l’opposé, le test unilatéral concentre l’intégralité de l’aire de rejet critique de 5 % sur une seule et unique queue de la distribution d’échantillonnage. Ce basculement présente un avantage mécanique évident : la valeur critique absolue exigée pour obtenir la significativité statistique est considérablement plus basse, ce qui accroît la puissance du test pour détecter un effet orienté dans le sens prédit. Toutefois, cette approche condamne aveuglément toute découverte survenant dans le sens diamétralement opposé, contraignant théoriquement le chercheur à ignorer un effet spectaculaire — fût-il toxique ou délétère — sous prétexte qu’il contredit l’hypothèse directionnelle initiale.

Le recours à un test unilatéral n’est rigoureusement défendable sur le plan méthodologique que dans des circonstances rarissimes, où une déviation dans le sens opposé est soit physiquement impossible, soit dénuée du moindre intérêt théorique ou pratique. Dans la pratique scientifique courante, le basculement d’un test bilatéral vers un test unilatéral s’apparente trop souvent à un artifice opportuniste a posteriori destiné à faire basculer une valeur p marginale (par exemple, p = 0,08 bilatéral devenant p = 0,04 unilatéral) sous le seuil fatidique de publication. C’est pourquoi les standards méthodologiques contemporains imposent le test bilatéral comme norme par défaut dans l’immense majorité des paradigmes de recherche en psychologie.

4. Les méconceptions persistantes autour de la valeur p

4.1 Le sophisme de l’inversion conditionnelle

L’erreur conceptuelle la plus insidieuse et la plus répandue parmi les utilisateurs de la statistique inférentielle est le sophisme de l’inversion conditionnelle, également désigné sous le vocable d’illusion de la probabilité inverse (ou transposition conditional fallacy). Il s’agit de la confusion tragique consistant à confondre la probabilité des données sachant l’hypothèse nulle avec la probabilité de l’hypothèse nulle sachant les données :

P(Données | H0) ≠ P(H0 | Données)

Pour saisir intuitivement cette non-commutativité probabiliste élémentaire, considérons une analogie anthropologique simple : la probabilité qu’un individu décédé soit une personne humaine est rigoureusement égale à un [P(Humain | Décédé) ≈ 1], tandis que la probabilité conditionnelle qu’un être humain soit actuellement décédé est une quantité infinitésimale [P(Décédé | Humain) ≈ 0,000008]. Intervertir les termes de la conditionnalité transforme une quasi-certitude en un événement rarissime. C’est précisément l’aberration commise par le chercheur qui interprète p = 0,03 comme signifiant qu’il existe seulement 3 % de chances que l’hypothèse nulle soit vraie, ou qu’il y a 97 % de chances que l’hypothèse alternative soit exacte.

Conformément au théorème de Bayes, le passage de P(Données | H0) à P(H0 | Données) requiert obligatoirement la connaissance de deux paramètres supplémentaires : la probabilité a priori de l’hypothèse nulle [P(H0)] et la probabilité globale d’observer ces données à travers toutes les hypothèses concurrentes envisageables. En ignorant cette exigence fondamentale, de nombreux scientifiques succombent à l’illusion rassurante que la valeur p leur fournit une estimation directe de la crédibilité épistémique de leurs théories. Des enquêtes méthodologiques ont tristement révélé que cette méconception imprègne plus de 80 % des étudiants en psychologie et une proportion alarmante d’enseignants-chercheurs et de praticiens cliniques expérimentés.

4.2 L’illusion de reproductibilité directe

Une autre croyance dévastatrice réside dans l’illusion selon laquelle une valeur p hautement significative garantirait la réplication exacte du résultat lors d’une reconduction expérimentale future. De nombreux auteurs affirment sans ciller qu’une valeur p de 0,01 implique que le protocole a 99 % de chances de déboucher à nouveau sur un résultat significatif en cas de reproduction identique. Cette affirmation constitue un contresens statistique total.

En réalité, la valeur p est une statistique notoirement instable, marquée par une extrême volatilité inter-échantillons. Le statisticien Geoff Cumming a popularisé ce phénomène sous le terme de danse des valeurs p (the dance of the p-values). Par le biais de simulations informatiques rigoureuses menées sous des conditions expérimentales idéales où un effet réel existe avec une puissance statistique typique de 50 % ou 60 %, Cumming a démontré que si une première étude génère une valeur p = 0,02, l’intervalle de prédiction à 80 % pour la valeur p de la réplication suivante s’étend sur une fourchette stupéfiante allant de p = 0,00001 à p = 0,44. La réplication a donc toutes les chances d’échouer à franchir le seuil fatidique de 0,05 en raison de la seule fluctuation aléatoire d’échantillonnage.

La valeur p n’offre en aucun cas une jauge de la stabilité temporelle ou de l’invariance empirique d’un phénomène comportemental. Elle fournit uniquement un indice rétrospectif de la compatibilité locale entre un jeu d’observations particulier et un modèle théorique spécifique sous des hypothèses distributionnelles strictes. Croire qu’un seuil p < 0,01 atteste de la reproductibilité durable d’une intervention psychologique témoigne d’une méconnaissance profonde de la variabilité d’échantillonnage et de la dynamique de l’inférence fréquentiste.

4.3 L’assimilation abusive de la signification à l’importance pratique

L’un des préjudices les plus manifestes infligés à la pratique clinique et à l’ingénierie sociale provient de la synonymie linguistique trompeuse entre le terme technique « significatif » et l’acception courante d’un phénomène « important », « marquant » ou « substantiel ». Sur le plan méthodologique, la signification statistique se borne à établir que la statistique observée se détache de manière improbable du bruit aléatoire postulé par le modèle nul ; elle ne renseigne en rien sur l’amplitude clinique, psychologique ou sociétale de l’effet mesuré.

Cette indépendance structurelle engendre régulièrement des dérives majeures. Dans des cohortes épidémiologiques massives composées de centaines de milliers de participants, des associations infinitésimales — comme une augmentation de l’espérance de vie de trois heures ou une amélioration d’un quart de point sur une échelle d’évaluation cognitive de cent items — atteignent des niveaux de signification faramineux (par exemple, p < 0,000001). Pourtant, de telles amplitudes d’effet sont totalement insignifiantes dans la vie réelle des individus, se révélant dénuées de toute pertinence thérapeutique ou d’utilité publique.

Inversement, dans des études cliniques pionnières portant sur des pathologies rares ou des protocoles thérapeutiques innovants où la taille d’échantillon est inévitablement contrainte, un bénéfice thérapeutique d’une ampleur considérable peut afficher une valeur p = 0,08, échouant de peu au seuil conventionnel. Rejeter un traitement potentiellement salvateur sous prétexte que son résultat n’est pas « statistiquement significatif » constitue une abdication méthodologique et éthique grave. L’évaluation de l’utilité clinique ou théorique exige impérativement d’analyser la taille de l’effet, sa trajectoire temporelle, son ratio coût-bénéfice et sa consistance avec les mécanismes neurobiologiques ou comportementaux connus, bien au-delà de la métrique réductrice p.

5. La valeur p au sein des architectures de tests usuels

5.1 Les comparaisons de moyennes via le test t de Student

Le test t de Student constitue sans doute l’architecture inférentielle la plus élémentaire et la plus ubiquitaire en sciences cognitives. Conçu initialement par William Sealy Gosset sous le pseudonyme de Student pour optimiser le contrôle qualité de la brasserie Guinness, ce test permet d’évaluer si la différence observée entre deux moyennes d’échantillons est compatible avec l’hypothèse nulle d’égalité des moyennes dans les populations sources. La mécanique interne du test repose sur le calcul d’un ratio confrontant le signal expérimental au bruit métrologique :

t = (x̄₁ – x̄₂) / SE_diff

Dans cette équation, le numérateur capture la divergence absolue entre les moyennes des deux groupes, tandis que le dénominateur représente l’erreur type de la différence (SE_diff), une mesure de l’incertitude d’échantillonnage dérivée de la variance combinée des scores et des effectifs respectifs. La statistique t ainsi générée quantifie le nombre d’erreurs types séparant les deux moyennes observées. Pour transformer cette grandeur empirique en valeur p, on projette la valeur t sur la fonction de répartition de la loi de Student calibrée sur un nombre précis de degrés de liberté (par exemple N₁ + N₂ – 2 pour un devis inter-sujets indépendant).

Cette logique s’applique avec une efficacité redoutable aux devis intra-sujets (mesures répétées) où chaque individu sert de son propre témoin, diminuant substantiellement la variance d’erreur interindividuelle et amplifiant mécaniquement la statistique t pour une même amplitude brute. Sur le plan opérationnel, le test t jouit d’une robustesse mathématique remarquable face aux déviations modérées de la normalité distributionnelle grâce à l’action stabilisatrice du théorème central limite, pourvu que les distributions demeurent unimodales et que les tailles d’échantillons restent équilibrées entre les conditions expérimentales.

5.2 L’analyse de variance (ANOVA) et les modèles de régression

Lorsque le protocole expérimental complexifie l’analyse en intégrant plus de deux conditions ou en croisant plusieurs facteurs indépendants, l’architecture analytique standard repose sur le modèle linéaire général, dont l’analyse de variance (ANOVA) et la régression linéaire multiple sont les expressions les plus célèbres. L’ANOVA, théorisée de main de maître par Fisher, ne compare pas directement les moyennes par paires, mais décompose la variance totale observée dans les données en deux composantes fondamentales : la variance attribuable aux manipulations expérimentales (variance inter-groupes) et la variabilité aléatoire résiduelle (variance intra-groupes ou d’erreur).

Le rapport de ces deux estimations de variance pondérées par leurs degrés de liberté respectifs génère la statistique F de Snedecor :

F = MS_entre / MS_erreur

La valeur p associée à ce ratio F reflète la probabilité qu’un rapport de variances d’une telle magnitude survienne si tous les groupes étaient en réalité issus d’une même population homogène. Une valeur p globale significative indique qu’au moins un groupe diverge des autres, nécessitant des contrastes planifiés post-hoc pour identifier la localisation exacte des différences significatives. Dans le cadre de la régression linéaire, chaque prédicteur individuel se voit attribuer un coefficient de régression β assorti de son propre test t et de sa valeur p spécifique, quantifiant la contribution unique de cette variable au modèle prédictif après ajustement statistique de l’ensemble des autres variables explicatives.

Cependant, l’interprétation des valeurs p dans les modèles multivariés exige une vigilance méthodologique accrue face au phénomène pernicieux de la multicolinéarité. Lorsque deux variables indépendantes sont fortement corrélées entre elles, l’erreur standard de leurs coefficients de régression explose artificiellement, entraînant un écrasement dramatique de leurs statistiques t et une inflation subséquente de leurs valeurs p individuelles, alors même que le modèle prédictif global conserve une valeur p d’ensemble extraordinairement significative. L’interprétation rigoureuse des termes d’interaction factorielle — au cœur de la modélisation des effets modérateurs en psychologie sociale — impose une vigilance similaire pour éviter d’imputer faussement à une modulation structurelle ce qui relève d’une simple redondance paramétrique.

5.3 Les analyses d’indépendance pour données catégorielles (Chi-carré)

Lorsque les variables à l’étude cessent d’être continues pour adopter une forme nominale ou ordinale discontinue (comme le statut clinique d’un patient, l’adhésion à une croyance ou l’appartenance socio-démographique), l’arsenal paramétrique cède la place aux tests non paramétriques, dominés par le célèbre test d’indépendance du Chi-carré de Karl Pearson. La mécanique sous-jacente consiste à comparer une matrice de fréquences empiriques observées (O_i) à une grille de fréquences théoriques attendues (E_i), ces dernières étant rigoureusement calculées sous l’hypothèse nulle d’une indépendance probabiliste totale entre les lignes et les colonnes du tableau de contingence.

La statistique du Chi-carré (χ²) agrège l’ensemble des écarts quadratiques standardisés à travers l’ensemble des cellules du dispositif :

χ² = ∑ [ (O_i – E_i)² / E_i ]

Cette somme de déviations pondérées est ensuite projetée sur la distribution théorique continue du Chi-carré, dont l’unique paramètre correspond aux degrés de liberté, établis par la formule classique : ddl = (L – 1) × (C – 1), où L et C représentent respectivement le nombre de lignes et de colonnes de la matrice. La valeur p en résultant quantifie l’improbabilité d’observer de telles disparités d’effectifs si l’appartenance à une catégorie n’exerçait aucune influence sur l’autre.

Néanmoins, la dérivation exacte de la valeur p par le test du Chi-carré repose sur une approximation asymptotique qui exige des contraintes métrologiques strictes, traditionnellement résumées par les règles de Cochran : aucune cellule ne doit présenter un effectif théorique nul, et au moins 80 % des cellules doivent afficher un effectif théorique supérieur ou égal à 5. Lorsque ces postulats ne sont pas satisfaits, particulièrement dans les études cliniques portant sur des événements rares, la distribution asymptotique échoue lamentablement, et la valeur p devient fallacieuse, imposant le recours impératif au test exact de Fisher ou à des techniques de rééchantillonnage par bootstrapping.

6. Les déterminants mécaniques de la valeur p

6.1 L’influence prépondérante de la taille de l’échantillon

La valeur p n’est pas une mesure intrinsèque de la force d’une théorie scientifique ; elle est le produit d’une dynamique mathématique impliquant directement la taille de l’échantillon (N). Pour illustrer cette dépendance fonctionnelle, il suffit d’examiner la structure de l’erreur type de la moyenne, qui figure invariablement au dénominateur de la majorité des statistiques de test classiques :

SE = s / √N

L’erreur standard décroît de manière inversement proportionnelle à la racine carrée de l’effectif. En conséquence directe, à mesure que N s’élève vers des dimensions imposantes, l’erreur type tend asymptotiquement vers zéro. Cette contraction mécanique a pour effet d’amplifier vertigineusement la statistique de test calculée (t, F, χ²) pour une différence brute strictement identique, précipitant inéluctablement la valeur p vers zéro. Dans un échantillon de dix millions de sujets, la moindre variation infinitésimale — générée par une fluctuation de température ou un biais métrologique minime sans aucune substance théorique — atteindra avec certitude une significativité statistique éclatante (p < 0,0001).

Cette sensibilité mathématique engendre un péril méthodologique symétrique. D’une part, les études massives dites de Big Data courent le risque d’ériger en découvertes scientifiques majeures des bruits statistiques négligeables. D’autre part, la recherche expérimentale de pointe — comme la neuropsychologie lésionnelle ou l’imagerie par résonance magnétique fonctionnelle (IRMf) — souffre historiquement d’une sous-puissance chronique due à des cohortes restreintes (souvent 10 à 20 participants par condition). Dans ce dernier cas, même en présence d’un effet psychologique d’une magnitude considérable, la valeur p échouera fréquemment à franchir le seuil de 0,05 simplement parce que l’erreur standard demeure trop large pour que le signal se détache avec netteté, condamnant l’investigateur au risque élevé de faux négatif.

6.2 La variabilité résiduelle et l’erreur de mesure

Le second levier mécanique modulant drastiquement la valeur p réside dans l’ampleur de la variabilité résiduelle présente dans les mesures expérimentales. Dans n’importe quel devis empirique, la variance totale des données se segmente entre la variance systématique induite par le phénomène théorique investigué et la variance d’erreur, laquelle agrège l’ensemble des sources de bruit indésirables : fluctuations biologiques des participants, distractions environnementales imprévues, idiosyncrasies individuelles et imprécisions des instruments psychométriques.

La théorie classique des tests enseigne que le score observé sur une échelle psychologique se compose du score vrai additionné d’une composante d’erreur aléatoire. Si un instrument d’évaluation psychologique présente une fidélité médiocre (par exemple, un coefficient alpha de Cronbach ou un omega de McDonald inférieur à 0,70), la variance d’erreur enfle substantiellement. Cette inflation de bruit métrologique au dénominateur des ratios statistiques (t ou F) écrase impitoyablement la grandeur du test, gonflant artificiellement la valeur p et masquant un effet réel sous un épais brouillard de mesure imprécise.

Pour contrecarrer cette dégradation mécanique, les chercheurs expérimentaux déploient des stratégies d’homogénéisation méthodologique : standardisation rigoureuse des protocoles d’expérimentation, recours à des devis en mesures répétées permettant de soustraire la variance interindividuelle résiduelle, ou utilisation de paradigmes computationnels combinant des centaines de répétitions par participant pour lisser le bruit stochastique. Réduire la variance non contrôlée et maximiser la fidélité des mesures psychométriques permet d’affiner l’acuité de la valeur p sans recourir nécessairement à une augmentation démesurée de la taille d’échantillon.

6.3 La magnitude de l’effet sous-jacent dans la population

Le troisième déterminant fondamental gouvernant la valeur p est, naturellement, l’amplitude réelle du phénomène biologique ou psychologique dans la population globale. Cette composante — par définition inaccessible et inconnue du chercheur — correspond à la distance mathématique séparant la véritable distribution de la population de l’état postulé par le modèle nul. Si l’on évalue l’efficacité d’un protocole d’apprentissage sur l’amélioration des capacités de mémoire de travail, la magnitude de l’effet correspond à l’écart standardisé réel entre la population exposée et la population témoin.

Lorsque cette taille d’effet théorique est massive, la probabilité d’observer une statistique de test hautement déviante par rapport à H0 s’avère extrêmement élevée, générant de manière presque systématique des valeurs p infinitésimales, même au sein d’échantillons de taille modeste. En revanche, lorsque le phénomène réel correspond à un effet de taille minime, la valeur p oscille de manière chaotique sur l’ensemble de la distribution, se révélant extraordinairement sensible aux moindres variations d’échantillonnage et aux imprécisions instrumentales.

Il existe donc une interaction conjointe et inséparable entre ces trois paramètres : la taille de l’échantillon, la précision métrologique et la magnitude de l’effet populationnel. La valeur p ne constitue en aucun cas une lecture directe de l’effet réel sous-jacent ; elle est le reflet composite et intriqué de cette triade de déterminants mécaniques. Vouloir inférer la taille ou l’importance d’un phénomène comportemental à partir de la seule contemplation de sa valeur p sans examiner conjointement la taille de l’échantillon et l’erreur de mesure relève d’une illusion méthodologique fatale.

7. Puissance statistique, taille d’effet et dimensionnement de l’étude

7.1 La puissance statistique (1 – bêta) comme régulatrice de la significativité

La puissance statistique, formalisée par la quantité 1 – β, désigne la probabilité mathématique qu’un test rejette à juste titre l’hypothèse nulle lorsque cette dernière est effectivement fausse dans la population. Autrement dit, il s’agit de la sensibilité opérationnelle du dispositif expérimental à capturer un signal théorique authentique dont l’amplitude est non nulle. Alors que le risque alpha fixe la tolérance maximale aux fausses alertes, la puissance régule la capacité de détection du dispositif.

Dans un ouvrage séminal publié en 1988, Jacob Cohen a proposé d’ériger la puissance statistique minimale standard à 0,80 (soit 80 %). Cela signifie qu’un chercheur planifiant une expérience sous cette convention accepte sciemment une probabilité de 20 % (β = 0,20) d’échouer à identifier un effet réel, tolérant ainsi que deux études sur dix manquent une découverte authentique par simple malchance d’échantillonnage. En pratique, des décennies d’audits métarecherches révèlent que la puissance moyenne des protocoles empiriques en psychologie et en neurosciences oscille péniblement autour de 0,50, voire 0,35 pour les effets modérés ou faibles.

Cette sous-puissance chronique engendre une conséquence paradoxale et toxique documentée par John Ioannidis : le paradoxe du gagnant (ou winner’s curse). Dans un univers de recherche sous-puissant où seules les études atteignant le seuil p < 0,05 parviennent à être publiées, les rares études qui parviennent à franchir ce goulet d’étranglement statistique sont précisément celles qui, sous l’influence fortuite de fluctuations positives extrêmes d’échantillonnage, ont dramatiquement surestimé l’amplitude réelle de l’effet. Ainsi, la significativité statistique obtenue au sein d’études chroniquement sous-dimensionnées ne constitue pas une garantie d’authenticité, mais agit comme un filtre sélectif amplifiant artificiellement la déformation des connaissances scientifiques.

7.2 Les indices standardisés de taille d’effet

Pour s’émanciper de la dépendance mécanique de la valeur p à la taille de l’échantillon, la méthodologie contemporaine impose l’évaluation systématique de la taille d’effet (effect size). Une mesure de taille d’effet quantifie l’amplitude d’un phénomène dans une métrique standardisée indépendante du nombre d’observations, permettant de comparer directement les résultats d’investigations conduites avec des protocoles ou des instruments dissemblables.

Ces indicateurs se segmentent en grandes familles mathématiques complémentaires :

• Les différences standardisées de moyennes (famille d) : Le d de Cohen exprime l’écart entre deux moyennes d’échantillon en unités d’écart-type combiné. Des variantes correctrices, telles que le g de Hedges, intègrent un ajustement mathématique pour éliminer le biais de surestimation inhérent aux petits échantillons, tandis que le delta de Glass utilise exclusivement l’écart-type du groupe contrôle en cas d’hétéroscédasticité manifeste.
• Les mesures de variance expliquée (famille r et η²) : Dans les modèles factoriels, le êta-carré (η²) et le êta-carré partiel (η_p²) quantifient la proportion de variance de la variable dépendante imputable à un facteur expérimental. Toutefois, ces indices étant positivement biaisés, les statisticiens recommandent l’usage de l’oméga-carré (ω²) ou de l’oméga-carré partiel (ω_p²), des estimateurs sans biais nettement plus fiables.
• Les indices d’association (famille r de Pearson) : Le coefficient r quantifie la magnitude de l’alignement linéaire entre deux variables continues, tandis que le rho de Spearman ou le tau de Kendall opèrent une fonction analogue sur les rangs ordinaux.

La supériorité épistémologique de la taille d’effet sur la valeur p est absolue lorsqu’il s’agit d’accumuler le savoir scientifique. Alors que la valeur p ne peut en aucun cas être moyennée d’une étude à l’autre sans induire des non-sens mathématiques, les tailles d’effet constituent l’ingrédient fondamental des synthèses quantitatives et des méta-analyses. Ce sont ces grandeurs standardisées qui permettent de modéliser avec précision l’efficacité d’un vaccin, la rémanence d’une thérapie cognitivo-comportementale ou la stabilité d’un biais cognitif à travers des populations mondiales diversifiées.

7.3 Le calcul de dimensionnement a priori

L’une des étapes les plus critiques de l’intégrité méthodologique consiste en la détermination prospective de la taille d’échantillon nécessaire à l’aide d’un calcul de dimensionnement a priori (a priori power analysis). Conduire une expérience sans planification rigoureuse de la puissance équivaut à calibrer un télescope à l’aveuglette en espérant que la résolution optique s’avérera suffisante pour distinguer un astre lointain du bruit stellaire de fond.

La détermination de l’effectif requis s’opère par la résolution mathématique d’une équation liant quatre paramètres interdépendants : le seuil d’erreur alpha (α), le niveau de puissance désiré (1 – β), la structure formelle du test statistique envisagé (t, F, χ²), et la taille d’effet minimale présentant un intérêt pratique ou théorique (SESOI, pour Smallest Effect Size of Interest). L’utilisation de logiciels libres spécialisés et validés internationalement, tels que G*Power développé par l’Université de Düsseldorf, s’est imposée comme un standard institutionnel pour exécuter ces projections de puissance.

Le piège récurrent dans la planification de puissance réside dans la tentation de se baser sur les tailles d’effet spectaculaires rapportées dans les publications pionnières de la littérature, lesquelles sont quasi systématiquement gonflées par le biais de publication et le paradoxe du gagnant. Une planification vertueuse exige de déterminer l’effectif à partir de la plus petite taille d’effet théoriquement significative, garantissant que l’expérience disposera d’une sensibilité suffisante pour détecter des signaux modestes mais substantiels. Ce dimensionnement prospectif évite à la fois le gaspillage éthique et financier associé aux cohortes sous-puissantes inutiles et le surdimensionnement dispendieux d’expérimentations recrutant des cohortes pléthoriques pour traquer des effets dénués de toute utilité pratique.

8. La problématique des comparaisons multiples et le contrôle de l’aléa

8.1 L’inflation du taux d’erreur de Type I global (familywise error rate)

L’application répétée de tests de signification statistique sur un même jeu de données sans précaution de calibrage engendre un péril méthodologique redoutable : l’inflation exponentielle de l’erreur de Type I globale, désignée sous l’acronyme de Familywise Error Rate (FWER). Si le risque de faux positif est rigoureusement borné à α = 0,05 pour une hypothèse unique isolée, la probabilité cumulée de commettre au moins une erreur de Type I s’accroît dès lors que le chercheur multiplie les comparaisons.

Considérons un ensemble de k tests d’hypothèses statistiques indépendants menés au sein d’une même étude empirique. La probabilité d’obtenir une conclusion correcte pour un test individuel sous H0 est de (1 – α). Sous l’hypothèse de stochasticité indépendante, la probabilité de ne commettre aucune erreur de Type I sur l’ensemble des k épreuves équivaut au produit de leurs probabilités conjointes, soit (1 – α)^k. Par conséquent, la probabilité d’observer au minimum un faux positif sur la « famille » de tests est régie par la formule fondamentale :

α_global = 1 – (1 – α)^k

Les conséquences numériques de cette formule sont implacables. Si un psychologue explore les effets d’une substance sur une batterie de seulement 10 échelles psychométriques distinctes, le risque d’affirmer à tort l’existence d’au moins un effet significatif atteint : 1 – (1 – 0,05)¹⁰ ≈ 0,40, soit 40 % d’erreur globale. Pour 20 tests menés de front, ce risque bondit à 64 %, rendant la survenue d’un faux positif mathématiquement plus probable que son absence. Ce péril atteint son paroxysme en neuro-imagerie fonctionnelle (IRMf), où l’analyse simultanée de l’activation hémodynamique sur plus de 100 000 voxels tridimensionnels cérébraux génère immanquablement des milliers d’activations purement illusoires si aucune correction rigoureuse de champ aléatoire n’est appliquée — un phénomène illustré de manière cinglante par la célèbre étude de Bennett et collaborateurs démontrant une « activation cognitive significative » dans le cerveau d’un saumon mort.

8.2 Les méthodes de correction conservatrices classiques

Pour neutraliser cette explosion de fausses découvertes, la statistique théorique a développé un éventail de procédures d’ajustement destinées à brider le FWER au niveau nominal désiré (typiquement 0,05 pour l’ensemble de la famille de tests). La procédure la plus élémentaire et la plus universellement connue est la correction de Bonferroni. Dérivée des inégalités de Boole, elle impose de diviser le seuil alpha nominal par le nombre total de comparaisons effectuées (α’ = α / k), ou de manière équivalente de multiplier chaque valeur p brute observée par k.

Bien que mathématiquement infaillible pour juguler l’inflation du risque de faux positif, la correction de Bonferroni s’avère d’une sévérité implacable, s’appuyant sur le postulat restrictif d’une indépendance orthogonale totale entre les épreuves. Lorsque les variables sont corrélées — ce qui est universellement le cas des facettes de la personnalité ou des mesures de temps de réaction — Bonferroni écrase brutalement la puissance statistique globale du protocole, induisant une prolifération massive d’erreurs de Type II (faux négatifs). Pour pallier cette rigidité excessive, la variante séquentielle par étapes de Holm-Bonferroni ordonne les valeurs p de la plus faible à la plus élevée et applique un seuil correcteur dégressif [α / (k – i + 1)], préservant une puissance substantiellement supérieure tout en maintenant un contrôle irréprochable du FWER.

Dans le domaine spécifique des analyses de variance factorielles impliquant des comparaisons exhaustives de paires de moyennes, les chercheurs privilégient les tests de Tukey (HSD), basés sur la distribution de l’étendue studentisée, qui contrôlent rigoureusement le risque global tout en tenant compte de la structure de dépendance interne des comparaisons. Lorsque le protocole cible exclusivement la comparaison systématique de plusieurs conditions expérimentales face à un unique groupe contrôle de référence, le test de Dunnett s’impose comme la solution d’ajustement optimale, offrant une puissance nettement plus avantageuse que les procédures d’ajustement non spécifiques.

8.3 Le contrôle du taux de fausses découvertes (False Discovery Rate)

L’essor des technologies massives — telles que le séquençage génomique, l’électroencéphalographie à haute densité et l’exploitation de méga-bases de données comportementales — a rendu intenable l’approche traditionnelle du FWER. Tenter d’empêcher à tout prix la moindre erreur de Type I parmi dix millions de tests conduit à exiger des seuils de p si microscopiques que plus aucun signal biologique ne peut franchir le filtre analytique. Face à cette impasse épistémologique, Yoav Benjamini et Yosef Hochberg ont opéré en 1995 un basculement paradigmatique révolutionnaire en introduisant le concept de taux de fausses découvertes (FDR pour False Discovery Rate).

Plutôt que de chercher à éradiquer la survenue d’un seul faux positif à l’échelle de l’expérience entière, l’approche FDR vise à contrôler la proportion tolérée de faux positifs parmi l’ensemble des tests déclarés significatifs. Déclarer que l’on contrôle le FDR à un niveau q = 0,05 signifie que parmi toutes les découvertes que l’on revendiquera dans la publication, on accepte par avance qu’environ 5 % d’entre elles soient le fruit du bruit stochastique, tout en garantissant que 95 % des signaux validés correspondent à des effets empiriques bien réels.

L’algorithme de Benjamini-Hochberg s’exécute de manière élégante : les m valeurs p calculées sont ordonnées par rang croissant (p₍₁₎ ≤ p₍₂₎ ≤ … ≤ p_(m)), et l’on identifie la plus grande valeur p respectant la condition :

p_(i) ≤ (i / m) × q

Toutes les hypothèses dont la valeur p est inférieure ou égale à ce point de bascule critique sont alors rejetées. Cette méthodologie confère aux chercheurs une sensibilité analytique et une puissance de découverte incomparablement supérieures aux ajustements ultra-conservateurs classiques, ce qui en fait le standard incontournable pour la recherche contemporaine en neurosciences et en génomique comportementale.

9. Dérives méthodologiques : p-hacking, HARKing et biais de sélection

9.1 Les degrés de liberté du chercheur et le p-hacking

L’architecture du test d’hypothèse nulle n’est mathématiquement valide que si le plan d’analyse est rigoureusement gelé avant la prise de contact avec les données empiriques. Or, dans la réalité des pratiques de laboratoire, les expérimentateurs disposent d’une flexibilité immense au moment de traiter leurs résultats, un phénomène documenté par Joseph Simmons, Leif Nelson et Uri Simonsohn sous l’appellation de degrés de liberté du chercheur (researcher degrees of freedom). L’exploitation consciente ou inconsciente de ces marges de manœuvre afin de faire basculer une valeur p non significative sous le seuil fatidique de 0,05 est aujourd’hui désignée sous le terme générique de p-hacking (ou pêche aux données significatives).

Le p-hacking emprunte des formes multiples et insidieuses au fil de la chaîne de traitement :

• L’arrêt opportuniste de la collecte de données (optional stopping) : le chercheur calcule périodiquement sa valeur p au fil des arrivées de participants et cesse l’échantillonnage dès que p franchit 0,048, sans corriger pour la répétition séquentielle des tests.
• L’élimination sélective de valeurs aberrantes (outliers) : l’expérimentateur teste plusieurs critères d’exclusion (2, 2,5 ou 3 écarts-types, distance de Mahalanobis, scores d’influence) et ne retient dans le manuscrit final que le filtrage qui permet d’atteindre la significativité.
• Le choix sélectif des covariables d’ajustement : l’inclusion opportuniste de variables de contrôle non spécifiées a priori (âge, genre, niveau socio-économique) jusqu’à ce que l’effet expérimental devienne significatif dans le modèle de régression.
• La redéfinition a posteriori des conditions expérimentales : le regroupement discret de deux modalités de traitement ou la suppression unilatérale d’un groupe expérimental n’ayant pas répondu conformément aux attentes théoriques.

Simmons et ses collègues ont démontré par des simulations probabilistes stupéfiantes que la combinaison de seulement quatre de ces manipulations banales porte le taux effectif de faux positifs au-delà de 60 % pour des données composées exclusivement de pur bruit blanc aléatoire. Le p-hacking transforme le processus d’inférence en une illusion statistique complète, où le chercheur croit de bonne foi découvrir une régularité psychologique là où il n’a fait que contraindre mathématiquement le bruit stochastique à s’aligner sur ses désirs de publication.

9.2 Le HARKing et la réécriture opportuniste des objectifs

Une pathologie épistémologique corollaire du p-hacking concerne la temporalité de l’élaboration théorique, pratique qualifiée par Norbert Kerr de HARKing, acronyme désignant l’action d’Hypothesizing After the Results are Known (formuler des hypothèses après que les résultats sont connus). Cette pratique consiste à présenter dans l’introduction d’un article scientifique une découverte accidentelle — issue de corrélations fortuites ou d’explorations statistiques non planifiées — comme si elle constituait la prédiction confirmatoire déduite a priori d’un modèle théorique préexistant.

Le HARKing constitue une subversion radicale de la méthode hypothético-déductive. En transformant rétrospectivement une analyse exploratoire post-hoc en une démarche confirmatoire a priori, l’auteur dissimule délibérément l’immense espace de recherche probabiliste dans lequel les données ont été tamisées. Ce faisant, il dissimule le fait que la valeur p rapportée n’a plus aucune validité nominale, le dénominateur de l’incertitude ayant été faussé par la sélection des résultats les plus extrêmes du jeu de données.

Cette réécriture narrative détruit la validité de la littérature scientifique en créant une impression trompeuse de cohérence théorique absolue. Des modèles psychologiques bancals se retrouvent confortés par des succès empiriques en apparence éclatants, alors que ces résultats ne représentent que des artefacts d’échantillonnage glorifiés a posteriori. L’institutionnalisation de cette fraude douce a longtemps été encouragée par les comités de lecture des revues, lesquels exigeaient des manuscrits une narration élégante et linéaire gommant les hésitations, les impasses exploratoires et les échecs de réplication inhérents à l’entreprise empirique authentique.

9.3 Le biais de publication et l’effet tiroir (file-drawer problem)

Même si chaque scientifique conduisait ses analyses avec une éthique personnelle irréprochable en s’interdisant tout p-hacking et tout HARKing, l’édifice scientifique mondial demeurerait profondément biaisé par l’action d’un filtre structurel majeur : le biais de publication, immortalisé par Robert Rosenthal sous l’expression évocatrice de problème du tiroir de classement (the file-drawer problem). Ce phénomène désigne la propension systématique des revues à comité de lecture à n’accepter pour publication que des manuscrits affichant des résultats statistiquement significatifs (p < 0,05).

Les études ayant échoué à rejeter l’hypothèse nulle — souvent qualifiées péjorativement de résultats négatifs ou nuls — sont massivement rejetées par les comités éditoriaux, ou simplement abandonnées au fond des tiroirs par leurs auteurs découragés d’investir des mois de travail dans des manuscrits jugés d’emblée impubliables. La conséquence mécanique de cette asymétrie documentaire est dévastatrice : si vingt laboratoires à travers la planète testent indépendamment un effet thérapeutique totalement inexistant, la loi normale assure qu’au moins un de ces laboratoires obtiendra fortuitement un résultat significatif à p < 0,05. Ce laboratoire rédigera un article triomphal qui sera promptement publié dans une revue de référence, tandis que les dix-neuf autres enfermeront leurs résultats nuls dans leurs classeurs. Le public et les cliniciens n’auront alors accès qu’au seul faux positif miraculé.

Ce biais contamine dramatiquement les méta-analyses, lesquelles, en agrégeant exclusivement la littérature publiée, dressent un portrait excessivement flatteur et trompeur de l’efficacité de thérapies psychologiques ou d’interventions sociologiques. Pour détecter et quantifier cette distorsion dans un corpus de recherche, les statisticiens emploient des diagrammes en entonnoir (funnel plots), qui tracent la taille de l’effet en fonction de la précision métrologique de chaque étude. Une distribution asymétrique révélant un creux béant dans le quadrant inférieur des études sous-puissantes non significatives apporte la preuve visuelle et mathématique de la disparition orchestrée des données nulles, signalant une littérature corrompue par l’effet tiroir.

10. La crise de la reproductibilité et la remise en question du paradigme

10.1 Les diagnostics posés par les initiatives de réplication ouverte

Au tournant des années 2010, l’accumulation de signaux d’alerte — incluant la publication d’études méthodologiquement irréprochables en apparence mais démontrant des phénomènes manifestement impossibles comme la précognition humaine — a déclenché une secousse tellurique dans la communauté scientifique internationale : la crise de la reproductibilité. Pour évaluer empiriquement l’ampleur du désastre, le Center for Open Science, sous l’égide de Brian Nosek, a orchestré une entreprise collaborative sans précédent historique : le Reproducibility Project: Psychology.

Les conclusions de cette investigation collective, publiées en 2015 dans la revue Science, ont stupéfié le monde académique. Sur un échantillon de 100 études expérimentales et corrélationnelles publiées dans les trois revues de psychologie les plus prestigieuses de la discipline, 97 % des publications originales affichaient des résultats statistiquement significatifs. Or, lors des réplications directes conduites avec une puissance statistique accrue, une haute fidélité méthodologique et des protocoles pré-enregistrés, seules 36 % des réplications sont parvenues à atteindre à nouveau le seuil de significativité statistique de 0,05. De surcroît, la magnitude moyenne des tailles d’effet répliquées s’est effondrée de plus de la moitié par rapport aux grandeurs triomphales initialement rapportées.

Ce diagnostic implacable a démontré que la confiance aveugle accordée à la seule présence d’une valeur p inférieure à 0,05 comme gage de vérité scientifique relevait de l’illusion épistémologique. La prolifération conjointe d’études chroniquement sous-puissantes, de p-hacking banalisé et d’un biais de publication systémique avait engendré un paysage documentaire où une proportion colossale des découvertes fondamentales en sciences sociales ne représentaient que des faux positifs ou des surestimations grotesques d’effets évanescents, insusceptibles de résister à l’épreuve d’une réplication indépendante rigoureuse.

10.2 La déclaration officielle de l’American Statistical Association (ASA)

Face à la dégradation de la confiance publique envers la science et à l’usage perverti des statistiques inférentielles dans les expertises judiciaires, médicales et économiques, l’American Statistical Association (ASA) a pris une initiative historique en publiant en 2016 une déclaration officielle sans précédent sur la signification statistique et les valeurs p. Rédigé par un panel de plus de vingt statisticiens de renommée mondiale, ce document visait à clarifier définitivement les limites structurelles de cette métrique.

Le manifeste de l’ASA s’articule autour de six principes cardinaux que chaque utilisateur de la méthode quantitative se doit d’assimiler :

1. Les valeurs p peuvent indiquer la compatibilité des données avec un modèle statistique spécifié ;
2. Les valeurs p ne mesurent pas la probabilité que l’hypothèse étudiée soit vraie, ni la probabilité que les données aient été produites par le seul hasard ;
3. Les décisions scientifiques ou politiques ne devraient jamais reposer exclusivement sur le fait qu’une valeur p franchit ou non un seuil arbitraire ;
4. Une inférence rigoureuse requiert un rapportage transparent et exhaustif de l’intégralité des analyses conduites sans sélection opportuniste ;
5. Une valeur p, ou une signification statistique, ne mesure pas la taille d’un effet ni l’importance pratique d’un résultat ;
6. En elle-même, une valeur p ne fournit pas une bonne mesure de la preuve relative à un modèle ou une hypothèse concurrents.

En formulant cette mise au point retentissante, l’ASA condamnait formellement l’utilisation mécanique de seuils de coupure stricts pour délivrer des brevets d’authenticité scientifique. Elle appelait de ses vœux une révolution copernicienne privilégiant la transparence intégrale des protocoles, l’estimation quantitative de la taille d’effet assortie de ses marges d’incertitude, et la contextualisation experte des résultats empiriques au sein de théories mécanistiques plausibles.

10.3 Débats contemporains : durcir le seuil ou abandonner la significativité ?

La publication de la déclaration de l’ASA a déclenché une vive controverse au sein de la communauté métascientifique, structurée autour de deux approches concurrentes pour remédier aux pathologies de la significativité. La première proposition, portée en 2018 par un consortium de 72 méthodologistes de premier plan mené par Daniel Benjamin, suggérait une réforme conservatrice pragmatique : abaisser le seuil alpha standard de 0,05 à 0,005 pour toute revendication d’une nouvelle découverte scientifique dans les recherches confirmatoires.

Les partisans de cette réduction arguaient qu’un seuil p < 0,005 réduit drastiquement le taux de faux positifs à un niveau tolérable (faisant passer le ratio de vraisemblance en faveur de H1 d’environ 3:1 à près de 25:1 sous des hypothèses a priori réalistes), tout en instaurant une barrière efficace contre le p-hacking modéré. Toutefois, cette motion a suscité de vives levées de boucliers logistiques, de nombreux chercheurs soulignant qu’un passage à α = 0,005 impose d’accroître les effectifs d’échantillonnage d’environ 70 % pour maintenir une puissance de 80 %, une exigence irréalisable pour de nombreux laboratoires dépourvus de moyens massifs, risquant de paralyser la recherche sur des populations rares.

La seconde proposition, plus radicale, menée par Valentin Amrhein, Sander Greenland et Blake McShane dans un manifeste cosigné par plus de 800 scientifiques dans la revue Nature en 2019, plaidait pour l’abandon pur et simple du concept de signification statistique. Ces auteurs appelaient à bannir définitivement l’usage de frontières dichotomiques et à cesser de catégoriser les résultats en « significatifs » ou « non significatifs ». Ils invitaient la science empirique à embrasser l’incertitude inhérente à l’induction, en traitant la valeur p pour ce qu’elle est : un gradient continu d’incompatibilité locale entre des données et un modèle, devant impérativement être interprété de concert avec les intervalles de compatibilité, la plausibilité théorique a priori et la validité interne des protocoles de mesure.

11. Alternatives et cadres complémentaires à la valeur p

11.1 L’estimation par intervalles de confiance

Face aux limites inhérentes à la focalisation réductrice sur la valeur p, le paradigme de l’estimation par intervalles de confiance (IC) s’est imposé comme une transition méthodologique salutaire. Au lieu de concentrer l’attention sur le rejet ponctuel d’une valeur zéro abstraite, l’intervalle de confiance — traditionnellement calculé au seuil de 95 % — fournit simultanément une estimation ponctuelle de la taille de l’effet observé et une quantification explicite de la précision métrologique de cette estimation.

Sur le plan mathématique fréquentiste, un intervalle de confiance à 95 % est construit de telle sorte que si l’on répétait la procédure d’échantillonnage une infinité de fois dans des conditions identiques, 95 % des intervalles ainsi générés recouvriraient la véritable valeur du paramètre de population inconnu. Il existe une correspondance directe et mathématique entre l’intervalle de confiance et le test d’hypothèse bilatéral : si l’intervalle de confiance à 95 % entourant une différence de moyennes n’englobe pas la valeur zéro, cela équivaut strictement à rejeter l’hypothèse nulle d’égalité avec p < 0,05.

La supériorité informative de l’intervalle réside dans la richesse de son interprétation topologique. La largeur de l’intervalle informe immédiatement le lecteur sur la puissance de l’étude : un intervalle extrêmement large englobant des bornes allant d’une amélioration clinique spectaculaire à un bénéfice microscopique trahit une étude sous-puissante à la précision désastreuse, même si la valeur p ponctuelle se trouve être de 0,04. À l’inverse, un intervalle resserré autour de zéro atteste d’une grande précision expérimentale et permet d’exclure avec assurance des effets théoriquement pertinents. Il convient toutefois de mettre en garde contre un écueil résiduel fréquent : croire qu’il y a 95 % de chances que le véritable paramètre se situe à l’intérieur de l’intervalle spécifique calculé sur un échantillon donné — une interprétation qui relève exclusivement de la logique bayésienne des intervalles de crédibilité.

11.2 L’inférence bayésienne et les facteurs de Bayes

L’alternative paradigmatique la plus profonde à l’édifice fréquentiste réside dans l’inférence bayésienne. Alors que l’approche classique conditionne ses calculs sur l’hypothèse d’un modèle nul immuable pour évaluer la probabilité des données P(Données | H0), la logique bayésienne inverse la perspective en actualisant le degré de croyance rationnelle accordé aux hypothèses théoriques au vu des données réellement recueillies :

P(H | Données) = [ P(Données | H) × P(H) ] / P(Données)

L’instrument central de comparaison d’hypothèses dans ce cadre est le Facteur de Bayes (BF). Le facteur de Bayes quantifie le rapport de vraisemblance marginale entre deux modèles concurrents, traditionnellement noté BF₁₀ pour exprimer le poids relatif de la preuve empirique apporté par les observations en faveur de l’hypothèse alternative (H1) contre l’hypothèse nulle (H0). Un BF₁₀ égal à 12 indique que les données recueillies sont douze fois plus probables sous le modèle théorique H1 que sous le modèle du bruit stochastique H0.

L’apport révolutionnaire du cadre bayésien réside dans sa capacité exclusive à quantifier la preuve en faveur de l’hypothèse nulle (BF₀₁). Alors que l’approche fréquentiste est structurellement incapable d’accepter H0 — se bornant à échouer à la rejeter sans pouvoir distinguer si cet échec découle d’une absence réelle d’effet ou d’une puissance expérimentale anémique —, un facteur de Bayes BF₀₁ élevé (par exemple supérieur à 10) autorise le chercheur à affirmer que les données fournissent un soutien empirique fort en faveur de la stricte invariance comportementale. Des logiciels ouverts contemporains comme JASP ont démocratisé l’accès à ces analyses bayésiennes, permettant notamment d’éprouver la robustesse des conclusions face à différentes distributions a priori (priors) via des vérifications de robustesse indispensables.

11.3 Les tests d’équivalence et la procédure TOST

Pour les chercheurs demeurant ancrés dans le paradigme fréquentiste mais soucieux de tester rigoureusement l’absence d’effets significatifs sans succomber au sophisme du « non-rejet vaut preuve », les tests d’équivalence offrent une solution méthodologique d’une élégance remarquable. Popularisée en psychologie expérimentale par Daniël Lakens, la procédure des deux tests unilatéraux — ou TOST (Two One-Sided Tests) — permet de rejeter statistiquement l’existence d’un effet substantiel.

La mécanique du TOST exige de l’expérimentateur qu’il définisse a priori les bornes d’un intervalle d’équivalence statistique représentant la plus petite taille d’effet présentant un intérêt clinique ou théorique (Δ_L et Δ_U, pour bornes inférieure et supérieure). Le protocole déploie ensuite simultanément deux tests unilatéraux distincts :

1. Le premier teste si l’effet observé est statistiquement supérieur à la borne inférieure d’équivalence (Δ_L) ;
2. Le second teste si l’effet observé est statistiquement inférieur à la borne supérieure d’équivalence (Δ_U).

Si les deux tests s’avèrent simultanément significatifs au seuil alpha choisi, le chercheur est formellement autorisé à conclure que l’effet véritable se situe entièrement à l’intérieur des bornes d’équivalence, établissant ainsi l’équivalence pratique du phénomène par rapport à zéro. La procédure TOST prévient les dérives de faux négatifs dans l’évaluation des risques sanitaires, la validation de génériques pharmaceutiques ou la démonstration de l’invariance transculturelle de processus cognitifs fondamentaux, apportant au test d’hypothèse la symétrie confirmatoire qui lui faisait historiquement défaut.

12. Directives pratiques pour une utilisation intègre en psychologie scientifique

12.1 Les standards de rapportage de l’APA (American Psychological Association)

L’élévation des standards de rigueur méthodologique a conduit l’American Psychological Association (APA) à édicter des directives éditoriales strictes dans la septième édition de son manuel de publication, visant à éradiquer l’opacité statistique des articles scientifiques. La directive la plus impérative concerne le bannissement définitif des notations approximatives sous forme d’inégalités génériques (comme p < 0,05 ou p < 0,01) ou d’astérisques isolées. Les auteurs ont désormais l’obligation de consigner la valeur p exacte avec deux ou trois décimales (par exemple, p = 0,034), la seule exception tolérée étant l’expression p < 0,001 pour désigner des grandeurs infinitésimales inférieures à ce seuil.

De surcroît, le manuel de l’APA exige une transparence totale sur l’architecture du modèle inférentiel. Chaque mention d’une valeur p doit impérativement être accompagnée :

• Du symbole de la statistique de test mise en œuvre (t, F, χ², z, r) ;
• De la spécification explicite des degrés de liberté exacts, placés entre parenthèses immédiatement après la statistique de test ;
• De la grandeur numérique exacte de la statistique calculée ;
• De l’indice de taille d’effet standardisé correspondant (d de Cohen, êta-carré partiel, r) ;
• De l’intervalle de confiance à 95 % encadrant cette taille d’effet.

Un rapportage conforme prendra la forme standardisée suivante : t(58) = 2,41, p = 0,019, d = 0,62, IC à 95 % [0,10, 1,14]. Cette harmonisation textuelle interdit toute rhétorique ambiguë et permet aux lecteurs critiques ainsi qu’aux méta-analystes d’extraire instantanément la totalité des paramètres indispensables à la reconstitution analytique des distributions empiriques recueillies.

12.2 Le pré-enregistrement et les rapports enregistrés (Registered Reports)

Pour enrayer à la racine les pratiques délétères de p-hacking, de HARKing et de suppression opportuniste des données nulles, le mouvement pour la science ouverte a institutionnalisé une innovation procédurale majeure : le pré-enregistrement des protocoles de recherche sur des plateformes publiques sécurisées telles que l’Open Science Framework (OSF). Le pré-enregistrement consiste à consigner publiquement l’ensemble des hypothèses théoriques, le plan complet d’échantillonnage, les règles strictes d’exclusion des données et la syntaxe informatique précise des analyses statistiques avant même l’initiation de la collecte de données.

Le point d’orgue de cette démarche vertueuse s’incarne dans le format éditorial révolutionnaire des Registered Reports (rapports enregistrés). Dans ce modèle adopté par plusieurs centaines de revues savantes, le processus d’évaluation par les pairs s’exécute en deux étapes étanches :

1. Évaluation de l’Étape 1 : Les évaluateurs examinent les fondements théoriques, la pertinence des hypothèses et la rigueur du calcul de puissance statistique a priori du protocole soumis avant que la collecte des données ne soit entreprise. Si le projet est jugé robuste, la revue accorde une acceptation de principe inconditionnelle (IPA pour In-Principle Acceptance).
2. Évaluation de l’Étape 2 : Une fois la collecte et les analyses menées à leur terme en stricte conformité avec le protocole gelé, le manuscrit final est publié de manière garantie, quelle que soit l’issue finale de la valeur p — que les résultats s’avèrent significatifs, marginaux ou totalement nuls.

Les rapports enregistrés éliminent structurellement le biais de publication en ôtant à la significativité statistique son rôle de filtre éditorial. Ils restaurent une distinction étanche et indispensable entre la recherche purement confirmatoire (dédiée au test rigoureux d’hypothèses causales) et l’exploration découvratoire libre, laquelle demeure bienvenue pourvu qu’elle soit explicitement qualifiée comme telle dans le corps de l’article.

12.3 Grille d’évaluation critique de la signification statistique pour le lecteur

Afin d’armer les étudiants, enseignants, praticiens et évaluateurs face aux déformations récurrentes de la littérature quantitative, la grille d’audit méthodologique synthétisée ci-dessous détaille les axes d’interrogation systématiques à déployer devant toute publication revendiquant des résultats statistiquement significatifs :

• La cohérence entre la taille d’échantillon et la taille d’effet : L’étude revendique-t-elle une découverte à p < 0,05 sur la base d’un échantillon minuscule (par exemple, N = 12 par condition) ? Si oui, le risque d’un effet artificiellement surévalué par le paradoxe du gagnant est critique, justifiant un scepticisme sévère quant à sa reproductibilité.
• La transparence de l’arbre décisionnel d’analyse : Les critères de nettoyage des données, de rejet des participants aberrants et d’imputation des valeurs manquantes sont-ils spécifiés avec une clarté totale, ou suggèrent-ils des ajustements opportunistes post-hoc orientés vers la significativité ?
• La correction pour multiplicité : Le protocole administre-t-il une multiplicité d’épreuves empiriques ou d’analyses de sous-groupes sans intégrer de procédure de contrôle du FWER ou du FDR ? Si le chercheur a mené cinquante tests non corrigés, une poignée de valeurs p < 0,05 relève purement de la coïncidence stochastique.
• La plausibilité théorique et biologique : Le phénomène mis en lumière s’intègre-t-il harmonieusement dans les lois fondamentales de la thermodynamique, de la biologie évolutive et de la psychologie cognitive solidement documentées, ou contraint-il à postuler des mécanismes extraordinaires dépourvus de plausibilité a priori ?
• L’accessibilité des données brutes et du code d’analyse : Les auteurs mettent-ils à disposition de la communauté, au sein d’un dépôt institutionnel pérenne, la matrice brute des données anonymisées et les scripts computationnels (R, Python, syntaxe SPSS) permettant une réplication computationnelle indépendante intégrale ?

En intégrant ces garde-fous épistémologiques dans l’exercice quotidien de lecture critique, la communauté scientifique peut s’affranchir de la tyrannie stérile du rituel de la valeur p. Il ne s’agit pas de proscrire aveuglément un indicateur probabiliste qui conserve toute sa valeur indicatrice lorsqu’il est employé à bon escient, mais d’éradiquer la pensée magique qui l’a trop longtemps entouré, restaurant l’exigence de réplication, de précision métrologique et de modestie intellectuelle au cœur de l’investigation empirique moderne.

Références

• American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). American Psychological Association. https://doi.org/10.1037/0000165-000
• Amrhein, V., Greenland, S., & McShane, B. (2019). Scientists rise up against statistical significance. Nature, 567(7748), 305–307. https://doi.org/10.1038/d41586-019-00857-9
• Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
• Benjamin, D. J., Berger, J. O., Johannesson, M., Nosek, B. A., Wagenmakers, E.-J., Berk, R., Bollen, K. A., Brembs, B., Brown, L., Camerer, C., Cesarini, D., Chambers, C. D., Clyde, M., Cook, T. D., De Boeck, P., Dienes, Z., Dreber, A., Kenny, D. A., … Johnson, V. E. (2018). Redefine statistical significance. Nature Human Behaviour, 2(1), 6–10. https://doi.org/10.1038/s41562-017-0189-z
• Bennett, C. M., Miller, M. B., & Wolford, G. L. (2009). Neural correlates of interspecies perspective taking in the post-mortem Atlantic Salmon: An argument for proper multiple comparisons correction. NeuroImage, 47(Suppl 1), S125. https://doi.org/10.1016/S1053-8119(09)71202-9
• Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum Associates.
• Cohen, J. (1994). The earth is round (p < .05). American Psychologist, 49(12), 997–1003. https://doi.org/10.1037/0003-066X.49.12.997
• Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7–29. https://doi.org/10.1177/0956797613504966
• Fisher, R. A. (1925). Statistical methods for research workers. Oliver and Boyd.
• Gelman, A., & Stern, H. (2006). The difference between « significant » and « not significant » is not itself statistically significant. The American Statistician, 60(4), 328–331. https://doi.org/10.1198/000313006X152607
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
• Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
• Lakens, D. (2017). Equivalence testing for psychological research: A tutorial on the TOST procedure. Social Psychological and Personality Science, 8(4), 355–362. https://doi.org/10.1177/1948550617697177
• Meehl, P. E. (1967). Theory-testing in psychology and physics: A methodological paradox. Philosophy of Science, 34(2), 103–115. https://doi.org/10.1086/288135
• Neyman, J., & Pearson, E. S. (1933). On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society of London. Series A, 231(694-706), 289–337. https://doi.org/10.1098/rsta.1933.0009
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641. https://doi.org/10.1037/0033-2909.86.3.638
• Rosenthal, R., & Gaito, J. (1963). The interpretation of levels of significance by psychological researchers. The Journal of Psychology, 55(1), 33–38. https://doi.org/10.1080/00223980.1963.9916601
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
• Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534–547. https://doi.org/10.1037/a0033242
• Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
• Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond « p < 0.05 ». The American Statistician, 73(sup1), 1–19. https://doi.org/10.1080/00031305.2019.1583913