Comment interpréter une p-valeur inférieure à 0,05 (avec exemples)

Dans le paysage contemporain de la recherche en sciences humaines et particulièrement en psychologie clinique, cognitive et sociale, l’évaluation quantitative des phénomènes repose de manière prépondérante sur le paradigme des tests d’hypothèses statistiques. Au cœur de ce dispositif méthodologique se trouve un indicateur omniprésent, à la fois célébré et controversé : la p-valeur, ou valeur de probabilité empirique. Lorsqu’un chercheur soumet ses données expérimentales à un logiciel de traitement statistique tel que R, SPSS ou JASP, l’apparition d’une mention indiquant que la p-valeur se situe en deçà du seuil critique conventionnel de 0,05 déclenche quasi invariablement un sentiment de validation empirique. Ce moment précis est souvent perçu, à tort ou à raison, comme le franchissement décisif séparant l’anecdote fortuite de la découverte scientifique digne d’être publiée.

Pourtant, derrière cette apparente simplicité binaire se dissimule une mécanique mathématique et épistémologique particulièrement exigeante, dont l’incompréhension chronique alimente depuis plusieurs décennies une profonde crise de réplicabilité à travers les sciences du comportement. Interpréter rigoureusement une p-valeur inférieure à 0,05 exige bien davantage que l’application mécanique d’une règle de décision héritée des manuels d’introduction. Cela nécessite de pénétrer les fondements de l’inférence fréquentiste, de distinguer avec clarté la probabilité des données sous un modèle théorique de la probabilité d’une hypothèse substantive, et de reconnaître les frontières strictes au-delà desquelles la statistique descriptive ou inférentielle cesse d’offrir des garanties logiques.

Le présent article propose une déconstruction exhaustive, conceptuelle et appliquée de ce que signifie réellement obtenir une p-valeur inférieure à 0,05. À travers un examen méthodique des cadres de Fisher et de Neyman-Pearson, l’analyse d’exemples empiriques détaillés issus de la psychologie empirique, et l’exposé des outils complémentaires indispensables que sont la taille d’effet et les intervalles de confiance, ce guide vise à doter les étudiants, cliniciens et chercheurs d’une grille de lecture critique, conforme aux standards méthodologiques les plus exigeants de la discipline.

1. Introduction aux tests d’hypothèses et aux fondements de la p-valeur en psychologie

1.1 Le rôle fondamental de l’inférence statistique dans la recherche psychologique

L’étude scientifique de l’esprit et du comportement humain se heurte d’emblée à une contrainte méthodologique indépassable : l’impossibilité pratique et matérielle d’observer l’intégralité d’une population cible. Qu’il s’agisse d’évaluer l’efficacité d’une nouvelle approche psychothérapeutique sur des individus souffrant de dépression caractérisée ou de mesurer la capacité de la mémoire de travail chez les jeunes adultes, l’investigateur doit impérativement restreindre ses observations à un échantillon fini et relativement restreint de participants. Dès lors, le défi majeur de la démarche empirique consiste à opérer une transition inductive valide, permettant de déduire les paramètres inconnus de la population à partir des statistiques calculées sur l’échantillon extrait de cette même population.

Cette transition de l’échantillon vers la population constitue le champ d’action exclusif de l’inférence statistique. Dans les disciplines du comportement, l’observation directe est systématiquement bruitée par une multitude de sources de variabilité non contrôlées : les fluctuations individuelles de motivation, la fatigue passagère des sujets, les idiosyncrasies biologiques, les biais d’évaluation métrologique et, plus fondamentalement, l’aléa intrinsèque lié à l’échantillonnage probabiliste. Si l’on administre une tâche d’attention sélective à deux groupes de vingt individus rigoureusement assignés au hasard sans aucune intervention particulière, il est virtuellement certain que les moyennes de performance de ces deux groupes ne seront pas strictement identiques au millième de milliseconde près. L’inférence statistique fournit précisément le cadre mathématique et probabiliste permettant de formaliser, de modéliser et de quantifier cette incertitude inhérente à l’observation humaine, fournissant ainsi une base objective pour la prise de décision scientifique face au bruit d’échantillonnage.

Cependant, ce passage de la description locale d’un échantillon à la généralisation populationnelle comporte des limites épistémologiques intrinsèques. La variabilité d’échantillonnage implique qu’aucune observation isolée ne peut prétendre à l’infaillibilité déductive. Chaque résultat recueilli dans un laboratoire de psychologie ne représente qu’une réalisation ponctuelle parmi une infinité d’échantillons potentiels qui auraient pu être extraits de la population parente sous les mêmes conditions méthodologiques. Reconnaître le rôle de l’inférence statistique, c’est donc accepter d’évoluer dans un univers probabiliste où la certitude absolue est bannie, et où chaque conclusion doit être modulée par une estimation rigoureuse du risque d’erreur consubstantiel à la fluctuation des données empiriques.

1.2 Formulation des hypothèses statistiques : Hypothèse nulle (H0) et alternative (H1)

Pour soumettre une interrogation de recherche empirique à l’épreuve de la modélisation statistique, le chercheur doit obligatoirement traduire ses intuitions théoriques en un couple d’hypothèses formelles, mutuellement exclusives et conjointement exhaustives : l’hypothèse nulle, notée habituellement H₀, et l’hypothèse alternative, désignée par H₁ ou H_a. Ce processus de formalisation constitue une étape de transition charnière entre la conceptualisation psychologique abstraite et le traitement quantitatif rigoureux.

L’hypothèse nulle (H₀) spécifie traditionnellement l’absence d’effet, l’égalité parfaite des paramètres populationnels ou la stricte indépendance probabiliste entre deux variables observées. Sur le plan mathématique, elle s’énonce sous la forme d’une égalité stricte, par exemple H₀ : μ₁ – μ₂ = 0 dans le cadre de la comparaison des moyennes de deux populations distinctes, ou H₀ : ρ = 0 lorsqu’il s’agit d’évaluer la corrélation linéaire entre deux construits psychométriques. Dans le cadre de la méthode hypothético-déductive d’inspiration poppérienne, H₀ occupe une posture épistémologique privilégiée : elle bénéficie d’une présomption initiale de véracité absolue. Elle sert d’hypothèse de référence sceptique, représentant le modèle selon lequel les observations empiriques recueillies ne seraient que le simple reflet d’un bruit de mesure et d’un échantillonnage aléatoire au sein d’une distribution sans structure sous-jacente.

Face à ce modèle nul se dresse l’hypothèse alternative (H₁), qui formalise l’existence d’une régularité, d’une disparité systématique ou d’une covariation réelle au sein de la population. L’hypothèse alternative peut être formulée de manière bidirectionnelle (non directionnelle), postulant simplement que μ₁ ≠ μ₂, ou de manière unidirectionnelle (directionnelle), lorsque des considérations théoriques ou cliniques préalables solides permettent d’anticiper le sens précis du phénomène observé (par exemple, μ₁ > μ₂). Il est capital de maintenir une distinction conceptuelle nette entre l’hypothèse théorique de recherche—telle que « la thérapie métacognitive atténue les ruminations dysphoriques »—et l’hypothèse statistique opérationnelle, qui s’exprime exclusivement à travers des paramètres mathématiques quantifiables appliqués aux distributions de variables aléatoires.

1.3 Définition mathématique et conceptuelle de la p-valeur

D’un point de vue rigoureusement probabiliste, la p-valeur (ou probability value) se définit comme la probabilité conditionnelle d’observer, dans un échantillon de taille identique et extrait selon le même plan expérimental, une statistique de test au moins aussi extrême ou déviante que celle effectivement constatée dans l’étude, en supposant que l’hypothèse nulle (H₀) soit rigoureusement vraie dans la population cible. Formellement, si l’on désigne par T la variable aléatoire représentant la statistique de test et par t_obs la valeur numérique concrètement obtenue à partir des données recueillies, la p-valeur bilatérale s’exprime mathématiquement par la relation :

p = P(|T| ≥ |t_obs| | H₀)

Cette formulation formelle éclaire immédiatement la nature continue de la p-valeur. Elle constitue une mesure quantitative normalisée, comprise strictement entre 0 et 1, du degré de compatibilité ou d’harmonie entre le modèle statistique sous-tendu par l’hypothèse nulle et le jeu de données empiriquement colligé. Une p-valeur élevée indique que les données recueillies ne présentent aucune discordance notable avec ce que l’on attendrait de simples tirages aléatoires au sein d’une population où l’effet postulé est rigoureusement inexistant. À l’inverse, une p-valeur remarquablement faible signale une tension mathématique aiguë entre les observations du chercheur et les prédictions théoriques découlant du modèle nul.

L’écueil conceptuel le plus prévalent et le plus dommageable dans l’interprétation de cet indice réside dans l’incapacité fréquente à différencier deux probabilités conditionnelles asymétriques : la probabilité des données sachant l’hypothèse, formellement notée P(Données | H₀), et la probabilité inverse de l’hypothèse sachant les données observées, s’écrivant P(H₀ | Données). La p-valeur relève exclusivement du premier terme de cette dualité. Elle fonctionne sous la prémisse inconditionnelle que H₀ est vraie. En aucun cas, et sous aucune condition méthodologique dans le cadre de l’inférence fréquentiste standard, la p-valeur ne quantifie la vraisemblance, la plausibilité ou la probabilité que l’hypothèse nulle elle-même soit vraie ou fausse à la lumière des faits expérimentaux.

2. Définition rigoureuse d’une p-valeur inférieure à 0,05

2.1 Signification statistique exacte du seuil alpha de 5 %

L’obtention d’une p-valeur inférieure au seuil conventionnel de 0,05 signifie très précisément ceci : si l’on posait comme axiome absolu que le phénomène étudié est inexistant dans la population parente (H₀ vraie) et que l’on répétait indéfiniment la même procédure d’échantillonnage et de mesure dans des conditions identiques, la probabilité d’obtenir une statistique de test au moins aussi discordante que celle calculée sur notre échantillon serait strictement inférieure à 5 % (c’est-à-dire moins d’une chance sur vingt).

Dans l’architecture formalisée par Jerzy Neyman et Egon Pearson, ce seuil de 0,05 est désigné sous le terme de niveau de signification nominal, symbolisé par la lettre grecque α (alpha). Il délimite a priori la tolérance maximale consentie par l’expérimentateur à commettre une erreur décisionnelle spécifique : rejeter l’hypothèse nulle alors que celle-ci est pourtant véridique dans la réalité ontologique de la population cible. Sur le plan des distributions théoriques d’échantillonnage—qu’il s’agisse de la loi normale centrée réduite (loi z), de la loi de t de Student, du F de Fisher-Snedecor ou du Chi-deux (χ²)—le seuil de 0,05 circonscrit une surface géométrique précise sous la courbe de densité de probabilité, correspondant aux 5 % les plus extrêmes réparties dans les queues de distribution (ou région critique de rejet).

Ainsi, constater que p < 0,05 atteste que la statistique dérivée des observations cliniques ou comportementales s’est projetée au-delà des bornes critiques préétablies. Le chercheur se trouve confronté à une alternative logique incontournable : soit l’hypothèse nulle est effectivement vraie et un événement hautement improbable, dont la survenue sous l’effet du seul hasard d’échantillonnage survient dans moins de 5 % des réplications idéales, s’est réalisé dans son étude ; soit l’hypothèse nulle est factice, erronée ou inadéquate pour rendre compte de la structure génératrice des données réelles.

2.2 Degré de compatibilité entre les données empiriques et le modèle nul

Plutôt que d’envisager la p-valeur sous l’angle exclusif d’un mécanisme de décision binaire automatique, l’approche épistémologique d’inspiration fisherienne invite à la concevoir comme un indice continu quantifiant la force du signal expérimental contre le modèle nul. Lorsque p décroît et passe sous la barre des 0,05, la distance métrique entre la distribution d’échantillonnage attendue sous le règne du hasard pur et les données concrètement observées augmente de manière substantielle.

Cette lecture en termes de degré de compatibilité permet de saisir avec nuance ce que traduit une métrique telle que p = 0,03 ou p = 0,01. Elle signale que les données de l’échantillon présentent un profil empirique singulier, difficilement conciliable avec l’assertion théorique postulant que les groupes expérimentaux ont été tirés au sort au sein d’une unique population homogène. La discordance entre la théorie de l’absence d’effet et les faits observés devient suffisamment vive pour que le modèle théorique nul apparaisse sous tension.

Cependant, cette mesure de discordance ne renseigne en aucune manière sur la source de la divergence. Le décalage mathématique qui propulse la p-valeur sous le seuil de 0,05 peut résulter d’une véritable action causale de la variable indépendante manipulée par le psychologue, mais il peut tout aussi bien découler d’une violation des postulats sous-jacents au test statistique (comme la non-normalité sévère ou l’hétéroscédasticité), de biais de mesure systématiques non contrôlés, d’effets de confusion non anticipés, ou encore d’une fluctuation d’échantillonnage inhabituelle mais parfaitement naturelle.

2.3 Dichotomie statistique versus continuité probabiliste

L’usage dominant dans les revues internationales de psychologie et de psychiatrie consiste à opérer un découpage binaire strict entre les résultats dits « statistiquement significatifs » (lorsque p < 0,05) et ceux qualifiés de « non significatifs » (lorsque p ≥ 0,05). Cette césure dichotomique rigide soulève des incohérences théoriques et méthodologiques majeures, fréquemment dénoncées par les statisticiens contemporains.

Considérons l’absurdité pratique induite par cette scission arbitraire à travers la comparaison de deux études cliniques indépendantes mesurant l’atténuation des symptômes d’un trouble de stress post-traumatique par une thérapie narrative :

• L’étude A rapporte une p-valeur de p = 0,049 pour une taille d’effet modérée.
• L’étude B, menée sur un échantillon quasi similaire avec la même métrologie, aboutit à une p-valeur de p = 0,051 pour une taille d’effet rigoureusement identique.

Selon l’orthodoxie dichotomique simpliste, le chercheur de l’étude A est autorisé à proclamer la réussite de son intervention et la découverte d’un effet avéré, tandis que le chercheur de l’étude B se voit contraint de conclure à l’absence de preuve statistique, son résultat étant relégué dans la catégorie infamante du « non-significatif ». D’un point de vue probabiliste et mathématique, la différence d’évidence empirique fournie par ces deux études est rigoureusement infime, négligeable et sans portée réelle. Traiter 0,049 et 0,051 comme deux catégories qualitatives radicalement dissemblables relève d’une illusion méthodologique que le statisticien Andrew Gelman et d’autres ont baptisée le sophisme consistant à confondre « la différence entre significatif et non-significatif » avec une véritable « différence substantielle ».

C’est pourquoi les directives épistémologiques contemporaines, portées notamment par l’American Statistical Association (ASA), recommandent d’abandonner l’usage dogmatique de la dichotomie significatif/non-significatif. La p-valeur doit être appréhendée pour ce qu’elle est : une variable aléatoire continue reflétant un continuum de compatibilité vis-à-vis d’un modèle nul spécifique, exigeant une analyse contextualisée intégrant la plausibilité du mécanisme théorique sous-jacent, la conception de l’expérience et la précision des mesures.

3. La mécanique décisionnelle : Rejet de H0 et acceptation empirique de H1

3.1 La règle de décision de Neyman-Pearson

Pour comprendre comment une p-valeur inférieure à 0,05 autorise formellement l’abandon de l’hypothèse nulle, il est indispensable de se référer au modèle d’inférence décisionnelle élaboré dans les années 1930 par Jerzy Neyman et Egon Pearson. Contrairement à la vision purement inductive de Ronald Fisher, Neyman et Pearson ont conçu l’analyse statistique non pas comme un outil permettant d’établir une croyance inductive sur la vérité d’une théorie dans une expérience isolée, mais comme une procédure opérationnelle formalisée destinée à réguler le comportement du chercheur face à l’incertitude dans une perspective de long terme.

Dans ce modèle, l’espace échantillonnal est rigoureusement partitionné avant même le recueil de la moindre donnée en deux régions disjointes : la région d’acceptation (ou plus exactement de non-rejet) et la région critique de rejet de l’hypothèse nulle. Ce partitionnement est calibré selon le risque d’erreur α que la communauté scientifique accepte de tolérer. La règle de décision est limpide, algorithmique et universelle :

• Si la statistique calculée tombe dans la région critique—ce qui correspond mathématiquement à p < α (généralement 0,05)—l’action prescrite consiste à rejeter catégoriquement H₀ et à agir opérationnellement comme si l’effet ou la différence postulée par H₁ était présent dans le monde réel.
• Si la statistique tombe hors de la région critique (p ≥ α), l’action prescrite consiste à retenir ou suspendre son jugement sur H₀, sans pour autant affirmer que celle-ci est vraie.

Dans cet environnement méthodologique standardisé, le franchissement du cap p < 0,05 constitue l’élément déclencheur autorisant l’expérimentateur à basculer son cadre interprétatif vers l’hypothèse alternative. Il ne s’agit pas d’une preuve déductive de la justesse de H₁, mais de l’application d’un protocole méthodologique standardisé garantissant qu’au cours d’une vie entière de recherche empirique, la proportion d’erreurs commises par rejet inapproprié ne dépassera pas le seuil contractuel de 5 %.

3.2 Réfutation de l’hypothèse du hasard seul

Sur le plan de l’argumentation épistémologique, le rejet de H₀ sous la condition p < 0,05 équivaut à la disqualification du « hasard d’échantillonnage » en tant qu’explication exclusive, optimale ou suffisante des résultats collectés. Lorsque des psychologues mesurent, par exemple, un gain de performance cognitive chez des sujets entraînés par rapport à un groupe placebo, la première hypothèse rivale à éliminer n’est pas une théorie concurrente complexe, mais l’hypothèse banale selon laquelle ce différentiel de score n’est qu’un artéfact stochastique imputable à l’assignation fortuite d’individus plus doués dans le groupe expérimental.

La confirmation que p < 0,05 autorise à soutenir l’argument suivant : attribuer l’écart observé à la simple chance statistique exige de croire à la réalisation d’un scénario probabiliste particulièrement improbable (survenant dans moins d’un cas sur vingt sous le règne strict du hasard). En vertu d’un principe de parcimonie scientifique appliqué à la structure probabiliste des données, la communauté de recherche juge alors plus légitime d’abandonner le postulat d’égalité que de persister à invoquer une conjonction fortuite exceptionnelle.

Toutefois, cette éviction du hasard brut ne valide l’hypothèse de recherche substantive que si l’ensemble des hypothèses auxiliaires de la recherche demeurent intactes. Comme l’a souligné l’épistémologue Pierre Duhem, un test statistique ne met jamais à l’épreuve une hypothèse isolée, mais tout un ensemble solidaire de prémisses comprenant :

• La fidélité psychométrique et la validité de construit des outils de recueil employés.
• L’absence de biais d’attrition ou de sélection au cours du protocole expérimental.
• Le contrôle effectif des variables confondantes susceptibles d’induire une fausse causalité.
• L’intégrité de la saisie numérique et la conformité des distributions empiriques aux postulats mathématiques du test employé.

Si l’une quelconque de ces hypothèses auxiliaires est violée, la p-valeur inférieure à 0,05 peut simplement refléter une défaillance méthodologique locale, et non la réalité psychologique du mécanisme conceptualisé dans H₁.

3.3 Erreurs de décision : Focus sur l’erreur de Type I (alpha)

L’architecture de la décision inférentielle classique repose sur une matrice de contingence à deux états du monde et deux décisions possibles. Au cœur des préoccupations théoriques présidant à l’établissement du seuil de 0,05 se trouve l’erreur de Type I (ou erreur de première espèce), classiquement désignée par le symbole α. Cette erreur se matérialise lorsque l’expérimentateur rejette l’hypothèse nulle alors que cette dernière est, en réalité ontologique, rigoureusement vraie dans la population cible.

L’erreur de Type I représente le « faux positif » de la science expérimentale. Dans le contexte de la psychologie clinique ou de la neuropsychologie, ses répercussions appliquées peuvent être redoutables : elle conduit à affirmer publiquement l’efficacité d’une approche thérapeutique qui s’avère en réalité inerte, orientant indûment des protocoles de soins vers des voies sans issue, mobilisant des financements publics à perte, et causant potentiellement un préjudice direct aux patients privés d’alternatives véritablement validées. Dans la recherche fondamentale en psychologie cognitive, l’erreur de première espèce pollue le corpus scientifique avec des effets chimériques que d’autres équipes peineront à répliquer au cours de décennies d’efforts infructueux.

Il est fondamental de rappeler que la valeur nominale α = 0,05 ne garantit la limitation des faux positifs à 5 % que sous l’hypothèse stricte d’un test unique, parfaitement pré-spécifié, mené sans interventions exploratoires opportunistes. Dès lors que l’expérimentateur multiplie les tests d’hypothèses sur un même ensemble de données sans ajuster son seuil critique par des procédures appropriées (telles que les corrections de Bonferroni ou de Holm-Šidák), le risque réel cumulé de commettre au moins une erreur de Type I—appelé risque d’erreur par famille d’hypothèses (Family-Wise Error Rate, ou FWER)—croît de façon exponentielle selon l’équation α_FWER = 1 – (1 – α)^k, où k représente le nombre de comparaisons indépendantes exécutées.

4. Origines historiques et justification du seuil critique de 0,05

4.1 La contribution fondatrice de Ronald A. Fisher

L’universalité presque dogmatique accordée au seuil critique de 0,05 trouve son origine directe dans les travaux du biologiste et statisticien britannique Sir Ronald Aylmer Fisher au cours des années 1920. Dans son ouvrage magistral Statistical Methods for Research Workers, publié pour la première fois en 1925, Fisher cherchait à doter les biologistes et agronomes d’outils calculatoires simples et standardisés pour apprécier la variabilité expérimentale sans devoir recalculer d’interminables tables d’intégration numérique.

Dans ce contexte historique, Fisher proposa de considérer le niveau de déviation correspondant à deux écarts-types au-delà de la moyenne sur une loi normale (approximativement 1,96 écart-type pour un test bilatéral) comme un repère commode dans la pratique scientifique quotidienne. Cette distance d’environ deux écarts-types englobe approximativement 95 % de la distribution, laissant subsister une fraction résiduelle de 5 %, soit une probabilité de survenue de 1 sur 20. Fisher écrivait alors qu’il convenait de prendre ce point critique comme une convention arbitraire mais raisonnable pour tracer la frontière entre les effets dignes de considération empirique et les simples fluctuations aléatoires.

Il est crucial de souligner que dans l’esprit de Fisher, ce seuil de 1 sur 20 ne revêtait aucun caractère sacré ni absolu. Pour lui, la p-valeur constituait une évaluation fluide et purement épistémique : un résultat affichant p < 0,05 devait simplement servir de « signal d’alerte » intellectuel, invitant le chercheur à examiner de plus près le phénomène sous-jacent et, surtout, à concevoir d’autres expériences pour vérifier la pérennité de l’observation. Fisher rejetait explicitement l’idée que l’on puisse sceller définitivement la vérité d’une découverte scientifique sur la base d’une seule étude franchissant de justesse cette frontière probabiliste.

4.2 Institutionnalisation de la convention dans les sciences du comportement

Au fil de la seconde moitié du XXe siècle, la psychologie scientifique a connu un processus d’institutionnalisation académique massif, caractérisé par la fusion paradoxale et méthodologiquement hybride de deux approches rivales : la logique du test de signification de Fisher d’une part, et le cadre décisionnel rigide de Neyman-Pearson d’autre part. Cette synthèse méthodologique, souvent qualifiée par les historiens des sciences de « rituel de la signification statistique », a érigé la règle du p < 0,05 au rang d’orthodoxie institutionnelle inviolable.

Ce processus d’ancrage a été considérablement accéléré par deux vecteurs sociologiques et techniques :

• Les politiques éditoriales des grandes revues de l’American Psychological Association (APA), qui ont fait du franchissement de la barre des 5 % un prérequis tacite ou explicite pour franchir le cap de l’évaluation par les pairs et espérer une publication dans les colonnes des périodiques les plus cotés.
• L’avènement et la standardisation de progiciels d’analyse informatisée (tels que SPSS, SAS puis JASP et R), qui ont automatisé le calcul des p-valeurs en les surlignant par des astérisques incitatifs (* pour p < 0,05, ** pour p < 0,01, *** pour p < 0,001), institutionnalisant un réflexe intellectuel déconnecté de la réflexion métrologique de fond.

Cette canonisation institutionnelle a progressivement transformé un repère heuristique pragmatique en un impératif de carrière académique. L’accès aux postes universitaires, l’obtention de bourses de recherche substantielle et la reconnaissance académique se sont trouvés indexés sur la capacité des chercheurs à extraire de leurs données des p-valeurs inférieures à ce seuil totémique, créant un puissant système d’incitations perverses au détriment de la réplication systématique et de la robustesse théorique.

4.3 Débats épistémologiques et propositions d’abaissement du seuil à 0,005

Face à l’ampleur sans précédent de la crise de la réplication mise en lumière au tournant des années 2010 dans les sciences du comportement, la pertinence du maintien du seuil historique de 0,05 a fait l’objet de remises en cause frontales de la part de méthodologistes de premier plan. Dans un article programmatique retentissant signé par soixante-douze méthodologistes et statisticiens, Benjamin et al. (2018) ont formulé une proposition radicale : abaisser le seuil par défaut de la significativité statistique pour les découvertes inédites de 0,05 à 0,005.

L’argumentation sous-tendant cette revendication repose sur une démonstration probabiliste implacable relative au ratio de fausses découvertes. Les analyses bayésiennes et fréquentistes convergent pour démontrer qu’une p-valeur située juste en dessous de 0,05 (par exemple entre 0,01 et 0,049) n’apporte qu’une preuve étonnamment faible contre l’hypothèse nulle. Si la probabilité a priori que l’hypothèse de recherche soit vraie est modérée à faible (ce qui est le cas de nombreuses théories audacieuses en psychologie), un résultat avec p ≈ 0,04 est assorti d’une probabilité a posteriori de faux positif pouvant atteindre 30 % à 50 %. En abaissant le seuil à 0,005, la probabilité d’erreur de première espèce est drastiquement comprimée, alignant la force de la preuve statistique sur des standards plus comparables à ceux des sciences physiques.

Cette proposition de redéfinition n’a cependant pas fait l’unanimité. Dans une réplique articulée par Lakens et al. (2018), regroupant plus de quatre-vingts chercheurs internationaux, de sérieux contre-arguments ont été soulevés. Abaisser mécaniquement le seuil à 0,005 sans modification des financements exigerait d’accroître la taille des échantillons d’environ 70 % pour préserver une puissance statistique identique. Cela risquerait d’étouffer financièrement les laboratoires aux ressources modestes, d’accentuer le monopole des mégastructures de recherche, et surtout d’augmenter vertigineusement le taux d’erreurs de Type II (omission d’effets réels mais de magnitude modeste), tout en ignorant la racine profonde du problème : l’usage dogmatique et binaire des seuils probabilistes.

5. Exemple pratique 1 : Évaluation de l’efficacité d’une psychothérapie sur l’anxiété

5.1 Contexte expérimental, métrologie et formulation des hypothèses

Afin d’ancrer ces considérations mathématiques dans la réalité clinique, examinons un premier protocole expérimental standard. Une équipe de recherche en psychologie clinique souhaite tester la supériorité d’une intervention brève de Thérapie Cognitivo-Comportementale (TCC), axée sur l’exposition et la restructuration cognitive, comparativement à un groupe témoin inscrit sur liste d’attente avec suivi passif standardisé.

Pour quantifier le niveau d’anxiété des participants, les chercheurs utilisent l’Inventaire d’Anxiété de Beck (Beck Anxiety Inventory, BAI), une échelle psychométrique standardisée comprenant 21 items auto-rapportés, cotés de 0 à 3, générant un score composite continu oscillant entre 0 et 63 points. Soixante participants répondant aux critères diagnostiques du Trouble Panique sont recrutés et assignés par randomisation simple équilibrée (1:1) à l’un des deux bras de l’étude :

• Le groupe expérimental TCC (n₁ = 30) bénéficie de huit séances hebdomadaires de protocole actif.
• Le groupe contrôle (n₂ = 30) demeure sur liste d’attente pendant la même période de huit semaines.

Avant d’analyser les scores obtenus au BAI lors du bilan post-intervention, l’équipe spécifie formellement le système d’hypothèses statistiques bidirectionnelles :

• Hypothèse nulle (H₀) : μ_TCC = μ_Contrôle (Il n’existe aucune divergence entre la moyenne populationnelle des scores au BAI du groupe TCC et celle du groupe témoin au post-test).
• Hypothèse alternative (H₁) : μ_TCC ≠ μ_Contrôle (Les moyennes d’anxiété des deux populations diffèrent systématiquement après la période d’intervention).

5.2 Procédure statistique du test t de Student pour échantillons indépendants

L’analyse des propriétés distributionnelles des scores finaux au BAI confirme la normalité univariée des résidus au sein de chaque groupe par le test de Shapiro-Wilk (p > 0,10 dans les deux conditions) ainsi que la préservation du postulat d’homoscédasticité via le test d’homogénéité des variances de Levene (F(1, 58) = 0,84, p = 0,36). Les conditions d’application requises pour la mise en œuvre d’un test t de Student pour échantillons indépendants sont donc rigoureusement satisfaites.

Les données descriptives recueillies à l’issue des huit semaines d’intervention révèlent les valeurs suivantes :

• Groupe TCC : M₁ = 16,40 points (ET₁ = 6,20).
• Groupe Contrôle : M₂ = 20,80 points (ET₂ = 7,50).

L’application de la formule classique de la statistique t pondérée par la variance combinée s’énonce :

t = (M₁ – M₂) / [ s_pooled × √(1/n₁ + 1/n₂) ]

Le calcul numérique produit une valeur de statistique observée t(58) = -2,45 (ou 2,45 en valeur absolue). Les degrés de liberté du modèle s’établissent à ddl = n₁ + n₂ – 2 = 58. L’interrogation de la distribution cumulative de Student avec 58 degrés de liberté sous la stricte hypothèse nulle indique que la probabilité exacte d’observer une déviation bilatérale d’une magnitude au moins égale à 2,45 écarts-types d’échantillonnage correspond très exactement à p = 0,017.

5.3 Interprétation formelle et textuelle du résultat (p = 0,017)

Face à ce résultat empirique de p = 0,017, la procédure d’inférence s’applique de manière déterministe. Constatant que la valeur calculée est strictement inférieure au seuil de risque nominal préétabli (α = 0,05), les chercheurs sont autorisés à formuler la conclusion statistique formelle : rejet catégorique de l’hypothèse nulle (H₀).

La formulation épistémique correcte de cette conclusion doit s’énoncer avec une rigueur métrologique totale. La probabilité d’obtenir un écart moyen d’anxiété d’au moins 4,40 points entre ces deux groupes sous le seul effet des fluctuations aléatoires d’échantillonnage n’est que de 1,7 %. Le hasard seul constituant une explication statistiquement invraisemblable pour rendre compte d’une telle divergence, l’équipe conclut que les données fournissent une preuve empirique hautement compatible avec l’existence d’une efficacité réductrice de l’intervention TCC sur la symptomatologie anxieuse mesurée au BAI.

Sur le plan rédactionnel, le compte rendu psychométrique inséré dans la section « Résultats » d’une revue spécialisée doit être formulé sans emphase ni surinterprétation causale abusive :

« Une analyse par test t de Student pour échantillons indépendants a mis en évidence une différence statistiquement significative entre les scores moyens d’anxiété post-intervention, t(58) = -2,45, p = 0,017. Les participants ayant bénéficié des séances de TCC présentent un niveau moyen d’anxiété (M = 16,40 ; ET = 6,20) significativement inférieur à celui des participants maintenus sur liste d’attente (M = 20,80 ; ET = 7,50). »

6. Exemple pratique 2 : Chronométrie mentale et attention sélective en psychologie cognitive

6.1 Protocole expérimental de la tâche de Stroop

Tournons-nous à présent vers le champ de la psychologie cognitive expérimentale et de la chronométrie mentale à travers l’illustration paradigmatique de l’effet Stroop (Stroop, 1935). Ce protocole étudie les processus d’inhibition cognitive et les conflits d’interférence attentionnelle résultant de l’automatisation de la lecture textuelle au détriment de l’analyse sensorielle des propriétés perceptives de bas niveau.

Dans ce dispositif expérimental, quarante-six participants adultes (N = 46) sont soumis à un paradigme intra-sujets (mesures répétées), au sein duquel chaque individu est exposé successivement à deux conditions de stimuli visuels informatisés :

• Condition congruente : Les noms de couleurs sont écrits dans une encre dont la teinte correspond strictement au mot affiché (le mot « ROUGE » est présenté en typographie rouge).
• Condition incongruente : Les noms de couleurs sont imprimés dans une encre discordante (le mot « VERT » est affiché en encre bleue).

La consigne absolue assignée au sujet consiste à désigner le plus rapidement possible la couleur de l’encre tout en inhibant la lecture automatique du vocable écrit. La variable dépendante recueillie avec précision chronométrique correspond au Temps de Réaction moyen (TR, consigné en millisecondes) sur les essais corrects. L’hypothèse nulle statistique postule l’identité stricte des temps de latence au niveau de la population sous-jacente : H₀ : δ = μ_incongruent – μ_congruent = 0.

6.2 Exécution du test t pour échantillons appariés et sortie numérique

La nature intra-sujets du devis de recherche impose l’utilisation d’un test t de Student pour échantillons appariés (ou dépendants). Cette méthode se concentre sur l’analyse de la distribution des différences intra-individuelles D_i = TR_{incongruent, i} – TR_{congruent, i} calculées pour chacun des quarante-six participants.

Le traitement des données chronométriques produit les résultats descriptifs synthétisés ci-après :

• Temps de réaction moyen en condition congruente : M = 612 ms (ET = 78).
• Temps de réaction moyen en condition incongruente : M = 705 ms (ET = 94).
• Score différentiel intra-individuel moyen : M_D = +93 ms (ET_D = 153 ms ; Erreur-Type = 22,56 ms).

La valeur de la statistique d’échantillonnage apparié se déduit directement du ratio entre la moyenne des différences individuelles observées et l’erreur-type de la distribution de ces différences :

t = M_D / (ET_D / √N) = 93 / 22,56 = 4,122

Avec des degrés de liberté s’établissant à ddl = N – 1 = 45, l’extraction de la probabilité cumulée exacte sous la loi théorique de Student donne une valeur empirique de p = 0,00016, arrondie selon les conventions à p < 0,001.

6.3 Interprétation des résultats hautement significatifs

La p-valeur issue de ce test chronométrique (p ≈ 0,00016) se situe très largement sous la frontière de démarcation conventionnelle de 0,05. Comment traduire un résultat d’une telle magnitude sans verser dans les contre-sens conceptuels fréquents ?

Cette probabilité infime signifie que si la condition de congruence de la tâche n’exerçait rigoureusement aucune influence sur le temps de réponse cognitive des sujets, il n’y aurait qu’environ 1,6 chance sur 10 000 d’observer un ralentissement moyen d’au moins 93 millisecondes par la seule conjonction des fluctuations aléatoires d’attention et de frappe motrice des participants. Face à une telle improbabilité stochastique, la plausibilité du modèle nul est mise en déroute de manière écrasante. Le chercheur rejette H₀ avec une confiance statistique indiscutable, validant l’existence d’un effet Stroop robuste au sein de la population étudiée.

Néanmoins, une précaution épistémologique cruciale s’impose : obtenir p < 0,001 n’autorise pas à déclarer que l’effet expérimental est « plus vrai » ou « qualitativement supérieur » que s’il affichait p = 0,03. La p-valeur n’est pas un indice scalaire de véracité ontologique. Elle indique simplement que le signal observé s’extirpe de façon beaucoup plus nette du bruit d’échantillonnage théorique sous le modèle nul.

Conformément aux normes bibliographiques de l’APA (7e édition), la transcription formelle de cet effet dans un article empirique s’articule comme suit :

« Les analyses chronométriques confirment la présence d’un effet d’interférence Stroop robuste ; les participants ont montré des temps de latence significativement plus longs pour identifier la couleur des encres dans la condition incongruente comparativement à la condition congruente, t(45) = 4,12, p < 0,001. »

7. Exemple pratique 3 : Corrélation entre régulation émotionnelle et bien-être subjectif

7.1 Cadre corrélationnel et recueil des variables psychologiques

Il est fondamental d’illustrer l’interprétation d’une p-valeur inférieure à 0,05 en dehors du champ strictement expérimental des comparaisons de groupes, notamment dans le cadre de devis corrélationnels observationnels non interventionnels. Considérons une investigation en psychologie positive et de la santé s’intéressant au lien unissant les stratégies de régulation émotionnelle au bien-être psychologique global.

Pour documenter cette question, une cohorte non probabiliste de 85 étudiants universitaires (N = 85) remplit une batterie d’auto-questionnaires standardisés comprenant :

• Le Questionnaire de Régulation Émotionnelle (Emotion Regulation Questionnaire, ERQ), duquel est extraite la sous-échelle spécifique mesurant la tendance habituelle à utiliser la réévaluation cognitive (réinterprétation positive des situations stressantes).
• L’Échelle de Satisfaction de Vie (Satisfaction with Life Scale, SWLS), instrument validé jaugeant le bien-être subjectif global sur une échelle continue.

La question scientifique sous-jacente est d’évaluer si ces deux construits psychologiques covarient au niveau de la population générale. Les hypothèses statistiques formalisées bilatéralement s’expriment via le coefficient de corrélation linéaire de Pearson (ρ) :

• Hypothèse nulle (H₀) : ρ = 0 (Absence totale de liaison linéaire entre la réévaluation cognitive et la satisfaction de vie dans la population).
• Hypothèse alternative (H₁) : ρ ≠ 0 (Présence d’une association linéaire entre les deux variables).

7.2 Calcul de la corrélation de Pearson et du seuil d’inférence

L’exploration visuelle du nuage de points (scatterplot) n’indique aucune non-linéarité flagrante ni la présence de points aberrants multivariés (outliers) susceptibles de déformer indûment l’estimation de covariance. Les deux distributions vérifient les conditions de normalité bivariée requises.

L’estimation ponctuelle calculée sur l’échantillon des 85 participants fournit un coefficient de corrélation produit-moment de Pearson empirique de r = 0,28. Pour déterminer si cette covariance d’échantillon permet de rejeter l’hypothèse d’indépendance populationnelle, la statistique t associée au coefficient de corrélation est calculée au moyen de l’expression mathématique :

t = r × √[ (N – 2) / (1 – r²) ]

L’injection des valeurs numériques donne :

t = 0,28 × √[ 83 / (1 – 0,0784) ] = 0,28 × √[ 83 / 0,9216 ] = 0,28 × 9,49 = 2,66

Associée à ddl = N – 2 = 83 degrés de liberté, la probabilité d’obtenir une telle déviation sous la distribution théorique nulle s’établit très précisément à p = 0,009.

7.3 Interprétation des implications corrélationnelles

La p-valeur de 0,009 étant strictement inférieure au critère conventionnel de α = 0,05, l’hypothèse nulle d’indépendance linéaire (H₀ : ρ = 0) est formellement rejetée. Il est légitime d’affirmer qu’il existe une corrélation positive statistiquement significative entre la réévaluation cognitive et la satisfaction de vie.

C’est ici qu’intervient une mise en garde méthodologique fondamentale : une p-valeur inférieure à 0,05 ne démontre en aucune manière un lien de cause à effet. La p-valeur se borne exclusivement à certifier que la relation linéaire observée (r = 0,28) s’écarte suffisamment de zéro pour ne pas être attribuée de façon plausible aux seuls caprices du tirage au sort des 85 répondants. Elle ne préjuge en rien de la dynamique causale qui régit cette liaison statistique.

Dans ce devis observationnel, plusieurs explications alternatives rivales demeurent compatibles avec la significativité statistique constatée :

• Causalité directe : La mise en œuvre de la réévaluation cognitive améliore substantiellement le sentiment de satisfaction personnelle face à l’existence.
• Causalité inverse : Les individus bénéficiant d’un niveau élevé de bien-être subjectif disposent de davantage de ressources attentionnelles et émotionnelles pour réinterpréter positivement les stresseurs du quotidien.
• Effet de confusion par variable tierce : Une caractéristique stable de la personnalité, tel qu’un faible niveau de névrosisme ou un niveau élevé d’extraversion, peut influencer simultanément les deux construits, générant une corrélation purement fallacieuse (spurious correlation) que la significativité statistique à p = 0,009 ne peut en aucun cas dissiper.

8. Ce qu’une p-valeur inférieure à 0,05 ne signifie PAS : Les sophismes classiques

8.1 Le sophisme de la probabilité inverse (Transposed Conditional Fallacy)

Parmi l’ensemble des erreurs d’interprétation qui parasitent l’enseignement et la pratique des statistiques en psychologie, le sophisme de la probabilité transposée (ou transposed conditional fallacy) demeure sans conteste le plus répandu, y compris chez des chercheurs expérimentés. Cette illusion cognitive consiste à affirmer faussement que la p-valeur représente la probabilité que l’hypothèse nulle soit vraie, ou de manière symétrique, qu’une valeur p < 0,05 signale qu’il y a 95 % de chances que l’hypothèse de recherche (H₁) soit véridique.

Ce glissement conceptuel procède de la confusion fondamentale entre deux probabilités conditionnelles formellement asymétriques :

• La p-valeur calcule la probabilité des données observées sachant que H₀ est vraie : P(Données | H₀).
• Le chercheur cherche quant à lui intuitivement à connaître la probabilité que l’hypothèse nulle soit vraie sachant les données observées : P(H₀ | Données).

Or, en vertu du théorème de Thomas Bayes, ces deux entités mathématiques ne sont absolument pas interchangeables :

P(H₀ | Données) = [ P(Données | H₀) × P(H₀) ] / P(Données)

Pour illustrer de façon intuitive l’incohérence logique d’une telle inversion, les enseignants en statistique convoquent souvent une analogie classique : la probabilité qu’un individu décédé soit dépourvu de battements cardiaques est égale à 1 (soit 100 %), P(Pas de battements | Mort) = 1. Si l’on transpose indûment cette condition, on aboutirait à l’affirmation insensée selon laquelle la probabilité qu’un individu soit mort sachant qu’il n’a pas de battements cardiaques détectés à un instant t serait également de 100 %, ignorant les cas de réanimation, d’arrêt cardiaque transitoire ou de dysfonctionnement du stéthoscope. Affirmer qu’une p-valeur de 0,03 confère une probabilité de 97 % à la théorie sous-tendant H₁ constitue une erreur épistémologique du même ordre formel.

8.2 La confusion entre significativité statistique et importance clinique

Un deuxième travers consiste à assimiler aveuglément le terme de « significativité » statistique à un certificat d’importance théorique, empirique ou clinique. Dans le langage profane, l’adjectif « significatif » est synonyme de notable, majeur ou substantiel. Dans le lexique de l’inférence fréquentiste, il ne revêt qu’une portée purement technique : il atteste simplement que le signal observé se distingue du bruit d’échantillonnage de façon trop prononcée pour être attribué de manière crédible à l’aléa pur sous le modèle nul.

La p-valeur présente une sensibilité mathématique extrême à la taille de l’échantillon analysé (N). Dans la structure de calcul des statistiques inférentielles usuelles (t, F, z), l’erreur-type de mesure se situe systématiquement au dénominateur et décroît de manière inversement proportionnelle à la racine carrée de l’effectif total (√N). Par conséquent, à magnitude d’effet strictement constante dans la population, plus l’échantillon devient volumineux, plus la statistique de test croît vers l’infini, et plus la p-valeur s’effondre vers zéro.

Il découle de cette mécanique calculatoire qu’avec un échantillon extrêmement massif (par exemple N = 50 000 participants issu de mégadonnées ou de registres épidémiologiques en ligne), le moindre écart trivial de comportement—tel qu’une amélioration d’un dixième de point sur une échelle d’évaluation de la mémoire graduée sur cent—atteindra inéluctablement un niveau de significativité statistique exceptionnel (p < 0,00001). Pourtant, d’un point de vue clinique ou pragmatique, une telle variation est totalement insignifiante, indétectable pour le patient et sans la moindre implication thérapeutique. Dans les disciplines appliquées, il est par conséquent fondamental de découpler la validation statistique du concept de différence minimale cliniquement importante (Minimal Clinically Important Difference, MCID).

8.3 L’illusion de la preuve absolue et de la réplication garantie

L’obtention d’une p-valeur inférieure à 0,05 nourrit fréquemment chez le jeune chercheur l’illusion trompeuse d’avoir apporté une démonstration définitive, scellant de façon pérenne la réalité empirique du phénomène étudié. Cette vision déterministe méconnaît la vulnérabilité intrinsèque de la p-valeur d’une étude unique face aux aléas de l’échantillonnage.

Comme l’a brillamment illustré le statisticien Geoff Cumming à travers ses simulations informatisées de « la p-valeur dansante » (the dance of the p-values), cet indice statistique est intrinsèquement volatile d’un échantillon à un autre. Même dans des conditions expérimentales idéales où un effet réel existe véritablement dans la population parente avec une puissance statistique respectable de 80 %, la réalisation de réplications exactes successives générera un spectre étourdissant de p-valeurs divergentes, allant de p = 0,001 à p = 0,25 au gré des tirages probabilistes aléatoires.

Une étude isolée qui affiche p = 0,04 ne garantit en aucune façon que la tentative de réplication directe menée par un laboratoire indépendant le mois suivant obtiendra un résultat significatif. Considérer une p-valeur sous le seuil de 0,05 comme un passeport pérenne pour la vérité scientifique constitue un acte d’illusion méthodologique ; la robustesse empirique ne se forge que dans l’accumulation métanalytique d’expériences indépendantes et convergentes, jamais dans l’aura statistique d’un résultat solitaire.

9. Taille de l’effet et intervalles de confiance : Le complément indispensable

9.1 Quantification de la magnitude du phénomène : Les indices standardisés

Pour pallier l’incapacité structurelle de la p-valeur à renseigner sur l’ampleur concrète des phénomènes psychologiques, la communauté méthodologique exige désormais de façon impérative l’adjonction systématique d’indices de taille de l’effet (effect size). Alors que la p-valeur répond exclusivement à la question binaire de nature probabiliste (« Le signal observé est-il distinct du hasard sous H₀ ? »), la taille de l’effet répond à la question substantive fondamentale : « Quelle est l’amplitude réelle de ce phénomène dans le monde empirique ? »

Ces indices quantitatifs s’organisent principalement en deux grandes familles métriques standardisées :

• La famille des différences moyennes standardisées : Représentée au premier chef par le d de Cohen (ou le g de Hedges pour les petits échantillons). Le d de Cohen exprime la divergence métrique entre deux moyennes de groupes en unités d’écart-type combiné : d = (M₁ – M₂) / s_pooled. Dans ses repères pragmatiques devenus canoniques, Jacob Cohen proposait de catégoriser de façon indicative un effet comme faible (d ≈ 0,20), moyen (d ≈ 0,50) ou fort (d ≈ 0,80), tout en insistant sur la nécessité d’interpréter ces seuils à l’aune du contexte disciplinaire propre.
• La famille de la variance expliquée : Regroupant le coefficient de détermination (r² ou R² en régression multiple), l’êta-carré partiel (η_p²) et l’oméga-carré (ω²) en analyse de variance (ANOVA). Ces coefficients quantifient la proportion de variance de la variable dépendante qui est directement imputable à la variable indépendante manipulée ou catégorisée.

Revenons au premier exemple clinique présenté en section 5. L’écart moyen de score au BAI était de 4,40 points, débouchant sur une p-valeur significative de p = 0,017. Le calcul du d de Cohen associé donne :

d = (16,40 – 20,80) / 6,88 = -0,64

Cette estimation révèle un effet de magnitude moyenne à forte selon les critères psychométriques en vigueur. La diminution de l’anxiété n’est pas seulement « statistiquement significative » ; elle correspond à un déplacement distributionnel substantiel de plus de six dixièmes d’écart-type en faveur du groupe TCC, ce qui confère une véritable crédibilité clinique à l’intervention proposée.

9.2 Intervalles de confiance à 95 % (IC 95 %) : Précision de l’estimation

L’estimation ponctuelle d’un paramètre (qu’il s’agisse d’une moyenne, d’une différence de moyennes ou d’un coefficient d’association) demeure incomplète si elle n’est pas assortie d’une mesure explicite de son incertitude d’échantillonnage. C’est précisément l’objet des intervalles de confiance, le plus couramment calibré au seuil de 95 % (IC 95 %).

Sur le plan de la théorie fréquentiste classique, la définition formelle de l’intervalle de confiance est subtile : si l’on répétait à l’infini l’extraction d’échantillons de même taille dans la même population selon le même protocole, et que l’on calculait pour chacun un intervalle de confiance à 95 %, très exactement 95 % de ces intervalles construits contiendraient en leur sein la véritable valeur du paramètre populationnel inconnu. L’intervalle observé dans une étude spécifique n’a pas 95 % de chances de contenir le paramètre (ce paramètre étant fixe et immuable dans l’ontologie fréquentiste, il se trouve soit dedans, soit dehors) ; c’est la procédure de génération d’intervalles qui présente un taux de succès garanti de 95 % à long terme.

Il existe un pont géométrique et mathématique direct reliant les intervalles de confiance à 95 % et la p-valeur au seuil bilatéral de 0,05 :

• L’obtention d’une p-valeur strictement inférieure à 0,05 équivaut mathématiquement au constat que l’intervalle de confiance à 95 % entourant la différence de moyennes exclut la valeur nulle théorique (la valeur zéro pour une différence de moyennes ou pour un coefficient de régression).
• Si l’intervalle de confiance englobe la valeur zéro en son sein, la p-valeur correspondante sera inévitablement supérieure ou égale à 0,05.

L’avantage informationnel de l’intervalle de confiance sur la p-valeur réside dans sa lisibilité géométrique quant à la précision des données. Un intervalle extrêmement large—par exemple une différence de score dont l’IC 95 % s’étend de 0,5 à 19,8 points—aboutit certes à p < 0,05, mais avertit immédiatement le clinicien que l’estimation est excessivement imprécise en raison d’un manque de puissance ou d’une forte dispersion résiduelle. À l’inverse, un intervalle étroit (ex. IC 95 % [4,1 ; 5,8]) garantit une excellente résolution métrologique.

9.3 Intégration conjointe : La matrice décisionnelle taille d’effet versus significativité

L’évaluation épistémologique mature d’un résultat d’expérience impose de ne jamais analyser la significativité statistique de façon isolée, mais de la croiser systématiquement avec la magnitude de l’effet au sein d’une matrice décisionnelle à quatre quadrants, résumée ci-dessous :

Statut Statistique	Taille d’effet Faible à Négligeable	Taille d’effet Modérée à Élevée
Significatif (p < 0,05)	Biais des grands échantillons : Effet détectable mais sans pertinence théorique ou clinique concrète. Risque de surinterprétation d’un artéfact stochastique à très grand N.	Résultat Idéal et Robuste : Découverte réunissant rejet net du modèle nul et magnitude substantielle. Forte applicabilité pratique et théorique.
Non-Significatif (p ≥ 0,05)	Absence confirmée d’effet : Véritable corroboration empirique du modèle nul. Données compatibles avec l’absence de régularité psychologique mesurable.	Manque de puissance statistique : Effet potentiellement majeur mais ignoré par l’analyse. Erreur de Type II très probable due à un effectif d’échantillon insuffisant.

Ce tableau d’analyse dissipe d’emblée les paradoxes méthodologiques classiques. Il éclaire notamment le cas tragique des études sous-puissancées (quadrant inférieur droit) où une thérapie innovante produit une réduction spectaculaire de symptômes (ex. d = 0,75), mais se voit estampillée d’un funeste p = 0,08 faute d’avoir recruté un nombre suffisant de patients. Reléguer une telle découverte au motif simpliste qu’elle franchit la frontière de 0,05 constitue une faute scientifique lourde, imputable à la myopie dichotomique des chercheurs.

10. Puissance statistique, risque d’erreur de type II et taille d’échantillon

10.1 Le concept de puissance statistique (1 – Bêta)

L’architecture logique du test d’hypothèse selon Neyman-Pearson intègre un second paramètre probabiliste d’une importance capitale : l’erreur de Type II (ou erreur de seconde espèce), symbolisée par la lettre grecque β (bêta). Cette erreur se matérialise lorsque l’expérimentateur échoue à rejeter une hypothèse nulle qui est pourtant fondamentalement fausse dans la population, passant ainsi à côté d’une découverte authentique.

Le complémentaire de cette probabilité d’erreur, formalisé par 1 – β, définit la puissance statistique du test. La puissance représente la probabilité mathématique que l’analyse statistique aboutisse avec succès au rejet de l’hypothèse nulle (c’est-à-dire obtienne p < α), sous la condition explicite qu’un effet d’une magnitude spécifiée existe réellement au sein de la population. Dans la communauté psychologique internationale, le consensus méthodologique standard fixé par Jacob Cohen préconise de viser une puissance minimale nominale de 80 % (soit 0,80), ce qui équivaut à tolérer un risque d’erreur de Type II maximal de β = 20 %.

La puissance d’une expérience n’est pas une entité autonome flottant dans le vide conceptuel ; elle est intrinsèquement verrouillée au sein d’un équilibre mathématique à quatre paramètres interdépendants :

1. Le niveau d’erreur de première espèce (α), fixé généralement à 0,05.
2. La puissance statistique désirée (1 – β).
3. La magnitude véritable de la taille de l’effet dans la population (ex. le d de Cohen ou le ρ de Pearson).
4. La taille numérique totale de l’échantillon analysé (N).

La connaissance de trois de ces composantes permet de déduire mathématiquement la quatrième de façon déterministe.

10.2 L’analyse de puissance a priori avec des outils dédiés (ex. G*Power)

La détermination empirique du nombre de sujets requis pour tester rigoureusement une hypothèse ne saurait relever de l’intuition de l’expérimentateur ni d’habitudes d’atelier informelles. Elle doit impérativement faire l’objet d’une analyse de puissance a priori, réalisée en amont de toute phase de collecte à l’aide de logiciels spécialisés ouverts tels que G*Power ou de packages statistiques dédiés sous l’environnement R (comme la bibliothèque pwr).

La conduite d’études sous-puissancées (underpowered studies)—c’est-à-dire menées sur des échantillons trop exigus pour détecter des effets réels de taille réaliste—constitue l’une des plaies historiques de la littérature en psychologie. Lorsqu’une expérience ne dispose que d’une puissance statistique médiocre de 30 % ou 40 %, l’obtention d’une p-valeur significative (p < 0,05) ne constitue pas une victoire méthodologique, mais soulève de graves suspicions d’incohérence.

Ce phénomène pervers est documenté sous le concept de la malédiction du gagnant (Winner’s Curse). Dans une situation de faible puissance statistique, les rares études qui parviennent fortuitement à franchir le filtre éditorial du p < 0,05 ne le font que parce qu’elles ont bénéficié d’une fluctuation d’échantillonnage exceptionnellement favorable ayant artificiellement gonflé la taille d’effet observée. En conséquence, les estimations publiées dans les revues prestigieuses à partir d’échantillons étriqués surestiment dramatiquement l’ampleur véritable des phénomènes cliniques ou cognitifs, rendant leur réplication future quasi impossible par des laboratoires opérant dans des conditions méthodologiques rigoureuses.

10.3 Taux de faux positifs dans la littérature psychologique : La valeur prédictive positive (PPV)

Dans un article fondateur au titre délibérément provocateur, le professeur d’épidémiologie et de méthodologie John Ioannidis (2005) a démontré mathématiquement « pourquoi la majorité des résultats de recherche publiés sont faux ». Sa démonstration repose sur le calcul de la Valeur Prédictive Positive (VPP ou Positive Predictive Value, PPV), qui représente la probabilité a posteriori qu’une découverte déclarée statistiquement significative (p < 0,05) corresponde à une relation véritablement authentique dans la nature.

La VPP est mathématiquement déterminée par l’interaction de trois variables fondamentales :

VPP = [ (1 – β) × R ] / [ (1 – β) × R + α ]

Où R représente le ratio pré-test des hypothèses vraies sur les hypothèses fausses dans le domaine de recherche considéré (reflétant la plausibilité théorique a priori). Si un psychologue explore des hypothèses hautement spéculatives et contre-intuitives (où seulement 1 hypothèse sur 100 est réellement exacte, soit R = 0,01), même en utilisant un seuil de significativité conventionnel à α = 0,05 avec une puissance de 80 %, la VPP s’établit à :

VPP = (0,80 × 0,01) / [ (0,80 × 0,01) + 0,05 ] = 0,008 / (0,008 + 0,05) = 0,008 / 0,058 ≈ 13,8 %

Ce calcul élémentaire révèle une réalité épistémologique saisissante : dans un champ de recherche focalisé sur des hypothèses audacieuses testées avec une puissance ordinaire, plus de 86 % des articles affichant fièrement un résultat à p < 0,05 sont en réalité de purs faux positifs. Ce constat démontre sans appel qu’une p-valeur inférieure à 0,05 ne possède aucune valeur probante intrinsèque en dehors d’une réflexion préalable rigoureuse sur la vraisemblance théorique des postulats soumis au crible statistique.

11. La crise de la réplication et les dérives méthodologiques associées à p < 0,05

11.1 Les pratiques de recherche douteuses (QRP) et le p-hacking

La pression académique systémique dictée par l’injonction impérieuse de « publier ou périr » (publish or perish), combinée à l’exigence quasi unanime des comités éditoriaux d’exhiber des p-valeurs inférieures au dogme des 0,05, a engendré un répertoire étendu de comportements d’optimisation statistique non éthiques, désignés sous le terme de pratiques de recherche douteuses (Questionable Research Practices, QRP) ou de p-hacking (Simmons, Nelson, & Simonsohn, 2011).

Le p-hacking consiste à exploiter de manière opportuniste la flexibilité analytique accordée à l’expérimentateur (researcher degrees of freedom) jusqu’à ce que la p-valeur, récalcitrante lors des premiers traitements, finisse par franchir artificiellement la frontière de 0,05. Parmi les manœuvres les plus insidieuses, les méthodologistes documentent :

• La collecte de données conditionnelle (arrêts facultatifs) : Tester la significativité statistique sur un premier lot de participants (ex. n = 20) ; si p < 0,05, clore l’expérience immédiatement ; si p > 0,05, continuer à recruter quelques individus jusqu’à ce que le résultat bascule, sans jamais appliquer de pénalité mathématique pour cette multiplicité de tests séquentiels.
• La suppression sélective de valeurs aberrantes (outlier fishing) : Justifier post-hoc l’éviction de participants sous des prétextes méthodologiques opportunistes uniquement lorsque leur retrait abaisse la p-valeur sous le seuil fétiche.
• L’exploration multivariée sans correction : Mesurer cinq variables dépendantes différentes pour jauger l’anxiété, tester séparément chacune d’elles, et ne consigner dans le manuscrit final que la seule métrique ayant produit un résultat statistiquement significatif, en dissimulant l’existence des quatre autres tests non concluants.

Ces pratiques déloyales, même menées sans intention frauduleuse explicite par des chercheurs séduits par le biais de confirmation, ont pour conséquence inéluctable de gonfler le taux réel de faux positifs bien au-delà de la tolérance théorique des 5 %, polluant la littérature scientifique d’effets illusoires impossibles à répliquer.

11.2 Le HARKing et le biais de publication

Une seconde dérive méthodologique majeure induite par le culte de la significativité statistique est désignée sous l’acronyme de HARKing (Hypothesizing After the Results are Known), formalisé par le psychologue social Norbert Kerr (1998). Cette pratique consiste à présenter dans l’introduction d’un manuscrit scientifique une hypothèse de recherche forgée a posteriori, après avoir exploré et manipulé les données statistiques brutes, comme s’il s’agissait d’une prédiction théorique confirmatoire déduite a priori.

Le HARKing constitue une subversion profonde de la logique hypothético-déductive. Dans l’architecture épistémologique des sciences, l’exploration des données est légitime et féconde pour générer de nouvelles intuitions, mais elle doit impérativement être documentée comme telle. Traiter une analyse purement descriptive et exploratoire comme une validation confirmatoire confère à l’obtention fortuite d’un p < 0,05 une fausse autorité de déduction rationnelle, masquant le fait qu’il ne s’agit que d’un profilage ad-hoc sur du bruit statistique localisé.

Ces déviances individuelles s’adossent à une distorsion structurelle systémique : le biais de publication, souvent métaphorisé par le problème du tiroir de bureau (File Drawer Problem, Rosenthal, 1979). Les investigations empiriques échouant à atteindre le seuil de significativité statistique (p ≥ 0,05) se voient massivement rejetées par les comités de lecture ou abandonnées au fond des tiroirs par leurs propres auteurs dépités. Il en résulte une distorsion dramatique des méta-analyses, qui agrègent presque exclusivement les 5 % de faux positifs parvenus miraculeusement à la publication, dressant un tableau trompeur de la réalité des faits psychologiques.

11.3 Solutions de la science ouverte : Pré-enregistrement et Registered Reports

Face à ce constat de crise méthodologique, la communauté internationale des sciences du comportement a impulsé un vaste mouvement de réforme structurelle sous l’égide de la Science Ouverte (Open Science). L’objectif primordial est de briser le lien pervers unissant l’évaluation académique à l’obtention impérative d’une p-valeur inférieure à 0,05.

Le fer de lance de cette transformation réside dans le développement du pré-enregistrement sur des plateformes institutionnelles indépendantes (telles que l’Open Science Framework, OSF). Le pré-enregistrement impose aux investigateurs de figer publiquement, avant toute collecte empirique, leurs hypothèses théoriques formelles, leur plan expérimental, la justification a priori de la taille d’échantillon par analyse de puissance, ainsi que l’arborescence intégrale des scripts d’analyse statistique prévus. Ce protocole interdit structurellement le p-hacking et le HARKing en séparant avec une étanchéité absolue les analyses confirmatoires des explorations post-hoc fortuites.

L’innovation éditoriale la plus aboutie réside dans le format des Registered Reports, désormais adopté par plusieurs centaines de revues internationales de premier rang en psychologie et neurosciences. Dans ce schéma éditorial :

1. Le manuscrit comprenant uniquement l’introduction théorique, les hypothèses et le protocole méthodologique détaillé est soumis aux pairs avant la réalisation de l’expérience (Évaluation de Phase 1).
2. Si les fondements théoriques sont jugés solides et la méthodologie irréprochable, la revue délivre une acceptation de principe inconditionnelle (In-Principle Acceptance).
3. L’étude est ensuite exécutée conformément au protocole pré-enregistré. L’article final est garanti d’être publié dans la revue, quelle que soit la p-valeur finalement obtenue (que p s’établisse à 0,001 ou à 0,72).

Ce mécanisme vertueux réaligne les incitations professionnelles des chercheurs sur la rigueur méthodologique intrinsèque et la précision de leurs mesures plutôt que sur le triomphe cosmétique d’un seuil probabiliste arbitraire.

12. Bonnes pratiques de communication des résultats selon les normes de l’APA

12.1 Règles formelles de rédaction statistique selon la 7e édition de l’APA

L’écriture des résultats inférentiels dans les publications académiques est codifiée de façon millimétrée par le manuel de style officiel de l’American Psychological Association (7e édition, 2020). Cette normalisation internationale vise à éliminer l’ambiguïté interprétative et à imposer une transparence métrologique intégrale dans la communication des analyses statistiques.

Les règles typographiques et structurelles cardinales régissant l’affichage d’un résultat significatif (p < 0,05) se synthétisent ainsi :

• Typographie et casse : Toutes les abréviations et symboles statistiques alphabétiques représentant des statistiques ou des paramètres doivent impérativement être composés en italique. Cela s’applique universellement à la lettre p, mais également aux indices t, F, z, r, d, M (moyenne) et ET (écart-type ou SD en anglais). Seuls les symboles grecs (α, β, η², μ, σ) demeurent en caractères romains droits.
• Rapport des p-valeurs exactes : L’écriture historique générique « p < 0,05 » est formellement proscrite pour les tests standards. Les auteurs sont sommés d’indiquer la p-valeur exacte calculée avec deux ou trois décimales significatives (par exemple, p = 0,024 ou p = 0,008).
• Interdiction absolue de l’écriture « p = 0,000 » : Une p-valeur issue d’une distribution continue n’est jamais mathématiquement nulle ; l’affichage « 0,000 » généré par certains logiciels comme SPSS n’est qu’un artéfact visuel lié à l’arrondi décimal automatique. Lorsque la probabilité calculée descend sous le seuil d’arrondi à trois décimales, la seule transcription réglementaire valide est : p < 0,001.
• Omission du zéro initial : Conformément aux conventions typographiques anglo-saxonnes adoptées dans le format APA, les paramètres bornés qui ne peuvent mathématiquement jamais excéder la valeur absolue de 1 (tels que la p-valeur, les coefficients de corrélation de Pearson ou les proportions) doivent être rédigés sans zéro avant le séparateur décimal lorsqu’ils sont exprimés en langue anglaise (ex. p = .038). Dans les publications rédigées en français universitaire, l’usage de la virgule et la conservation du zéro initial (p = 0,038) sont fréquemment maintenus par respect des règles orthotypographiques francophones, à condition de préserver une cohérence parfaite tout au long du document.
• Association systématique taille d’effet et précision : Aucun test statistique ne doit figurer de façon orpheline. L’indication de la statistique et de la p-valeur doit obligatoirement s’accompagner d’une métrique de taille d’effet standardisée ainsi que de son intervalle de confiance à 95 %.

12.2 Modèles de phrases types pour intégrer p < 0,05 dans un article scientifique

Pour faciliter l’application opérationnelle de ces directives dans les écrits académiques contemporains, voici trois modèles d’intégration textuelle rigoureux couvrant les analyses quantitatives les plus usitées dans les publications spécialisées :

Modèle 1 : Analyse de Variance Univariée (ANOVA factorielle)
« Une analyse de variance univariée inter-sujets à deux facteurs a révélé un effet principal significatif du type d’entraînement sur les capacités d’inhibition cognitive, F(2, 84) = 4,78, p = 0,011, η_p² = 0,10, IC 95 % [0,01, 0,22]. Les analyses de comparaisons post-hoc avec ajustement de Tukey indiquent que le groupe soumis à l’entraînement métacognitif intensif (M = 48,20 ; ET = 6,40) surpasse significativement le groupe contrôle actif (M = 43,10 ; ET = 5,90 ; p = 0,009), tandis qu’aucune divergence notable n’apparaît avec le groupe d’entraînement attentionnel simple (M = 45,60 ; ET = 6,10 ; p = 0,234). »

Modèle 2 : Régression Linéaire Multiple
« Le modèle de régression linéaire multiple incluant le soutien social perçu, la réévaluation émotionnelle et le stress perçu explique une part significative de la variance de la symptomatologie dépressive, F(3, 116) = 14,32, p < 0,001, R² = 0,27, R²_ajusté = 0,25. De manière spécifique, le soutien social constitue un prédicteur négatif statistiquement significatif du niveau de dépression (β = -0,34, t(116) = -3,89, p < 0,001, IC 95 % [-0,51, -0,17]), maintenant un effet substantiel après ajustement pour les autres covariables du modèle. »

Modèle 3 : Test de Chi-Deux d’Indépendance
« Un test d’indépendance du Chi-deux de Pearson a été réalisé pour évaluer la relation entre l’adhésion au traitement psychologique (observance complète versus abandon précoce) et le mode d’administration thérapeutique (présentiel versus téléconsultation). Les résultats démontrent une liaison statistiquement significative entre ces deux variables nominales, χ²(1, N = 140) = 5,26, p = 0,022, V de Cramér = 0,19, IC 95 % [0,03, 0,35]. La proportion d’abandons prématurés s’est révélée significativement plus marquée dans la modalité en téléconsultation (28,5 %) que dans la modalité en présentiel (12,8 %). »

Dans chacun de ces exemples, l’auteur s’abstient rigoureusement d’employer des adjectifs hyperboliques non scientifiques tels que « résultat hautement prouvé », « effet colossalement significatif » ou « confirmation absolue de la théorie ». Le style académique préserve une neutralité descriptive scrupuleuse, consignant la mécanique mathématique avec exactitude.

12.3 Synthèse et grille d’évaluation critique de la robustesse d’un résultat

Pour parachever ce parcours méthodologique et offrir un guide décisionnel opérationnel, la grille d’audit critique suivante synthétise les questionnements indispensables que tout lecteur ou évaluateur d’un article scientifique doit systématiquement formuler face à une p-valeur déclarée inférieure à 0,05 :

Critère d’Audit	Interrogation Méthodologique Fondamentale	Niveau de Risque si Non Respecté
1. Analyse de Puissance	L’effectif d’échantillon (N) a-t-il été rigoureusement justifié a priori pour détecter un effet réaliste avec une puissance minimale de 80 % ?	Élevé : Risque d’erreur de Type I déguisée, effet gonflé par la malédiction du gagnant (Winner’s Curse).
2. Pré-enregistrement	Le plan d’analyse, les variables dépendantes et les hypothèses étaient-ils verrouillés avant la collecte sur une plateforme dédiée (ex. OSF) ?	Critique : Suspicion de HARKing ou de p-hacking via l’exploration opportuniste de données non contrôlées.
3. Taille de l’Effet	La p-valeur s’accompagne-t-elle d’une taille d’effet standardisée (d, ηp2, r) substantielle et indépendante de l’effectif ?	Modéré : Risque de significativité artificielle imputable à un échantillon massif sans importance clinique réelle.
4. Résolution d’Estimation	L’intervalle de confiance à 95 % est-il rapporté ? Sa largeur témoigne-t-elle d’une précision suffisante de la métrique observée ?	Modéré : Incertitude métrologique masquée ; estimation ponctuelle possiblement erratique.
5. Plausibilité Théorique	L’effet revendiqué s’intègre-t-il dans un cadre théorique solide et cohérent, ou s’agit-il d’une hypothèse isolée contre-intuitive ?	Critique : Risque statistique écrasant de faux positif en vertu du paradoxe de la valeur prédictive positive (Ioannidis).

L’avenir des sciences quantitatives du comportement s’oriente résolument vers une épistémologie statistique pluraliste. L’inférence fréquentiste classique centrée sur la p-valeur n’est ni un oracle omniscient ni un outil intrinsèquement toxique ; elle constitue un filtre probabiliste élémentaire qui n’acquiert sa pertinence que lorsqu’il est articulé de manière indissociable avec la modélisation théorique, l’estimation systématique des magnitudes d’effet, l’appréciation des intervalles de confiance et, dans une perspective de plus en plus féconde, la triangulation avec les méthodes d’inférence bayésienne (calcul des facteurs de Bayes quantifiant directement l’évidence comparative entre hypothèses rivales).

Interpréter une p-valeur inférieure à 0,05 exige en définitive une grande probité intellectuelle. Loin de représenter le couronnement triomphal d’un processus de recherche, elle ne marque que le commencement d’une démarche de consolidation scientifique rigoureuse : celle qui, par la réplication indépendante, la transparence totale des protocoles méthodologiques et la modélisation cumulative des mécanismes psychologiques, permet à la connaissance humaine de s’extraire patiemment du vacarme de l’aléa.

Références

• American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). American Psychological Association. https://doi.org/10.1037/0000165-000
• Beck, A. T., Epstein, N., Brown, G., & Steer, R. A. (1988). An inventory for measuring clinical anxiety: Psychometric properties. Journal of Consulting and Clinical Psychology, 56(6), 893–897. https://doi.org/10.1037/0022-006X.56.6.893
• Benjamin, D. J., Berger, J. O., Johannesson, M., Nosek, B. A., Wagenmakers, E.-J., Berk, R., Bollen, K. A., Brembs, B., Brown, L., Camerer, C., Cesarini, D., Chambers, C. D., Clyde, M., Cook, T. D., De Boeck, P., Dienes, Z., Dreber, A., Kenny, D. A., … Johnson, V. E. (2018). Redefine statistical significance. Nature Human Behaviour, 2(1), 6–10. https://doi.org/10.1038/s41562-017-0189-z
• Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum Associates.
• Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. https://doi.org/10.1037/0033-2909.112.1.155
• Cohen, J. (1994). The earth is round (p < .05). American Psychologist, 49(12), 997–1003. https://doi.org/10.1037/0003-066X.49.12.997
• Cumming, G. (2012). Understanding the new statistics: Effect sizes, confidence intervals, and meta-analysis. Routledge.
• Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7–29. https://doi.org/10.1177/0956797613504966
• Diener, E., Emmons, R. A., Larsen, R. J., & Griffin, S. (1985). The Satisfaction With Life Scale. Journal of Personality Assessment, 49(1), 71–75. https://doi.org/10.1207/s15327752jpa4901_13
• Fisher, R. A. (1925). Statistical methods for research workers. Oliver and Boyd.
• Gelman, A., & Stern, H. (2006). The difference between « significant » and « not significant » is not itself statistically significant. The American Statistician, 60(4), 328–331. https://doi.org/10.1198/000313006X152607
• Gross, J. J., & John, O. P. (2003). Individual differences in two emotion regulation processes: Implications for affect, relationships, and well-being. Journal of Personality and Social Psychology, 85(2), 348–362. https://doi.org/10.1037/0022-3514.85.2.348
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
• Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
• Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4, Article 863. https://doi.org/10.3389/fpsyg.2013.00863
• Lakens, D., Adolfi, F. G., Albers, C. J., Anvari, F., Apps, M. A. J., Argamon, S. E., Baguley, T., Becker, R. B., Ben-Shachar, M. S., Berman, N., Borghi, A. M., Botvinik-Nezer, R., Boylan, J. P., Chechile, R., Coleman, J., Cook, T. D., Cooper, R. P., Zwaan, R. A., … Ziano, I. (2018). Justify your alpha. Nature Human Behaviour, 2(3), 168–171. https://doi.org/10.1038/s41562-018-0311-x
• Neyman, J., & Pearson, E. S. (1933). On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society of London. Series A, Containing Papers of a Mathematical or Physical Character, 231(694-706), 289–337. https://doi.org/10.1098/rsta.1933.0009
• Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641. https://doi.org/10.1037/0033-2909.86.3.638
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
• Stroop, J. R. (1935). Studies of interference in serial verbal reactions. Journal of Experimental Psychology, 18(6), 643–662. https://doi.org/10.1037/h0054117
• Wagenmakers, E.-J., Marsman, M., Jamil, T., Ly, A., Verhagen, J., Love, J., Selker, R., Gronau, Q. F., Šmíra, M., Epskamp, S., Derks, K., Rouder, J. N., & Morey, R. D. (2018). Bayesian inference for psychology. Part I: Theoretical advantages and practical ramifications. Psychonomic Bulletin & Review, 25(1), 35–57. https://doi.org/10.3758/s13423-017-1323-7
• Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108