Au cours de la décennie 2010, les sciences du comportement ont traversé un bouleversement épistémologique sans précédent dans l’histoire contemporaine de la recherche. Longtemps perçue comme un édifice robuste reposant sur des décennies d’expérimentations contrôlées en laboratoire, la psychologie scientifique a été confrontée à l’effondrement de plusieurs de ses paradigmes fondateurs. Les doutes diffus sur la fiabilité des découvertes publiées se sont mués en une crise structurelle généralisée, révélant la vulnérabilité d’un modèle académique fondé sur la quête effrénée du résultat statistiquement significatif et l’isolement des équipes de recherche.
Face à ce constat alarmant, une avant-garde de chercheurs issus de la mouvance de la science ouverte a entrepris de repenser radicalement les modalités de production et de vérification des connaissances empiriques. Plutôt que de s’en remettre à des réplications isolées, conduites par de petites équipes au pouvoir statistique souvent insuffisant et aux biais méthodologiques persistants, ces scientifiques ont formulé un modèle inédit de coopération transnationale : les projets de réplication massive Many Labs. En fédérant des dizaines, voire des centaines de laboratoires indépendants autour de protocoles strictement standardisés et pré-enregistrés, ces initiatives ont ouvert une ère nouvelle de métascience empirique.
Le présent article propose une analyse approfondie et exhaustive des projets Many Labs. En explorant leur genèse historique, leur architecture méthodologique sophistiquée, les résultats empiriques des cinq volets principaux, ainsi que leurs répercussions statistiques, théoriques et institutionnelles, nous mettrons en lumière la manière dont ces consortiums ont redéfini la notion même de fait scientifique en psychologie. Ce voyage au cœur de la « Big Team Science » éclaire les promesses et les dilemmes d’une discipline engagée dans une refondation méthodique de sa crédibilité épistémique.
1. Introduction et contexte historique : L’émergence de la crise de la reproductibilité en psychologie
1.1 Les signaux d’alerte initiaux et les failles méthodologiques
L’étincelle qui a embrasé la psychologie expérimentale s’est produite au début de l’année 2011 avec la parution, dans la prestigieuse revue Journal of Personality and Social Psychology, d’un article de Daryl Bem intitulé « Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect ». À travers neuf expériences menées auprès de plus de mille participants, ce psychologue chevronné de l’Université Cornell affirmait avoir mis en évidence l’existence de la précognition, c’est-à-dire la capacité d’individus ordinaires à percevoir des stimuli futurs de manière télépathique ou rétroactive. D’un point de vue purement formel, l’article respectait scrupuleusement les canons méthodologiques alors en vigueur : hypothèses ancrées dans un cadre expérimental, calculs de seuil de signification conventionnels ($p < .05$) et procédures de révision par les pairs sans anicroche. Pourtant, la conclusion heuristique était scientifiquement intenable, forçant la communauté à reconnaître une faille béante : si des protocoles méthodologiques standards pouvaient authentifier un phénomène défiant les lois de la thermodynamique, c'est que les normes d'évaluation elles-mêmes étaient déficientes.
Cette déflagration a coïncidé avec la mise au jour de fraudes scientifiques d’une ampleur inédite, en premier lieu celle du psychologue social néerlandais Diederik Stapel. Enquête après enquête, il s’est avéré que Stapel avait purement et simplement falsifié ou inventé les jeux de données de dizaines de publications acclamées, trompant collègues et évaluateurs pendant près de deux décennies. Si le cas Stapel relevait de la pathologie déontologique, il a fonctionné comme un catalyseur révélant une zone grise bien plus pernicieuse : les pratiques de recherche contestables (Questionable Research Practices ou QRPs), omniprésentes dans les laboratoires de par le monde.
Parmi ces dérives méthodologiques, les statisticiens ont rapidement formalisé le concept de p-hacking, documenté de manière éclatante par Simmons, Nelson et Simonsohn (2011) sous le vocable de « degrés de liberté du chercheur ». Ce mécanisme regroupe une panoplie de micro-décisions prises au fil de l’eau : tester plusieurs variables dépendantes mais ne rapporter que celle qui atteint le seuil d’erreur alpha de 5 %, exclure arbitrairement des participants jugés « atypiques » après avoir examiné leur effet sur la significativité statistique, arrêter la collecte de données dès que le résultat devient significatif ou encore multiplier les conditions expérimentales. Conjugué au phénomène de HARKing (Hypothesizing After the Results are Known, conceptualisé par Norbert Kerr), qui consiste à présenter des résultats purement exploratoires et fortuits comme des vérifications déductives d’hypothèses théoriques préalables, l’arsenal empirique de la psychologie se trouvait gangrené par une prolifération massive de faux positifs masqués sous les oripeaux de la rigueur académique.
1.2 Le choc épistémologique du Reproducibility Project: Psychology
Face à l’accumulation de ces anomalies méthodologiques, la communauté scientifique ne pouvait plus se contenter de soupçons informels ou de débats théoriques abstraits. Sous l’impulsion de Brian Nosek et du tout jeune Center for Open Science, une initiative collective d’une ampleur sans précédent s’est mise en place : l’Open Science Collaboration. Pendant plusieurs années, des centaines de chercheurs bénévoles à travers le monde ont méthodiquement sélectionné cent études parues en 2008 dans trois des revues de psychologie les plus influentes au monde (Journal of Experimental Psychology: Learning, Memory, and Cognition, Journal of Personality and Social Psychology, et Psychological Science), afin d’en réaliser des réplications directes selon des critères de fidélité expérimentale stricts.
Les conclusions du Reproducibility Project: Psychology (RP:P), publiées dans la revue Science en août 2015, ont provoqué un séisme dont les répliques structurent encore le paysage de la recherche contemporaine. Alors que 97 % des publications originales rapportaient des résultats statistiquement significatifs en faveur de leurs hypothèses, seules 36 % des réplications directes ont réussi à obtenir un effet significatif au seuil conventionnel ($p < .05$). Même en adoptant des critères d'évaluation plus souples basés sur des méta-analyses combinant l'étude princeps et sa réplication, moins de la moitié des paradigmes ont résisté à l'épreuve des faits.
Plus inquiétant encore que le seul taux d’échec, la chute globale des tailles d’effet a révélé une distorsion systématique de la littérature académique. En moyenne, la taille d’effet observée dans les réplications représentait à peine la moitié de celle initialement publiée ($d$ de Cohen moyen chutant de 0,403 dans les originaux à 0,197 dans les réplications). Cette divergence a mis en lumière un biais de publication massif, couplé à une inflation structurelle des effets due au fait que seules les études statistiquement significatives parvenaient à franchir le filtre éditorial des comités de lecture. Le constat devenait incontournable : la psychologie souffrait d’un problème fondamental de validité interne et de reproductibilité, imposant la création immédiate d’instruments d’évaluation plus puissants, transparents et standardisés.
1.3 La transition conceptuelle vers les collaborations multi-laboratoires
Le diagnostic posé par le projet de l’Open Science Collaboration comportait néanmoins une limite interprétative que les défenseurs des paradigmes originaux n’ont pas manqué de souligner. En effet, la grande majorité des réplications du RP:P avaient été conduites par un seul laboratoire pour chaque étude donnée. Dès lors, un échec de réplication pouvait théoriquement s’expliquer par un ensemble de facteurs contingents : un manque de compétence technique de l’expérimentateur local, des variations contextuelles ou culturelles subtiles entre la population d’origine et la population de réplication, ou encore un simple manque de puissance statistique locale, la taille des échantillons n’étant pas toujours suffisante pour détecter des effets plus modestes que prévu.
Pour dépasser cette impasse épistémologique et dissocier les véritables artefacts d’échantillonnage de la non-reproductibilité intrinsèque d’un effet psychologique, il devenait indispensable de changer d’échelle d’observation. L’étude isolée, réalisée au sein d’un laboratoire unique disposant de quelques dizaines d’étudiants de premier cycle, a révélé ses limites structurelles : elle est par nature incapable d’estimer avec précision la variance inter-sites et l’hétérogénéité réelle d’un phénomène.
C’est de cette prise de conscience qu’a émergé le paradigme de la « Big Team Science » appliquée à la psychologie expérimentale. L’ambition n’était plus de confier l’évaluation d’un phénomène à un chercheur isolé, mais de mobiliser un vaste réseau international de laboratoires partenaires appliquant simultanément un protocole identique. En agrégeant les données de milliers de participants répartis sur plusieurs continents, les chercheurs pouvaient atteindre une puissance statistique phénoménale (souvent supérieure à 99 % pour des tailles d’effet modérées) tout en quantifiant directement si un résultat variait en fonction de la géographie, des populations ou des particularismes institutionnels. La transition vers les projets Many Labs était scellée.
2. Genèse et architecture méthodologique des projets Many Labs
2.1 Les principes fondateurs de l’initiative Many Labs
Initié par Richard A. Klein, Fred Hasselman et une constellation de jeunes chercheurs désireux de refonder la méthodologie de leur discipline, le mouvement Many Labs repose sur un contrat collaboratif novateur. Le postulat directeur est simple : mutualiser les infrastructures matérielles, les ressources humaines et les compétences analytiques d’équipes disséminées à travers le monde afin de soumettre des hypothèses ciblées à l’épreuve empirique la plus exigeante qui soit. Cette mise en commun des moyens permet de s’extraire de la logique concurrentielle classique pour embrasser un fonctionnement synchrone et distribué.
Le socle déontologique de ces projets repose sur trois piliers indissociables : le pré-enregistrement systématique, la standardisation absolue des démarches expérimentales et la politique rigoureuse de libre accès. Avant même la passation du tout premier sujet, l’intégralité du protocole d’étude — incluant les hypothèses opérationnelles, le calcul de puissance a priori, le matériel expérimental, les critères d’exclusion des données et le plan d’analyse statistique complet — est déposée publiquement sur la plateforme de l’Open Science Framework (OSF). Ce verrouillage préalable élimine purement et simplement le p-hacking rétrospectif et la réécriture opportuniste des objectifs de recherche.
Par ailleurs, l’engagement envers la transparence se traduit par la mise à disposition publique immédiate des données brutes désidentifiées, des métadonnées contextuelles de chaque laboratoire et des scripts d’analyse informatique (rédigés principalement sous l’environnement R). Cette politique d’audit permanent permet à n’importe quel chercheur indépendant de répliquer pas à pas les résultats numériques, de vérifier la conformité des algorithmes d’estimation et de tester des modèles analytiques alternatifs, érigeant la reproductibilité computationnelle en norme absolue du consortium.
2.2 Protocoles standardisés et réduction des degrés de liberté du chercheur
L’une des innovations majeures introduites par les initiatives Many Labs réside dans la réduction drastique de ce que Wicherts et ses collaborateurs (2016) ont baptisé les « degrés de liberté du chercheur ». Dans une étude de psychologie traditionnelle, l’expérimentateur dispose d’une marge d’arbitraire considérable quant à l’attitude à adopter face aux participants, aux explications orales fournies, au filtrage des données bruitées ou au choix des régressions statistiques. Au sein du dispositif Many Labs, cette variabilité idiosyncrasique est intentionnellement compressée au maximum.
Pour y parvenir, les consortiums s’appuient sur des scripts de passation informatisés universels (souvent programmés sous Qualtrics, Inquisit ou des bibliothèques JavaScript standardisées comme jsPsych). Que le participant se trouve à Stanford, à Varsovie, à Santiago ou à Tokyo, il lit exactement les mêmes consignes, visualisées selon le même calibrage d’interface, et répond aux stimuli dans des conditions temporelles rigoureusement synchronisées. L’intervention humaine des expérimentateurs locaux est réduite à l’accueil standardisé et à l’ouverture de la session informatique, minimisant l’effet d’attente de l’expérimentateur (experimenter expectancy effect ou effet Rosenthal).
De surcroît, les critères d’exclusion des données font l’objet d’une définition opérationnelle non négociable : vitesse minimale ou maximale de réponse pour écarter les clics erratiques, seuil d’échec aux questions d’attention (attention checks) et traitement standardisé des données manquantes. Une frontière étanche est tracée entre les analyses dites confirmatoires — strictement délimitées dans le pré-enregistrement et visant à valider ou invalider les hypothèses centrales — et d’éventuelles analyses exploratoires ultérieures, expressément étiquetées comme telles afin d’éviter toute confusion épistémique.
2.3 La sélection raisonnée des effets psychologiques cibles
Le choix des effets psychologiques soumis au crible des projets Many Labs ne s’opère pas au hasard : il résulte d’un arbitrage minutieux visant à maximiser la portée heuristique des collectes. Les coordinateurs veillent systématiquement à équilibrer les protocoles en y intégrant trois grandes catégories de phénomènes expérimentaux, dessinant un panorama complet du paysage de la psychologie contemporaine.
En premier lieu, les projets intègrent des effets dits « classiques », documentés de longue date et érigés au rang de dogmes indiscutables dans les manuels universitaires (par exemple l’effet Stroop, l’effet d’ancrage ou la théorie des perspectives). L’enjeu consiste ici à vérifier si ces piliers de la discipline résistent à des méthodologies modernes d’échantillonnage et à des procédures d’analyse contemporaines. En second lieu, les consortiums sélectionnent des effets plus récents, issus de revues de premier plan, ayant suscité un immense retentissement théorique et médiatique (comme l’amorçage social, l’épuisement de l’ego ou la saillance de la mortalité), mais dont la robustesse n’a jamais été validée en dehors du laboratoire d’origine.
Enfin, les concepteurs prennent grand soin d’incorporer des effets réputés extrêmement solides et universels, servant de « témoins méthodologiques positifs » (positive controls). L’intégration de ces témoins permet de répondre par anticipation aux objections critiques : si un laboratoire donné échoue à observer un effet témoin incontestable (comme la sensibilité à des variations massives de contraste perceptif ou des heuristiques cognitives élémentaires), ses données peuvent être invalidées pour cause de dysfonctionnement technique ou de non-engagement flagrant des participants. Cette matrice de sélection est soumise à une consultation communautaire ouverte sur les réseaux scientifiques avant le lancement des collectes, garantissant l’adhésion d’un large panel d’experts quant à la pertinence des paradigmes éprouvés.
3. Many Labs 1 : Pionnier de l’évaluation systématique de la variabilité des effets
3.1 Structure et déploiement du premier volet collectif
Publié en 2014 sous la direction de Richard A. Klein et de dizaines de co-auteurs, le projet inaugural Many Labs 1 a constitué la première preuve de concept éclatante de la Big Team Science appliquée à l’évaluation expérimentale. Le dispositif réunissait 36 laboratoires indépendants situés dans plusieurs pays (notamment aux États-Unis, au Canada, au Royaume-Uni, aux Pays-Bas, en Allemagne, en Malaisie et en République tchèque), démontrant la faisabilité d’une coopération scientifique horizontale décentralisée.
Le protocole avait pour ambition d’évaluer de manière simultanée treize paradigmes expérimentaux majeurs, combinant psychologie cognitive, économie comportementale et psychologie sociale. L’ensemble des tâches était intégré dans une passation unique d’une durée d’environ trente minutes, administrée à la fois auprès de cohortes d’étudiants traditionnels testés en laboratoire physique et auprès d’échantillons en ligne recrutés via la plateforme de micro-travail Amazon Mechanical Turk (MTurk).
Au terme de la collecte, le jeu de données consolidé comprenait 6 344 participants, un effectif global record et sans précédent pour une étude de psychologie expérimentale multi-paradigmes. Cette masse de données conférait à l’analyse une sensibilité statistique extraordinaire, permettant de détecter des tailles d’effet infinitésimales et de modéliser avec une précision mathématique inégalée la distribution spatiale et contextuelle des résultats.
3.2 Succès et déconvenues parmi les effets examinés
Les résultats empiriques de Many Labs 1 ont révélé un contraste saisissant entre la robustesse inébranlable des fonctions cognitives fondamentales et la fragilité patente de certains effets de psychologie sociale à la mode. Les effets relevant du jugement, de la prise de décision et du traitement de l’information ont affiché une reproductibilité spectaculaire. L’effet d’ancrage classique formalisé par Tversky et Kahneman (1974) a ainsi été répliqué avec une fidélité absolue dans l’ensemble des sites de test, affichant des tailles d’effet massives ($d > 2.0$). De même, le paradigme de compatibilité stimulus-réponse (l’effet Stroop et ses variantes cognitives), le biais de cadrage (framing effect) et l’effet de représentativité ont traversé l’épreuve sans la moindre altération méthodologique.
À l’inverse, les paradigmes relevant de l’amorçage comportemental et implicite — domaine particulièrement valorisé par la psychologie sociale des années 1990 et 2000 — ont essuyé un revers dévastateur. L’étude très médiatisée de Carter et al. (2011), affirmant qu’une exposition visuelle subliminale ou incidente à l’image du drapeau national américain augmentait durablement les attitudes politiques conservatrices et les intentions de vote républicaines chez les participants, n’a pu être répliquée : la taille d’effet mesurée à travers les différents sites oscillait autour de zéro ($d = 0.03$), sans aucune significativité statistique.
De la même façon, l’expérience d’amorçage conceptuel relative à la monnaie formulée par Kathleen Vohs et ses collègues, postulant que le simple fait de manipuler ou d’observer des représentations financières induisait un comportement individualiste et une distance sociale marquée, a produit des résultats statistiquement nuls. Ces échecs ont confirmé les alertes méthodologiques antérieures : des effets présentés comme révolutionnaires dans des revues prestigieuses s’avéraient être, en réalité, des illusions statistiques dues à des échantillons originaux excessivement réduits et à des biais de publication endémiques.
3.3 L’analyse inédite de la variabilité inter-sites
L’apport le plus fondamental de Many Labs 1 ne résidait pas seulement dans son verdict binaire (succès ou échec de réplication), mais dans sa capacité inédite à quantifier l’hétérogénéité des tailles d’effet entre laboratoires indépendants. Avant cette étude, l’argumentaire quasi-universellement opposé aux réplications infructueuses consistait à invoquer la spécificité des contextes locaux : telle université hébergerait des étudiants plus sceptiques, tel environnement comporterait des distractions non contrôlées ou les subtilités culturelles locales inhiberaient le phénomène.
Les modélisations statistiques de Many Labs 1 ont littéralement pulvérisé cette explication de convenance. En calculant les paramètres d’hétérogénéité méta-analytiques, les chercheurs ont constaté que la variance inter-sites était quasi-nulle pour la plupart des paradigmes examinés. Lorsqu’un effet était scientifiquement réel (à l’instar de l’ancrage ou du cadrage), il apparaissait de manière constante, puissante et homogène dans les 36 laboratoires, qu’ils soient situés au cœur d’un campus américain prestigieux ou dans une université d’Asie du Sud-Est. Réciproquement, lorsqu’un effet était nul (comme l’amorçage du drapeau), il restait opiniâtrement plat et indétectable partout, sans qu’aucun site ne parvienne à faire émerger une quelconque significativité.
De surcroît, la comparaison directe entre les passations conduites en présentiel dans des laboratoires universitaires et celles recueillies en ligne sur Amazon MTurk a démontré une convergence frappante des métriques d’effet. Ce constat a définitivement balayé l’idée reçue selon laquelle les échantillons recrutés sur Internet offriraient des données de qualité inférieure en raison d’une supposée inattention des répondants. Le facteur déterminant de la réussite d’une réplication n’est ni le lieu physique ni la population d’accueil : c’est la robustesse intrinsèque du phénomène théorique sous-jacent.
4. Many Labs 2 : L’impact de la diversité culturelle et contextuelle sur la réplicabilité
4.1 Une ambition planétaire : sortir du paradigme WEIRD
Forts du succès méthodologique de la première édition, les chercheurs ont initié un projet aux proportions décuplées : Many Labs 2. Dirigé à nouveau par Richard A. Klein et une équipe de coordinateurs internationaux, ce deuxième volet s’est donné pour mission de s’attaquer à l’un des angles morts les plus décriés des sciences comportementales : le biais WEIRD, acronyme désignant les populations occidentales, éduquées, industrialisées, riches et démocratiques (Henrich, Heine et Norenzayan, 2010). Pendant des décennies, la psychologie a prétendu énoncer des lois universelles sur l’esprit humain en testant presque exclusivement des étudiants nord-américains et européens de première année d’université.
Pour briser cet ethnocentrisme empirique, Many Labs 2 a orchestré une infrastructure planétaire sans précédent : 125 laboratoires partenaires disséminés dans 36 pays et territoires souverains, représentant les six continents habités. Des protocoles ont ainsi été administrés dans des contextes aussi diversifiés que l’Inde, la Turquie, le Chili, la Namibie, la Malaisie, la Chine rurale ou les centres urbains du Moyen-Orient, totalisant un effectif vertigineux de 15 305 participants.
Cette internationalisation massive a exigé un effort logistique et psychométrique titanesque. Les stimuli expérimentaux et les questionnaires associés ont fait l’objet de protocoles de traduction et de contre-traduction rigoureusement contrôlés, impliquant des linguistes et des psychologues natifs afin d’assurer l’équivalence sémantique et la pertinence culturelle des matériels. Vingt-huit effets psychologiques classiques et modernes, répartis en deux protocoles d’administration distincts pour éviter l’épuisement cognitif des sujets, ont été minutieusement évalués au cours de ce déploiement global.
4.2 Résultats comparatifs entre échantillons occidentaux et non-occidentaux
Les conclusions empiriques de Many Labs 2, publiées en décembre 2018 dans la revue Advances in Methods and Practices in Psychological Science, ont apporté une réponse nuancée mais déstabilisante quant à l’influence de la culture sur les lois fondamentales de la psychologie. Globalement, sur les 28 effets ciblés, exactement la moitié (14 effets, soit 50 %) a été répliquée avec succès selon les seuils statistiques confirmatoires pré-enregistrés, tandis que l’autre moitié échouait à manifester des effets fiables ou mesurables.
Le point le plus remarquable a trait à l’invariance géographique des résultats. Contrairement aux intuitions post-modernes postulant une plasticité culturelle totale des processus cognitifs, les 14 effets robustes se sont manifestés avec une vigueur comparable dans les sociétés occidentales et non-occidentales. Des phénomènes comme l’effet d’ordre des choix, la sensibilité aux pertes, l’heuristique de disponibilité ou l’erreur d’attribution fondamentale ont conservé leur direction et leur magnitude qu’ils soient évalués à Montréal, à Pretoria ou à Séoul. L’architecture de base du jugement humain a révélé un degré d’universalité trans-échantillonnal remarquable.
À l’opposé, les paradigmes défaillants ont échoué de manière tout aussi universelle. L’amorçage social complexe — à l’instar des travaux affirmant que l’exposition implicite à des concepts d’élévation morale ou de propreté physique modifierait instantanément les jugements éthiques — a généré des tailles d’effet résiduelles statistiquement insignifiantes aussi bien au sein des cultures collectivistes que des cultures individualistes. L’hétérogénéité observée ne se situait donc pas entre les civilisations, mais bien entre les objets d’étude : certains processus expérimentaux sont des réalités scientifiques robustes, tandis que d’autres s’apparentent à des artefacts de publications passées.
4.3 Les enseignements sur la modération contextuelle
L’apport épistémologique capital de Many Labs 2 a été de tester mathématiquement l’hypothèse de la « modération contextuelle ». Dans le sillage de la crise de la reproductibilité, nombre de théoriciens avaient tenté de sauver les études non répliquées en affirmant que les effets psychologiques étaient si sensibles aux micro-variables d’environnement (climat politique, appartenance religieuse de la cohorte, statut socio-économique perçu de l’évaluateur) qu’une réplication hors de la fenêtre spatiotemporelle originelle était nécessairement vouée à l’échec.
Grâce à des régressions méta-analytiques multiniveaux et au calcul précis du coefficient d’hétérogénéité réelle ($tau$), Many Labs 2 a infligé un démenti catégorique à cette posture théorique. Pour la majorité écrasante des effets examinés, la variance systématique attribuable aux sites géographiques s’est avérée extraordinairement faible. Les indices de contextualisation (mesurés à travers des gradients de distance culturelle, des échelles de valeurs sociétales d’Inglehart-Welzel ou des indices de développement humain) n’expliquaient qu’une fraction marginale de la variance des tailles d’effet.
Ces données démontrent que brandir « l’effet de contexte » pour disqualifier un échec de réplication relève bien souvent de l’immunisation épistémique non falsifiable plutôt que de la rigueur scientifique. Les chercheurs ont ainsi établi de nouveaux standards d’évaluation : pour qu’une variable contextuelle puisse être considérée comme un modérateur authentique d’un effet psychologique, elle doit être postulée a priori, intégrée à un modèle formellement testable et confirmée empiriquement sur des échantillons multisites contrastés, et non invoquée rétrospectivement comme une excuse post-hoc pour masquer la fragilité empirique d’une publication.
5. Many Labs 3 : L’effet du temps et de la temporalité universitaire sur les résultats
5.1 L’hypothèse de la détérioration temporelle des cohortes étudiantes
Dans la pratique quotidienne des départements de psychologie universitaire, un préjugé méthodologique tenace s’est transmis de génération en génération de chercheurs sans jamais avoir fait l’objet d’une évaluation expérimentale systématique : l’effet du calendrier académique sur la motivation et la cognition des étudiants participants. Selon cette croyance largement partagée, les données recueillies au cours des premières semaines du semestre d’automne seraient de qualité nettement supérieure à celles récoltées au cours des dernières semaines.
La justification théorique semblait séduisante : en début de cycle universitaire, les étudiants volontaires seraient plus frais mentalement, plus consciencieux et animés d’une curiosité intellectuelle intacte pour satisfaire leurs crédits de recherche obligatoire. En revanche, à l’approche de la fin de session, les cohortes seraient dominées par des retardataires procrastinateurs, stressés par l’imminence des examens finaux, en situation d’épuisement cognitif et exécutant les questionnaires de manière bâclée afin de valider à la hâte leurs obligations pédagogiques. Cette dynamique délétère était fréquemment désignée sous l’expression de « subject pool fatigue ».
Pour trancher définitivement cette controverse logistique, l’équipe de Many Labs 3, coordonnée par Charles R. Ebersole et ses collaborateurs (2016), a mis sur pied un protocole expérimental longitudinal mobilisant vingt universités nord-américaines. L’objectif était d’administrer une batterie de dix effets psychologiques de façon continue et standardisée tout au long d’un semestre académique complet, afin de cartographier avec précision la courbe d’évolution des tailles d’effet au fil des semaines d’enseignement.
5.2 Analyse empirique des variations intra-semestre
Le consortium Many Labs 3 a recueilli les réponses standardisées de 2 696 participants, dont la date exacte de passation était méticuleusement horodatée semaine après semaine au sein de chaque campus partenaire. Les tâches sélectionnées englobaient un spectre représentatif de paradigmes cognitifs et psychosociaux, incluant des mesures d’attention soutenue, l’effet de supériorité de l’auto-référence sur la mémoire (self-reference effect), des heuristiques de jugement moral et des tâches de persistance intellectuelle.
Les modélisations statistiques ont abouti à un résultat univoque : le calendrier universitaire n’exerce absolument aucune influence mesurable sur la magnitude des tailles d’effet. Qu’une tâche expérimentale ait été passée lors de la première semaine de septembre ou au milieu des révisions frénétiques de décembre, la taille d’effet observée demeurait rigoureusement stable. Le paramètre d’interaction entre la semaine de collecte et l’effet expérimental cible s’est révélé non significatif sur l’intégralité des paradigmes examinés.
Les indicateurs de rigueur cognitive ont affiché une constance remarquable. Les temps de réaction, le respect des consignes complexes, les scores aux questions d’attention et le taux d’engagement global n’ont montré aucune érosion statistique à mesure que le semestre avançait. Même les effets hautement dépendants des ressources attentionnelles, comme l’effet d’auto-référence mnésique, ont conservé une puissance identique d’un bout à l’autre du calendrier. L’hypothèse de la détérioration cognitive systématique des banques de sujets en fin de session universitaire a été formellement réfutée par les données.
5.3 Conséquences pour la logistique des laboratoires de psychologie
Les retombées pratiques de Many Labs 3 pour l’organisation quotidienne des laboratoires ont été immédiates et libératrices. Sur le plan logistique, cette étude a réhabilité la validité scientifique des données récoltées en fin de cycle universitaire, levant une hypothèque anxiogène qui pesait sur des milliers de doctorants et d’enseignants-chercheurs contraints de boucler leurs protocoles dans des délais temporels étroits.
Les équipes ont ainsi pu optimiser l’utilisation de leurs banques de participants sans craindre que les jeux de données tardifs ne polluent leurs échantillons avec du bruit méthodologique ou des faux négatifs artificiels. Plus fondamentalement, cette démonstration a illustré une fois de plus la propension de la communauté scientifique à forger et perpétuer des dogmes méthodologiques basés sur de simples intuitions anecdotiques, en l’absence de toute vérification empirique rigoureuse.
En démontrant que les processus psychologiques de base des étudiants ne se dissolvent pas sous l’effet du calendrier, Many Labs 3 a recentré le débat métascientifique sur les véritables priorités méthodologiques. Le risque de non-reproductibilité ne provient pas de la semaine calendaire au cours de laquelle un sujet clique sur une souris d’ordinateur : il résulte de la puissance statistique des tests, de la fidélité de l’opérationnalisation conceptuelle et du refus absolu de manipuler les données en post-hoc.
6. Many Labs 4 : L’expertise méthodologique et l’implication des auteurs originaux
6.1 Le cas épineux de la théorie de la gestion de la terreur
L’un des défis les plus cruciaux et délicats soulevés par le mouvement de réplication concerne le rôle de « l’expertise tacite » des auteurs originaux. Lorsqu’une réplication indépendante échoue, les concepteurs de la théorie initiale objectent fréquemment que les réplicateurs n’ont pas su capter les nuances subtiles du paradigme : un choix d’instructions légèrement maladroit, un ton inadapté de l’expérimentateur, ou un délai temporel mal calibré entre la manipulation et la mesure suffiraient à détruire le phénomène. Pour répondre formellement à cette critique, le projet Many Labs 4 a été conçu selon un modèle expérimental inédit : intégrer les auteurs originaux au cœur même de la conception de la réplication.
Le paradigme choisi pour ce banc d’essai méthodologique était l’un des monuments théoriques de la psychologie sociale contemporaine : la théorie de la gestion de la terreur (Terror Management Theory ou TMT), formulée par Jeff Greenberg, Sheldon Solomon et Tom Pyszczynski. Selon cette théorie, la conscience inéluctable de notre propre mortalité génère une terreur existentielle potentiellement paralysante, que les êtres humains compensent en renforçant leur adhésion à leur vision culturelle du monde (worldview defense) et en valorisant ceux qui partagent leurs croyances au détriment de ceux qui les transgressent.
L’étude ciblée était la manipulation classique de saillance de la mortalité (Mortality Salience) mise au point par Greenberg et al. (1990). Dans ce paradigme, les participants invités à décrire par écrit les émotions que suscite chez eux l’idée de leur propre mort physique manifestent ultérieurement une punition plus sévère ou un jugement beaucoup plus négatif à l’égard d’individus violant les normes sociétales (en l’occurrence, l’évaluation d’un auteur ayant rédigé un essai violemment critique envers les États-Unis). Le projet a mobilisé 21 laboratoires indépendants et plus de 2 200 participants afin de tester ce mécanisme de manière définitive.
6.2 Controverses d’exécution et divergences d’interprétation
L’architecture expérimentale de Many Labs 4 comportait un double dispositif comparatif : chaque laboratoire partenaire devait administrer deux versions distinctes du protocole. D’un côté, un protocole rédigé de façon autonome par l’équipe des réplicateurs sur la base exclusive des publications écrites de 1990 ; de l’autre côté, un protocole minutieusement élaboré, validé et officiellement approuvé par les auteurs originaux de la TMT eux-mêmes, qui ont précisé le matériel, les questions d’amorçage, et imposé l’insertion d’une tâche de délai distrayante censée permettre à l’angoisse de la mort de s’infiltrer hors de la conscience immédiate (un postulat théorique central de la TMT).
Les conclusions globales de l’étude ont produit une onde de choc au sein de la discipline. Que ce soit avec le protocole standardisé indépendant ou avec le protocole conçu sur mesure par les auteurs fondateurs de la théorie, l’effet de saillance de la mortalité n’a pu être répliqué. La taille d’effet globale moyenne a convergé vers une valeur proche du zéro absolu ($d = 0.03$), sans qu’aucun avantage statistiquement mesurable ne puisse être attribué au protocole validé par les créateurs historiques du concept.
La publication des données a immédiatement déclenché une controverse acrimonieuse et hautement médiatisée. Les auteurs originaux ont réagi en contestant avec virulence la légitimité de l’exécution empirique, affirmant rétrospectivement que certains laboratoires n’avaient pas respecté le timing exact d’administration ou que le climat politique national de l’ère post-2016 parasitait la réceptivité des sujets à l’égard de l’essai critique anti-américain. Les réplicateurs ont rétorqué que toutes les déviations mineures avaient été auditées et intégrées dans des méta-régressions sans que l’effet n’émerge jamais. Cet affrontement a exposé au grand jour la difficulté quasi-insurmontable d’obtenir un consensus au sein de la communauté lorsque des croyances théoriques ancrées depuis trois décennies sont remises en cause par des données massives.
6.3 Leçons pour la collaboration entre réplicateurs et auteurs d’origine
L’expérience tumultueuse de Many Labs 4 a apporté des enseignements méthodologiques inestimables pour l’avenir des relations entre réplicateurs et auteurs historiques. Premièrement, elle a démontré que le recours à « l’expertise tacite » est souvent une voie sans issue scientifique : si un phénomène expérimental est si fragile qu’il ne peut se manifester qu’entre les mains de son inventeur et s’évanouit dès qu’il est administré selon des consignes informatisées universelles, alors il cesse d’être un phénomène scientifique généralisable pour devenir une performance non reproductible.
Deuxièmement, le projet a mis en exergue la nécessité absolue d’instaurer des accords méthodologiques contractuels préalables et contraignants. Avant le recueil de la moindre observation, les auteurs originaux et les réplicateurs doivent signer un consensus formel stipulant que le protocole proposé constitue un test loyal, adéquat et diagnostique de la théorie en question. Cette précaution permet d’éviter que des critiques méthodologiques opportunistes ne soient inventées ad hoc a posteriori, une fois les résultats négatifs connus.
Enfin, Many Labs 4 a posé les fondations éthiques de la réplication contradictoire. Il a prouvé que la Big Team Science, loin d’être un outil malveillant destiné à discréditer des carrières universitaires, constitue l’unique moyen démocratique d’arbitrer les querelles d’écoles théoriques sur le terrain neutre de la rigueur statistique collective.
7. Many Labs 5 : Évaluation des protocoles examinés par les pairs avant enregistrement
7.1 Le format Registered Replication Reports sous la loupe
L’un des accomplissements majeurs de la réforme de la science ouverte a été l’introduction du modèle éditorial des Registered Reports (rapports pré-enregistrés). Dans ce schéma novateur, les manuscrits sont soumis à l’évaluation par les pairs (peer review) avant même la collecte des données : les relecteurs et le rédacteur en chef jugent exclusivement de la pertinence théorique de la question de recherche, de la rigueur du calcul de puissance et de la qualité formelle du dispositif expérimental. Si le projet est jugé satisfaisant, la revue octroie une « acceptation de principe » (In-Principle Acceptance ou IPA), garantissant la publication finale des résultats, que ceux-ci confirment ou infirment les hypothèses initiales.
Le consortium Many Labs 5, piloté par Charles R. Ebersole et une équipe internationale (2020), s’est donné pour objectif métascientifique d’évaluer l’impact direct de ce processus d’évaluation préalable sur le sort des réplications. Les chercheurs se sont penchés sur un ensemble d’études controversées issues du Reproducibility Project: Psychology de 2015 ayant échoué à se répliquer, mais pour lesquelles les auteurs originaux avaient soutenu que les protocoles de réplication présentaient des défauts méthodologiques majeurs ayant faussé le résultat.
La question posée par Many Labs 5 était vertigineuse : si l’on prend ces mêmes études contestées, que l’on soumet leurs protocoles de réplication à un examen par les pairs approfondi associant formellement les auteurs originaux pour corriger chaque imperfection technique possible, et que l’on fait valider cette architecture bonifiée sous le format d’un Registered Report officiel, verra-t-on les effets disparus ressurgir ?
7.2 Résultats comparatifs entre versions pré-approuvées et originales
Pour mener à bien cette confrontation méthodologique, Many Labs 5 a mobilisé des dizaines de sites d’expérimentation indépendants afin de tester en parallèle deux versions protocolaires pour chaque paradigme sélectionné : la version issue de la réplication originale du RP:P de 2015 (la version « standard » contestée) et la version bonifiée ayant obtenu l’approbation formelle des pairs et des auteurs initiaux (la version « révisée » optimisée).
Les résultats ont infligé un démenti spectaculaire à la thèse selon laquelle les échecs de réplication initiaux découlaient de simples lacunes d’exécution technique ou d’un manque de bienveillance méthodologique. Sur la quasi-totalité des paradigmes réévalués, la version révisée et pré-approuvée par les auteurs n’a pas affiché de taille d’effet supérieure à celle observée avec le protocole original contesté. Les effets nuls sont restés nuls.
L’intégration minutieuse des desiderata des concepteurs — ajustement des formulations textuelles, allongement des phases d’amorçage, modification des intervalles de latence — n’a pas permis de faire réapparaître les phénomènes publiés jadis dans la littérature. Cette confrontation expérimentale a ainsi administré la preuve mathématique que les échecs du Reproducibility Project: Psychology n’étaient pas le sous-produit de réplicateurs incompétents exécutant des protocoles imparfaits : ils découlaient bien de l’inexistence empirique des effets initiaux, générés à l’origine par le p-hacking et le tamis éditorial des biais de publication.
7.3 Implications pour l’édition scientifique et le processus d’évaluation
L’apport institutionnel de Many Labs 5 réside dans la validation éclatante du format des Registered Reports en tant qu’instrument de purification de la méthode scientifique. En démontrant qu’un protocole soumis à l’évaluation avant la récolte des données offre des garanties d’impartialité indépassables, cette initiative a précipité la mutation des politiques éditoriales internationales.
Le fait de dissocier la décision de publication du résultat statistique final élimine instantanément toute tentation de p-hacking chez le chercheur et anéantit le biais de publication chez l’éditeur. L’évaluation par les pairs cesse d’être une simple formalité bureaucratique intervenant a posteriori pour juger d’un produit fini potentiellement enjolivé ; elle redevient un espace constructif de codécision méthodologique où la validité de l’expérience est garantie en amont.
Dans la foulée de ces résultats, des centaines de revues académiques de premier rang ont officiellement ouvert des sections de soumission sous le format des Registered Reports. Many Labs 5 a prouvé qu’en verrouillant méthodologiquement le processus expérimental avant que les dés ne soient jetés, la science se donne enfin les moyens d’éliminer les faux positifs et de bâtir un corpus de connaissances cumulativement pérenne.
8. Analyses statistiques et traitement de l’hétérogénéité des tailles d’effet
8.1 Modèles méta-analytiques appliqués aux données multi-sites
Le traitement analytique de jeux de données massifs impliquant des dizaines de sites d’expérimentation répartis aux quatre coins du globe ne saurait reposer sur de simples analyses de variance conventionnelles. Les projets Many Labs ont imposé l’utilisation généralisée de modèles statistiques avancés, au premier rang desquels figurent les modèles méta-analytiques à effets aléatoires (random-effects meta-analyses) et les régressions linéaires mixtes multiniveaux (hierarchical linear modeling).
Contrairement aux modèles à effets fixes, qui postulent implicitement qu’il existerait une taille d’effet véritable unique et universelle que chaque laboratoire estimerait à une erreur d’échantillonnage près, les modèles à effets aléatoires assument formellement que la taille d’effet réelle peut elle-même varier entre les populations et les environnements. L’objectif mathématique central de ces modèles est d’estimer deux composantes fondamentales de la variance : la variance intra-site (attribuable à la taille de l’échantillon local et mesurée par l’erreur standard classique) et l’hétérogénéité systématique inter-sites, quantifiée par le paramètre $\tau^2$ (tau au carré).
Un apport technique décisif de cette approche a été la généralisation des intervalles de prédiction (prediction intervals) à 95 %, concept régulièrement distingué des traditionnels intervalles de confiance. Tandis qu’un intervalle de confiance délimite la marge d’erreur entourant l’estimation de la taille d’effet moyenne, l’intervalle de prédiction indique dans quelle fourchette se situera la véritable taille d’effet si l’on conduit une nouvelle réplication dans un laboratoire futur pris au hasard. Si cet intervalle de prédiction englobe la valeur zéro, le phénomène ne peut être considéré comme universellement réplicable, même si la taille d’effet moyenne agrégée s’avère statistiquement significative au sens d’une p-valeur globale.
8.2 La détection des biais de sélection et des distorsions de puissance
L’analyse agrégée des données Many Labs a permis d’ausculter de manière diagnostique les déformations statistiques induites par des décennies de mauvaises pratiques méthodologiques. L’un des marqueurs les plus évidents révélés par ces travaux est l’omniprésence du « paradoxe du gagnant » (winner’s curse) au sein de la littérature traditionnelle. Dans des études historiques à faible puissance statistique ($N = 20$ à $30$ sujets par condition), un effet ne peut franchir le seuil d’erreur alpha de 5 % que si sa taille d’effet échantillonnale est massivement surestimée par le hasard. Les chercheurs publiaient donc des amplitudes d’effet gargantuesques qui ne représentaient que le sommet de la distribution stochastique.
Pour démasquer ces anomalies de distribution, les statisticiens du consortium ont appliqué les outils de la courbe des valeurs de $p$ (p-curve analysis, conceptualisée par Simonsohn, Nelson et Simmons). En traçant la distribution des p-valeurs significatives issues de la littérature originelle comparée à celle des réplications Many Labs, ils ont pu démontrer de manière irréfutable la présence d’une valeur probante évidente pour les effets cognitifs (courbe fortement asymétrique vers la droite, concentrée autour de $p < .01$) et une absence totale de valeur probante pour de nombreux effets d’amorçage social (courbe plate ou asymétrique vers la gauche, trahissant l’accumulation de résultats artificiellement poussés sous la barre de$.05$ par du p-hacking).
En garantissant une puissance statistique cumulée supérieure à 99 % pour chaque paradigme examiné, les protocoles Many Labs ont mis fin à la ritournelle des résultats faussement contradictoires. Dans le passé, un laboratoire trouvant $p < .05$ et un autre trouvant $p = .08$ s’opposaient dans des joutes théoriques interminables pour expliquer cette « divergence », ignorant qu’il ne s’agissait que du bruit d’échantillonnage inhérent à des échantillons chroniquement sous-dimensionnés.
8.3 L’interprétation théorique de l’hétérogénéité minimale
L’une des découvertes statistiques les plus déconcertantes issues de l’ensemble des initiatives Many Labs réside dans la faiblesse insoupçonnée de l’hétérogénéité réelle inter-laboratoires. Alors que les psychologues s’attendaient à ce que la diversité des contextes géographiques, des fuseaux horaires, des origines ethniques et des cadres universitaires génère une variabilité foisonnante des effets, l’estimation empirique de $\tau^2$ s’est de manière récurrente approchée du zéro absolu.
L’indice $I^2$, mesurant la proportion de variance totale attribuable à une hétérogénéité réelle entre les sites plutôt qu’à l’erreur d’échantillonnage aléatoire, s’est maintenu à des niveaux dérisoires pour une vaste majorité de paradigmes. Concrètement, cela signifie que la quasi-totalité des fluctuations observées d’un laboratoire à l’autre dans l’amplitude d’un effet s’explique simplement par la variance d’échantillonnage normale, et non par de mystérieux facteurs modérateurs contextuels.
Ce constat mathématique a des répercussions fondamentales pour l’épistémologie de la discipline. Il pulvérise l’idée d’une plasticité contextuelle infinie des fonctions psychologiques, trop souvent brandie pour excuser les échecs de réplication. Un véritable phénomène psychologique présente une signature statistique identifiable : lorsqu’il existe, sa généralisabilité transcende les particularismes locaux avec une constance impressionnante. À l’inverse, l’absence d’effet s’avère tout aussi homogène : rien ne sert de chercher des modérateurs subtils pour expliquer la disparition d’un effet qui n’était, dès l’origine, qu’une chimère statistique.
9. Conséquences épistémologiques et théoriques pour la science psychologique
9.1 Le tri sélectif des théories psychologiques établies
L’onde de choc produite par les données consolidées des projets Many Labs a forcé la psychologie scientifique à procéder à un tri sélectif sans concession au sein de son panthéon théorique. Durant des décennies, la discipline a accumulé des modèles ambitieux érigés sur des fondations empiriques friables, bénéficiant d’une forme d’immunité épistémique garantie par l’absence d’incitation institutionnelle à la réplication indépendante.
Le secteur ayant payé le tribut le plus lourd à cet inventaire méthodique est sans conteste celui de l’amorçage comportemental inconscient. Des pans entiers de la littérature affirmant que des stimuli environnementaux fugaces — tels que la vue d’une photo d’Einstein pour stimuler l’intelligence, la manipulation d’argent pour induire l’individualisme ou la contemplation de symboles religieux pour réprimer l’agressivité — pouvaient dicter à leur insu les conduites humaines complexes se sont effondrés. Ces modèles théoriques, bien que séduisants pour les médias grand public et les conférences TED, doivent être abandonnés ou profondément recalibrés, faute de réalité expérimentale.
À l’inverse, le mouvement Many Labs n’a nullement conduit à une disqualification nihiliste de l’ensemble de la psychologie. Au contraire, il a consacré la solidité empirique des fondements de la psychologie cognitive, de la perception, du jugement probabiliste et de l’économie comportementale. Les lois régissant l’attention sélective, le traitement mémoriel ou la structure des heuristiques de décision ont émergé de cette épreuve plus robustes et incontestables que jamais. Ce tri salutaire a permis d’assainir la discipline en éliminant les branches mortes de l’édifice théorique pour mieux consolider ses piliers fondamentaux.
9.2 La redéfinition de la robustesse d’un phénomène expérimental
L’héritage épistémologique des projets Many Labs se traduit par un bouleversement complet de la définition de ce qui constitue une découverte scientifique recevable. Le critère exclusif qui a régné sans partage pendant plus d’un demi-siècle — le sacro-saint seuil de signification de Neyman-Pearson $p < .05$ obtenu au sein d'une expérience unique — est désormais considéré comme notoirement insuffisant par la communauté internationale.
La métascience moderne exige désormais un faisceau de preuves autrement plus rigoureux pour attester de la robustesse d’un phénomène expérimental. Cette nouvelle grille d’évaluation s’articule autour de trois impératifs cardinaux :
- L’estimation précise de la taille d’effet : L’enjeu n’est plus simplement de rejeter l’hypothèse nulle ($H_0$), mais de démontrer que le phénomène présente une magnitude théoriquement significative, assortie d’intervalles de confiance et de prédiction étroits et strictement distincts de zéro.
- L’invariance démographique et contextuelle : Un effet scientifique ne peut revendiquer le statut de loi générale de l’esprit s’il ne survit pas à l’évaluation au-delà d’un sous-groupe homogène d’étudiants occidentaux aisés. La robustesse implique la réplicabilité à travers des échantillons diversifiés.
- La réplicabilité directe pré-enregistrée : La validité d’un résultat n’est définitivement acquise que s’il a été soumis à une tentative de réplication directe et ouverte, idéalement menée par des laboratoires tiers indépendants n’ayant aucun conflit d’intérêts théorique ou financier avec les promoteurs initiaux de l’hypothèse.
9.3 L’évolution de la conceptualisation théorique en psychologie
Au-delà de la seule méthodologie, la crise de la reproductibilité documentée par les projets Many Labs a révélé une faiblesse structurelle plus profonde : la pauvreté formelle des théories psychologiques. Comme l’a magistralement souligné la méthodologue Anne Scheel et ses collaborateurs, la psychologie souffre d’un déficit chronique de formalisation mathématique. La majorité des cadres conceptuels sont formulés sous forme de « théories verbales » vagues et malléables, rédigées dans le langage ordinaire.
Cette plasticité linguistique présente un danger épistémologique majeur : elle permet à une théorie d’esquiver perpétuellement la falsification au sens poppérien. Lorsqu’un effet échoue à se répliquer, le théoricien peut toujours invoquer l’imprécision de ses formulations verbales pour soutenir que le protocole de réplication n’a pas activé le bon construit sous-jacent, transformant la discipline en un édifice dogmatique imperméable à la réfutation empirique.
La réponse à cette dérive réside dans la transition vers des modèles computationnels et mathématiques explicites du comportement. Les projets de réplication massive ont accéléré ce mouvement vers la rigueur formelle. Les chercheurs sont désormais sommés de délimiter avec une précision chirurgicale les « conditions limites » de leurs théories : préciser par des équations ou des algorithmes sous quelles conditions exactes un phénomène doit se produire, quelle taille d’effet minimale est théoriquement attendue, et quelles observations contradictoires suffiraient à invalider définitivement le modèle. Cette modestie épistémique renouvelée est la condition sine qua non pour que la psychologie s’élève au rang de science cumulative durable.
10. Innovations structurelles : Vers une science collaborative et ouverte
10.1 L’essor de la Big Team Science et des consortiums mondiaux
L’héritage institutionnel le plus pérenne du paradigme Many Labs est incontestablement l’institutionnalisation de la « Big Team Science ». En démontrant qu’il était matériellement possible de coordonner plus de cent laboratoires à l’échelle planétaire pour répondre à des questions empiriques précises, ces initiatives ont fait voler en éclats le modèle séculaire du chercheur isolé travaillant en vase clos dans son laboratoire universitaire (le syndrome du « savant solitaire »).
Dans le sillage direct de Many Labs, de véritables organisations permanentes de recherche distribuée ont vu le jour. L’exemple le plus emblématique est le Psychological Science Accelerator (PSA), fondé par Christopher Chartier en 2017. Ce consortium permanent regroupe plus de mille chercheurs et laboratoires répartis dans plus de quatre-vingts pays. Fonctionnant à la manière d’un observatoire astronomique international ou d’un accélérateur de particules comme le CERN, le PSA sélectionne périodiquement des propositions d’études par appel d’offres rigoureux, puis mobilise son réseau planétaire pour collecter des données standardisées sur des dizaines de milliers de participants avec une puissance statistique phénoménale.
Cette mutation a également imposé une refonte complète des modes d’attribution du crédit scientifique. Les structures de publication traditionnelles, conçues pour quelques auteurs seulement, étaient incapables de gérer des collectes impliquant des centaines de scientifiques. L’adoption progressive de la taxonomie CRediT (Contributor Roles Taxonomy) permet désormais de documenter avec précision le rôle de chaque individu : conceptualisation, programmation logicielle, collecte de données locales, traduction, administration du projet ou curation des données brutes, démocratisant ainsi l’accès à la reconnaissance académique pour les chercheurs de pays émergents ou d’institutions moins richement dotées.
10.2 Le rôle structurant du Center for Open Science et de l’OSF
La révolution méthodologique incarnée par les consortiums Many Labs n’aurait jamais pu advenir sans l’infrastructure technologique et le soutien opérationnel du Center for Open Science (COS), cofondé par Brian Nosek et Jeffrey Spies. En développant la plateforme universelle Open Science Framework (OSF), le COS a fourni à la communauté internationale l’environnement technique indispensable pour orchestrer des collaborations massives à distance.
L’OSF offre une interface logicielle gratuite, modulaire et hautement sécurisée permettant d’archiver pérenneusement chaque étape du cycle de recherche. Elle permet d’héberger les arbres décisionnels des pré-enregistrements sous forme immuable et horodatée, d’assurer le contrôle des versions des scripts de programmation et de mettre à la disposition publique mondiale des gigaoctets de données expérimentales brutes et de syntaxes de traitement. Cette architecture élimine le spectre des « données perdues sur un disque dur obsolète », tragédie documentaire qui a longtemps frappé les études universitaires quelques années seulement après leur parution.
De surcroît, le Center for Open Science a agi comme un incubateur politique et institutionnel majeur, forgeant les lignes directrices TOP (Transparency and Openness Promotion Guidelines). Ces directives fournissent aux revues scientifiques et aux universités des critères standardisés pour imposer progressivement la transparence des données, des matériels et des analyses comme condition préalable non négociable à toute publication académique.
10.3 L’institutionnalisation des Registered Reports
L’impact structurel le plus profond des réplications Many Labs sur l’écosystème éditorial demeure la légitimation et l’expansion exponentielle du format des Registered Reports. Sous l’impulsion de pionniers comme Chris Chambers, ce format est passé du statut d’expérimentation éditoriale marginale à celui de standard d’excellence méthodologique adopté par plus de trois cents revues scientifiques internationales de premier plan (incluant des titres majeurs édités par l’American Psychological Association, Elsevier, Springer-Nature et Wiley).
Les études empiriques conduites pour évaluer l’efficacité des Registered Reports confirment des transformations structurelles radicales :
- Éradication du biais de publication : Alors que dans les publications traditionnelles, le taux de résultats statistiquement significatifs en faveur des hypothèses avoisinait les 90 à 95 %, cette proportion tombe à environ 40-45 % au sein des Registered Reports, reflétant enfin la réalité stochastique du monde empirique.
- Qualité méthodologique accrue : Les évaluations conduites en double aveugle par des pairs comparant des études classiques à des Registered Reports démontrent que ces derniers sont systématiquement jugés plus rigoureux, dotés de calculs de puissance plus fiables et d’une clarté de conception nettement supérieure.
- Décorrélation du prestige et du sensationnalisme : L’acceptation de principe déconnecte définitivement la valeur d’une publication de la découverte d’un effet sensationnel ou contre-intuitif. C’est la robustesse de la démarche et l’importance heuristique de la question posée qui deviennent les seuls critères de jugement académique.
11. Critiques, limites et débats méthodologiques entourant les initiatives Many Labs
11.1 La critique de l’absence de sensibilité théorique et culturelle
Malgré leurs apports méthodologiques incontestables, les consortiums Many Labs ont fait l’objet de vives critiques épistémologiques, émanant principalement de chercheurs traditionalistes et de partisans des paradigmes invalidés. La critique la plus récurrente concerne la « standardisation aveugle » inhérente aux protocoles massifs. Selon cette perspective, en imposant un script informatique uniformisé à l’ensemble des sites de test, les réplicateurs anéantiraient la flexibilité requise pour adapter subtilement les expérimentations aux contextes socioculturels particuliers de chaque échantillon.
Des auteurs ont fait valoir que la traduction purement littérale d’un stimulus textuel ou d’un scénario moral ne garantit en rien son équivalence psychologique fonctionnelle dans un pays étranger. Un dilemme social perçu comme anodin par un étudiant new-yorkais peut s’avérer choquant ou incompréhensible pour un habitant d’une zone rurale d’Afrique subsaharienne ou d’Asie orientale, introduisant un bruit méthodologique susceptible de noyer un effet psychologique réel sous un artefact d’incommunicabilité sémantique.
Par ailleurs, les tenants de l’approche traditionnelle continuent de plaider pour la primauté de la « réplication conceptuelle » sur la « réplication directe ». Selon eux, la véritable science consisterait à tester la même idée abstraite avec des matériels et des paradigmes totalement différents, plutôt que de s’acharner à répéter servilement à l’identique un protocole historique daté. Les tenants de la science ouverte répondent toutefois qu’autoriser la réplication conceptuelle sans validation directe préalable ouvre la porte à tous les dérapages : lorsque la réplication conceptuelle réussit, on crie à la généralisation de la théorie ; lorsqu’elle échoue, on affirme simplement qu’on a testé un construit différent, rendant la théorie infalsifiable.
11.2 La contestation de la validité écologique des passations de masse
Un deuxième angle critique concerne la validité écologique des conditions réelles d’administration au sein des projets Many Labs. Pour optimiser les coûts et le temps de collecte, la plupart de ces initiatives ont eu recours à des « protocoles omnibus » (battery surveys), au sein desquels les participants enchaînaient à la suite, en une seule session de 30 à 60 minutes, une douzaine de paradigmes expérimentaux totalement disparates n’ayant aucun lien logique entre eux.
Cette accumulation de stimuli a suscité des inquiétudes légitimes quant à l’impact de la fatigue cognitive et à la baisse d’attention des volontaires. Même si Many Labs 1 et Many Labs 2 ont systématiquement contrebalancé l’ordre de présentation des tâches pour contrôler cet effet d’ordre statistique, il n’en demeure pas moins que l’état psychologique d’un participant traitant son dixième paradigme consécutif est difficilement comparable à celui d’un individu concentré sur une expérience unique en tête-à-tête avec un expérimentateur en laboratoire.
De plus, le recours massif aux plateformes de travail crowdsourcées comme Amazon MTurk ou Prolific a soulevé des interrogations sur la professionnalisation des répondants. Ces « sujets professionnels », qui remplissent des dizaines de questionnaires par jour moyennant quelques centimes de compensation financière, développent des automatismes de réponse et une familiarité soupçonneuse avec les pièges méthodologiques usuels (manipulation checks), ce qui pourrait étouffer la spontanéité émotionnelle requise pour observer certains effets délicats de psychologie sociale.
11.3 Les coûts humains, logistiques et d’opportunité de la méta-recherche
Enfin, un débat économique et éthique s’est fait jour quant aux « coûts d’opportunité » gigantesques engloutis par ces entreprises métascientifiques pharaoniques. Fédérer cent vingt laboratoires universitaires, coordonner des centaines de chercheurs et mobiliser des dizaines de milliers d’heures de travail pour réexaminer des articles publiés il y a vingt ou trente ans représente un investissement colossal en ressources humaines et financières.
Certains critiques s’interrogent : cet effort titanesque dédié à l’audit du passé ne s’effectue-t-il pas au détriment de l’exploration de pistes théoriques novatrices et de la découverte de nouveaux horizons scientifiques ? En orientant les financements et les talents vers la vérification méthodologique, ne risque-t-on pas de briser la créativité, l’audace conceptuelle et la prise de risque indispensables à l’émergence de percées scientifiques de rupture ?
Ce dilemme frappe tout particulièrement les jeunes chercheurs et les doctorants engagés dans ces consortiums. Au sein d’un marché académique hyper-compétitif où la titularisation dépend encore largement du nombre de publications en premier auteur dans des revues prestigieuses, signer un article collectif au milieu d’une liste alphabétique de cent cinquante co-auteurs apporte une rentabilité de carrière parfois perçue comme incertaine. Trouver le juste équilibre entre l’impératif indispensable de vérification rigoureuse et la stimulation d’une créativité scientifique débridée constitue l’un des défis majeurs de la recherche contemporaine.
12. Perspectives futures : L’institutionnalisation des réplications massives et l’avenir de la recherche
12.1 L’intégration de la réplication dans la formation universitaire
Pour assurer la pérennité de la révolution méthodologique initiée par les projets Many Labs, la communauté scientifique a compris que la transformation devait s’opérer dès la base : au sein des cursus de formation universitaire de premier et second cycles. L’enseignement de la psychologie expérimentale a trop longtemps reposé sur des travaux pratiques de laboratoire obsolètes, dont les résultats étaient connus d’avance et où les étudiants étaient encouragés à « nettoyer » leurs données jusqu’à obtenir l’effet attendu conforme au manuel.
Sous l’égide de projets comme le Collaborative Replications and Education Project (CREP), un modèle pédagogique novateur a vu le jour. Les étudiants de licence et de master se voient désormais confier la réalisation de réplications directes hautement calibrées d’études contemporaines récentes. Encadrés par leurs professeurs et soumis à des pré-enregistrements stricts, ils apprennent les gestes de la science ouverte : gestion des données brutes, anonymisation, codage reproductible en R et documentation transparente des aléas de l’expérimentation.
Cette pédagogie par la recherche authentique métamorphose l’éthique des futurs scientifiques. Les étudiants n’apprennent plus à considérer la science comme un rituel de confirmation d’autorités magistrales, mais comme un processus d’investigation critique, modeste et auto-correctif. En contribuant à des bases de données réplicatives réelles intégrées ultérieurement à des méta-analyses mondiales, la nouvelle génération acquiert dès les bancs de l’université une culture de l’intégrité intellectuelle imperméable aux dérives du p-hacking.
12.2 La réforme des critères de financement et de titularisation
L’avenir de la science ouverte et des projets collaboratifs dépend in fine de l’alignement des incitations institutionnelles avec les idéaux de rigueur épistémique. Longtemps, les agences nationales de financement de la recherche (telles que la NSF aux États-Unis, le CNRS ou l’ANR en France, ou l’ERC en Europe) ont alloué leurs crédits presque exclusivement sur des critères de « nouveauté » et « d’originalité disruptive », délaissant le financement de la vérification et de la réplication.
Une prise de conscience structurelle s’opère progressivement. Des organismes de financement exigent désormais des plans formels de gestion des données ouvertes (Data Management Plans) et réservent des lignes budgétaires spécifiques pour financer des audits de réplication à grande échelle. Parallèlement, des comités d’évaluation académique commencent à réviser leurs critères d’embauche et de titularisation (tenure).
Le modèle obsolète de l’évaluation quantitative au simple « facteur d’impact » (Journal Impact Factor) et au nombre brut de citations est vigoureusement combattu par des initiatives internationales comme la Déclaration de San Francisco sur l’évaluation de la recherche (DORA) et l’accord CoARA (Coalition for Advancing Research Assessment). La participation active à des consortiums de Big Team Science, la publication de Registered Reports et le dépôt public de jeux de données réutilisables commencent à être officiellement valorisés comme des preuves majeures de leadership scientifique et d’excellence méthodologique.
12.3 Vers un modèle épistémique auto-correctif et cumulatif
À l’horizon des prochaines décennies, la recherche comportementale s’oriente vers un modèle épistémique radicalement repensé : la création de référentiels dynamiques et continus de fiabilité des connaissances. L’époque où une publication imprimée dans une revue sur papier glacé figeait pour un quart de siècle une théorie intouchable est définitivement révolue.
La convergence de la métascience, de l’ingénierie des données et des algorithmes d’analyse automatisée permet d’envisager des « méta-analyses vivantes » (living meta-analyses). Dans cet écosystème en temps réel, chaque nouvelle réplication conduite à travers le globe et pré-enregistrée sur l’OSF vient automatiquement s’agréger aux données existantes, mettant à jour de façon dynamique la taille d’effet estimée, ses intervalles de prédiction et son degré d’hétérogénéité spatio-temporelle. Les manuels universitaires de demain ne décriront plus des effets sur la base d’une anecdote expérimentale isolée datant de 1978, mais sur la base d’un indice de confiance probabiliste mis à jour en continu par des centaines de laboratoires indépendants.
L’épopée des projets de réplication Many Labs aura ainsi marqué le passage d’une science artisanale, vulnérable aux biais individuels et aux dérives de publication, à une entreprise collective planétaire, transparente et rigoureusement auto-corrective. En affrontant avec lucidité ses propres faiblesses, la psychologie n’a pas signé son déclin : elle a démontré une maturité épistémologique exemplaire, montrant la voie à l’ensemble des sciences empiriques pour reconstruire une confiance sociétale inébranlable dans la robustesse de ses découvertes.
Références
Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407–425. https://doi.org/10.1037/a0021524
Carter, T. J., Ferguson, M. J., & Hassin, R. R. (2011). A single exposure to the American flag shifts support toward Republican politicians after the election. Psychological Science, 22(8), 1011–1018. https://doi.org/10.1177/0956797611414726
Chambers, C. D. (2017). The seven deadly sins of psychology: A manifesto for reforming the culture of scientific practice. Princeton University Press.
Ebersole, C. R., Atherton, O. E., Belanger, A. L., Skelly, N. E., Adams, R. B., Jr., André, A., … & Nosek, B. A. (2016). Many Labs 3: Evaluating the replicability of the student pool across the academic semester. Journal of Experimental Social Psychology, 67, 68–82. https://doi.org/10.1016/j.jesp.2016.02.003
Ebersole, C. R., Mathur, M. B., Baranski, E., Bart-Messing, E., Čitković, N., Dijkstra, M., … & Nosek, B. A. (2020). Many Labs 5: Testing pre-data-collection peer review as an intervention to increase replicability. Advances in Methods and Practices in Psychological Science, 3(3), 309–331. https://doi.org/10.1177/2515245920958687
Greenberg, J., Pyszczynski, T., Solomon, S., Rosenblatt, A., Veeder, M., Kirkland, S., & Lyon, D. (1990). Evidence for terror management theory II: The effects of mortality salience on reactions to those who confirm or violate cultural values. Journal of Personality and Social Psychology, 58(2), 308–318. https://doi.org/10.1037/0022-3514.58.2.308
Henrich, J., Heine, S. J., & Norenzayan, A. (2010). The weirdest people in the world? Behavioral and Brain Sciences, 33(2-3), 61–83. https://doi.org/10.1017/s0140525x0999152x
Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
Klein, R. A., Ratliff, K. A., Vianello, M., Adams, R. B., Jr., Bahník, Š., Bernstein, M. J., … & Nosek, B. A. (2014). Investigating variation in replicability: A « Many Labs » replication project. Social Psychology, 45(3), 142–152. https://doi.org/10.5334/jop.ag
Klein, R. A., Vianello, M., Hasselman, F., Adams, B. G., Adams, R. B., Jr., Alper, S., … & Nosek, B. A. (2018). Many Labs 2: Investigating variation in replicability across samples and settings. Advances in Methods and Practices in Psychological Science, 1(4), 443–490. https://doi.org/10.1177/2515245918810225
Klein, R. A., Cook, C. L., Ebersole, C. R., Vitiello, C., Nosek, B. A., Chartier, C. R., … & Ratliff, K. A. (2022). Many Labs 4: Failure to replicate mortality salience effect with and without original author involvement. Collabra: Psychology, 8(1), Article 282. https://doi.org/10.1525/collabra.282
Moshontz, H., Campbell, L., Ebersole, C. R., IJzerman, H., Urry, H. L., Forscher, P. S., … & Chartier, C. R. (2018). The Psychological Science Accelerator: Advancing psychology through a distributed collaborative network. Advances in Methods and Practices in Psychological Science, 1(4), 501–515. https://doi.org/10.1177/2515245918797607
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), Article aac4716. https://doi.org/10.1126/science.aac4716
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). p-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534–547. https://doi.org/10.1037/a0033242
Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185(4157), 1124–1131. https://doi.org/10.1126/science.185.4157.1124
Vohs, K. D., Mead, N. L., & Goode, M. R. (2006). The psychological consequences of money. Science, 314(5802), 1154–1156. https://doi.org/10.1126/science.1132491
Wicherts, J. M., Veldkamp, C. L., Augusteijn, H. E., Bakker, M., van Aert, R. C., & van Assen, M. A. (2016). Degrees of freedom in planning, running, analyzing, and reporting psychological studies: A checklist to avoid p-hacking. Frontiers in Psychology, 7, Article 1832. https://doi.org/10.3389/fpsyg.2016.01832