Brian Nosek – 1971 à nos jours

Biographie

Au confluent de la psychologie expérimentale, des sciences computationnelles et de l’épistémologie contemporaine, peu de figures ont exercé une influence aussi structurante et perturbatrice sur l’écosystème de la recherche que Brian Nosek. Né au début des années 1970, ce chercheur américain s’est d’abord imposé sur le plan académique par ses travaux novateurs sur la cognition sociale implicite, participant activement à la mise au point et à la popularisation du célèbre Test d’Association Implicite (IAT). Cependant, si son nom demeure attaché aux protocoles d’exploration des biais inconscients, c’est avant tout son rôle d’architecte institutionnel et de théoricien de la réforme scientifique qui lui confère une place singulière dans l’histoire des idées du XXIe siècle. Face aux failles structurelles révélées par l’incapacité récurrente à reproduire des pans entiers de la littérature expérimentale, Nosek a métamorphosé une crise disciplinaire en un vaste chantier de rénovation méthodologique.

Fondateur du Center for Open Science (COS) et concepteur de l’infrastructure logicielle Open Science Framework (OSF), Brian Nosek incarne l’alliance féconde entre une critique épistémologique sans concession et un pragmatisme technologique résolu. Loin de s’enfermer dans un constat d’impuissance face aux dérives du modèle « publier ou périr », il a fédéré des centaines de chercheurs à l’échelle planétaire pour quantifier la robustesse des assertions scientifiques, introduisant des dispositifs devenus emblématiques à l’instar des pré-enregistrements systématiques, des rapports enregistrés (Registered Reports) et des directives de transparence éditoriale. Cette démarche a non seulement accéléré l’émergence de la métascience en tant que champ d’investigation autonome, mais elle a également redéfini les critères de légitimité de la preuve empirique bien au-delà de la psychologie, touchant la biomédecine, l’économie et les sciences politiques.

Cet article retrace de manière exhaustive la trajectoire intellectuelle, institutionnelle et philosophique de Brian Nosek depuis ses origines universitaires jusqu’à ses chantiers les plus contemporains. À travers l’analyse détaillée de ses contributions empiriques, de son diagnostic lucide de la crise de la reproductibilité et de sa théorie du changement culturel appliqué à la communauté des savants, il s’agira d’examiner comment un chercheur en sciences sociales a su réactiver l’idéal mertonien d’un savoir désintéressé, vérifiable et partagé, réconciliant ainsi les pratiques effectives des laboratoires avec les principes régulateurs de la démarche scientifique.

1. Introduction et trajectoire biographique initiale

1.1 Origines et premières influences intellectuelles

Brian Nosek naît en 1971 aux États-Unis, s’éveillant aux sciences dans un contexte où les sciences cognitives entament une mutation décisive sous l’impulsion de l’informatique naissante et des neurosciences. Dès ses premières années universitaires à l’Université de Californie à San Diego (UCSD), il fait preuve d’une curiosité intellectuelle hybride qui refuse le cloisonnement disciplinaire. Il choisit ainsi d’effectuer un double cursus de premier cycle en psychologie et en informatique, un agencement alors relativement précurseur. À l’UCSD, pôle d’avant-garde intellectuelle imprégné par le connexionnisme, le computationnalisme et la philosophie de l’esprit portée par des penseurs comme Paul et Patricia Churchland, Nosek acquiert une rigueur logique forgée par l’algorithmique tout en se passionnant pour les mystères de l’architecture mentale humaine.

Cette double formation conditionne fondamentalement son regard sur l’expérimentation comportementale. Alors que l’informatique lui impose une discipline d’exécution sans faille — où la moindre faille dans la syntaxe ou la structure logique compromet l’intégrité du système tout entier —, la psychologie lui présente un objet d’étude infiniment plus mouvant, saturé de bruit statistique et d’approximations conceptuelles. C’est précisément dans cette tension que germe son intérêt durable pour les mécanismes cognitifs non conscients. Nosek s’interroge : comment soumettre des dynamiques mentales échappant à la conscience réflexive à des protocoles de mesure aussi exacts, traçables et réplicables qu’un programme informatique ?

L’articulation entre modélisation computationnelle et observation empirique devient le fil conducteur de sa jeunesse académique. Nosek perçoit très tôt que l’accès aux représentations cognitives latentes requiert des outils d’enregistrement chronométrique d’une précision millimétrique, capables d’isoler des temps de réaction différentiels. En appréhendant le cerveau humain non pas comme un oracle capable d’introspection fiable, mais comme un système de traitement de l’information traversé par des routines automatisées, il forge les prémisses méthodologiques qui guideront ses futures contributions majeures au champ de la cognition sociale.

1.2 Le parcours doctoral à l’Université Yale

À la fin des années 1990, Brian Nosek rejoint l’Université Yale pour y entreprendre ses études doctorales sous la direction conjointe de figures tutélaires de la psychologie sociale contemporaine, notamment Mahzarin Banaji et, par capillarité intellectuelle, Anthony Greenwald de l’Université de Washington. Cette période new-havenaise s’avère fondatrice. Yale est alors le foyer d’une effervescence théorique intense consacrée au dépassement des modèles traditionnels d’auto-évaluation. Les chercheurs constatent que les questionnaires classiques, fondés sur les déclarations explicites des participants, échouent systématiquement à saisir la persistance des préjugés, des stéréotypes et des attitudes automatiques en raison des biais d’auto-présentation et des limites intrinsèques de l’accès conscient.

La thèse de doctorat de Nosek s’attaque frontalement à cette énigme en disséquant la dynamique des évaluations automatiques et la structure des attitudes implicites. Dans un dialogue constant avec Banaji et Greenwald, le jeune chercheur adopte une posture radicalement critique vis-à-vis des postulats de l’introspection cartésienne qui sous-tendent encore une large part de la littérature psychologique. Pour lui, considérer que l’esprit humain possède une vue transparente sur ses propres déterminations motivationnelles constitue une illusion méthodologique majeure. Il consacre donc ses efforts empiriques à élaborer des paradigmes expérimentaux aptes à contourner les filtres délibératifs du moi conscient.

C’est également durant cette phase doctorale que la compétence informatique de Nosek opère une rupture paradigmatique. Constatant les limites spatiales et démographiques des laboratoires universitaires traditionnels — cantonnés aux cohortes restreintes d’étudiants de premier cycle —, il développe certaines des premières infrastructures logicielles appliquées à l’expérimentation psychologique interactive sur le World Wide Web naissant. Ce travail de pionnier en ingénierie de recherche logicielle ne se limite pas à automatiser le recueil de données : il jette les bases matérielles d’une délocalisation complète de l’expérimentation humaine, préfigurant les bouleversements méthodologiques du Web 2.0.

1.3 Installation institutionnelle à l’Université de Virginie

Après l’obtention de son doctorat en 2002, Brian Nosek est recruté par le réputé Département de psychologie de l’Université de Virginie (UVA) à Charlottesville, en tant que professeur adjoint (assistant professor). L’institution virginienne lui offre un environnement académique propice au développement d’un laboratoire de recherche de premier plan dédié à l’étude approfondie de la cognition sociale implicite. À UVA, Nosek ne tarde pas à s’illustrer par son dynamisme pédagogique et son leadership scientifique, gravissant avec constance les échelons professoraux jusqu’à obtenir la titularisation puis le rang de professeur titulaire.

Dans son laboratoire, il met en place des dispositifs d’expérimentation transversaux, combinant la psychologie sociale, la psychologie cognitive, les neurosciences et les statistiques computationnelles. Il supervise une multitude d’étudiants gradués et de chercheurs postdoctoraux, leur inculquant une exigence absolue de rigueur technique. Les publications se multiplient dans les revues les plus prestigieuses, abordant la genèse des attitudes idéologiques, la cristallisation des stéréotypes de genre dans les domaines scientifiques ou encore l’anatomie cognitive de la polarisation politique. Ses travaux révèlent une ambition constante : cartographier le paysage mental subconscient par des modélisations quantitatives sophistiquées.

Cependant, au fil des années passées à la tête de son laboratoire et au contact des comités de lecture, une mutation intellectuelle profonde s’opère chez Brian Nosek. Alors qu’il tente de répliquer certains protocoles établis pour asseoir de nouvelles hypothèses, il se heurte à des incohérences méthodologiques chroniques, des données introuvables et des protocoles expérimentaux décrits de façon lacunaire dans les articles publiés. Progressivement, son objet d’investigation principal se déplace. L’interrogation sur les biais cognitifs individuels se transforme en une interrogation méta-théorique sur les biais cognitifs des chercheurs eux-mêmes et les défaillances structurelles de l’épistémologie expérimentale contemporaine.

2. La révolution de la cognition implicite et le Project Implicit

2.1 Genèse et développement du Test d’Association Implicite (IAT)

L’histoire de la psychologie sociale de la fin du XXe siècle reste indissociable de la publication princeps de 1998 introduisant le Test d’Association Implicite, conçu initialement par Anthony Greenwald, Mahzarin Banaji et enrichi de façon déterminante par Brian Nosek. L’architecture de l’IAT repose sur un principe issu de la chronométrie mentale : mesurer le différentiel de temps de réaction requis par un individu pour catégoriser des paires de concepts interconnectés par rapport à des paires de concepts incongruents. L’hypothèse fondamentale postule que plus deux concepts sont associés de manière robuste dans le réseau sémantique d’un sujet, plus la réponse motrice est rapide lorsque ces concepts partagent une même touche de réponse informatique.

D’un point de vue théorique, cette métrique s’enracine dans les modèles à double processus (dual-process theories) de la cognition, distinguant les processus délibérés, contrôlés et conscients, des processus automatiques, irrépressibles et implicites. L’IAT offre pour la première fois un instrument standardisé capable de quantifier des associations mémorielles automatiques sans solliciter le jugement déclaratif du sujet. Le paradigme s’avère particulièrement révélateur lorsqu’il est appliqué aux stéréotypes sociaux, à l’ethnicité, au genre, à l’orientation sexuelle ou à l’affiliation politique, révélant un écart systématique et souvent troublant entre les valeurs ouvertement professées par les individus et leurs associations mentales automatiques.

Brian Nosek contribue massivement à l’extension conceptuelle et statistique du test. Il explore les conditions limites du paradigme, teste sa résistance aux tentatives de falsification stratégique par les sujets et affine la formalisation mathématique de la latence de réponse. Grâce à ces travaux empiriques, l’IAT s’émancipe de son statut de simple curiosité de laboratoire pour s’imposer comme l’un des dispositifs d’évaluation cognitive les plus débattus, explorés et répliqués de l’histoire moderne des sciences comportementales.

2.2 Création et portée planétaire de la plateforme Project Implicit

Convaincu que la validation d’un modèle psychologique requiert une diversification radicale des cohortes d’observation, Brian Nosek cofonde en 1998, aux côtés de Banaji et Greenwald, la plateforme collaborative Project Implicit. Hébergé initialement sur des serveurs universitaires pionniers, ce portail interactif permet à n’importe quel internaute à travers le globe de se soumettre gratuitement, de manière anonyme, à diverses déclinaisons de l’IAT. L’initiative rencontre un succès viral immédiat, cumulant des dizaines de millions de passations de tests au fil des deux décennies suivantes, un volume sans aucun équivalent dans les annales de la psychologie empirique.

Le rôle de Nosek dans cette entreprise s’avère absolument déterminant sur le plan architectural. Fort de son expertise informatique, il conçoit et maintient les infrastructures de collecte massive de données (big data comportementales), gérant les flux ininterrompus de latences chronométriques et garantissant l’intégrité de bases de données colossales. Cette démarche permet pour la première fois de dépasser le biais d’échantillonnage consubstantiel à la psychologie nord-américaine, traditionnellement limitée aux échantillons dits « WEIRD » (Western, Educated, Industrialized, Rich, Democratic) recrutés contre de modestes crédits académiques dans les amphithéâtres de psychologie.

Project Implicit devient dès lors un laboratoire à ciel ouvert d’une portée sociologique majeure. Les données anonymisées, mises à la disposition de la communauté académique, fournissent un matériau d’une richesse inouïe pour examiner comment les stéréotypes implicites varient selon les régions géographiques, les tranches d’âge, les événements socio-politiques (comme les élections présidentielles américaines) ou les politiques publiques locales. Par ce geste d’ouverture pionnier, Nosek préfigure déjà sa conviction profonde : la connaissance psychologique ne saurait demeurer l’apanage de micro-communautés closes, elle exige une infrastructure publique, collective et démocratisée.

2.3 Critiques méthodologiques et réponses empiriques autour de l’IAT

L’immense notoriété acquise par l’IAT et le Project Implicit ne tarde pas à susciter d’âpres controverses au sein de la communauté scientifique. Des critiques méthodologiques de premier ordre émergent, portant d’abord sur la validité prédictive du test : un score élevé d’association implicite entre une minorité ethnique et des concepts négatifs permet-il d’anticiper avec fiabilité un acte de discrimination individuel dans le monde réel ? Des méta-analyses conduites par des chercheurs critiques soulignent la faiblesse de ces corrélations comportementales directes, incitant à la prudence face à l’utilisation du test dans des contextes judiciaires ou de recrutement professionnel.

D’autres objections ciblent la fidélité test-retest de l’instrument, relativement modeste comparée aux standards de la psychométrie classique, ainsi que la vulnérabilité du score brut aux artefacts chronométriques individuels, tels que la vitesse motrice globale ou l’âge des participants. Face à ces contestations légitimes, Brian Nosek fait preuve d’une rigueur empirique exemplaire. Loin d’adopter une posture défensive, il mène, en collaboration avec Anthony Greenwald et Mahzarin Banaji en 2003, une étude psychométrique majeure destinée à refondre intégralement l’algorithme de traitement des données de l’IAT. Cette publication séminale introduit le fameux « D-score », une mesure standardisée d’amplitude de l’effet inspirée du d de Cohen, corrigeant mathématiquement les biais de latence générale et optimisant considérablement la stabilité de la mesure.

Sur le plan épistémologique, Nosek s’attache à clarifier un malentendu récurrent : l’IAT n’a jamais été conçu comme un détecteur infaillible de racisme ou de sexisme individuel sous forme de trait immuable de personnalité. Il s’agit d’un instrument mesurant la force d’associations sémantiques contextuelles, sédimentées dans la mémoire par l’exposition continue à un environnement culturel saturé de stéréotypes. Cette distinction fondamentale entre l’association mentale momentanée et la conviction morale délibérée illustre la maturité méthodologique de Nosek, qui refuse de céder aux simplifications médiatiques pour préserver la complexité du réel cognitif.

3. Prémices d’une remise en question : Le diagnostic de la crise de la reproductibilité

3.1 Constats empiriques sur les pratiques de recherche douteuses

Au tournant des années 2010, alors que ses propres travaux sur l’IAT continuent de prospérer, Brian Nosek oriente une part croissante de son attention vers une pathologie structurelle affectant l’ensemble de la psychologie empirique. L’accumulation d’études publiées aux effets sensationnels mais impossibles à reproduire dans son laboratoire et chez ses confrères déclenche un processus de lucidité méthodologique impitoyable. Nosek commence à formaliser ce que les méthodologistes qualifieront bientôt de « pratiques de recherche douteuses » (Questionable Research Practices ou QRPs), un spectre de compromis épistémologiques situés à la frontière floue entre la maladresse statistique et la malhonnêteté délibérée.

Au cœur de ce diagnostic figure le p-hacking, c’est-à-dire l’exploitation opportuniste de la flexibilité des analyses pour faire passer artificiellement le seuil de significativité statistique sous la barre canonique de p < 0,05. Nosek identifie l’arrêt arbitraire de la collecte de données dès l’obtention du résultat souhaité, l’exclusion post-hoc de participants anormaux sans critères préalables, le test de multiples variables dépendantes pour ne rapporter que celle qui fonctionne, et le recours systématique au HARKing (Hypothesizing After the Results are Known), formalisé par Norbert Kerr en 1998, consistant à réécrire rétroactivement l’introduction d’un article pour faire passer une découverte fortuite pour la confirmation triomphale d’une hypothèse a priori.

Ces pratiques ubiquitaires, combinées à une faiblesse chronique de la puissance statistique des échantillons étudiés (souvent limités à une vingtaine de sujets par condition expérimentale), aboutissent à une prolifération massive de faux positifs dans la littérature savante. Nosek comprend que le problème n’est pas anecdotique : la quasi-totalité des paradigmes expérimentaux dominants repose sur un château de cartes méthodologique, où la sélection aveugle de résultats statistiquement improbables fausse l’ensemble de l’édifice théorique.

3.2 L’impact des dérives structurelles et de l’incitation à la publication

Pour Brian Nosek, imputer cette déliquescence à la seule turpitude morale individuelle de quelques chercheurs constituerait une erreur sociologique majeure. Dans un article programmatique d’une remarquable lucidité coécrit avec Jeffrey Spies et Matt Motyl en 2012, intitulé Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability, il pose un diagnostic sans fard sur la contradiction systémique structurant le monde académique contemporain. Il y démontre que le système institutionnel récompense ce qui est « publiable » plutôt que ce qui est « vrai ».

Le paradigme délétère du « publier ou périr » (publish or perish), érigé en norme d’évaluation pour l’obtention des financements, l’embauche professorale et la titularisation, place les chercheurs dans une situation de conflit d’intérêts permanent. D’un côté, l’idéal scientifique exige le désintéressement, le doute méthodique, le partage absolu des résultats négatifs et la validation croisée ; de l’autre côté, le marché du travail universitaire récompense la productivité exponentielle, la nouveauté spectaculaire et la linéarité narrative sans accroc. Les revues scientifiques les plus cotées refusent quasi systématiquement les réplications directes et les résultats nuls, qualifiés de triviaux ou d’ennuyeux.

Nosek modélise ce phénomène sous l’angle de l’économie comportementale et de la théorie des jeux. Le chercheur individuel qui tenterait d’adopter une transparence absolue — en publiant tous ses échecs, en maximisant la taille de ses échantillons au prix d’un nombre restreint de publications et en s’interdisant tout ajustement statistique opportuniste — se verrait rapidement éliminé de la compétition académique face à des pairs moins scrupuleux bénéficiant de la complaisance du système éditorial. Cette sélection adverse institutionnelle détruit la valeur épistémique de la production scientifique.

3.3 L’onde de choc des années 2011-2012 en psychologie sociale

Ce diagnostic théorique trouve une illustration tragique et irréfutable lors de la séquence critique des années 2011-2012, période que les historiens des sciences retiendront comme le point de bascule de la discipline. Le premier séisme éclate à l’automne 2011 avec la révélation de la fraude massive perpétrée par le psychologue social néerlandais Diederik Stapel. Ce chercheur renommé avait fabriqué de toutes pièces des dizaines de bases de données publiées dans des revues d’élite mondiale, sans qu’aucun relecteur par les pairs n’ait jamais exigé de vérifier l’accès aux données brutes. L’affaire Stapel révèle l’absence absolue de mécanismes de contrôle élémentaires dans l’évaluation scientifique.

Presque simultanément, le très respecté psychologue Daryl Bem publie dans le navire amiral de la psychologie sociale, le Journal of Personality and Social Psychology, un article en apparence irréprochable sur le plan méthodologique standard affirmant prouver l’existence de phénomènes de précognition (la capacité à ressentir des événements futurs avant qu’ils ne surviennent). L’utilisation scrupuleuse des canons méthodologiques habituels pour aboutir à une conclusion violant les lois fondamentales de la physique confronte la discipline à un dilemme incontournable : soit la précognition existe, soit les normes méthodologiques acceptées en psychologie sont intrinsèquement défectueuses et permettent d’accréditer n’importe quelle proposition aberrante.

Le coup de grâce théorique est asséné la même année par Joseph Simmons, Leif Nelson et Uri Simonsohn dans leur article classique False-Positive Psychology. À travers des simulations statistiques et une expérience absurde (démontrant qu’écouter une chanson des Beatles réduirait l’âge chronologique des participants), les auteurs prouvent mathématiquement que la flexibilité non divulguée dans le traitement des données permet de faire passer le taux réel de faux positifs d’une étude de 5 % à plus de 60 %. Face à cette onde de choc dévastatrice, Brian Nosek refuse le désespoir corporatiste ou la tentation du déni institutionnel : il décide de devenir l’architecte de la refondation empirique de son champ disciplinaire.

4. La fondation du Center for Open Science et de l’Open Science Framework

4.1 Genèse institutionnelle et vision stratégique du Center for Open Science

Face à la défaillance systémique qu’il vient de documenter, Brian Nosek comprend rapidement qu’une suite d’articles dénonciateurs ou de réprimandes déontologiques ne suffira pas à modifier la trajectoire de la science mondiale. En 2013, il s’associe à son ancien étudiant de doctorat en psychologie et spécialiste en technologies de l’information, Jeffrey Spies, pour fonder une entité nouvelle : le Center for Open Science (COS), installé à Charlottesville, en Virginie. Dès sa création, l’organisme prend la forme juridique d’une organisation à but non lucratif régie par l’article 501(c)(3) du code fiscal américain, une condition indispensable aux yeux de Nosek pour sanctuariser l’indépendance de sa mission vis-à-vis des intérêts mercantiles des grands éditeurs académiques privés.

Pour matérialiser cette vision ambitieuse, Nosek parvient à convaincre des bailleurs de fonds philanthropiques visionnaires, au premier rang desquels figure la Laura and John Arnold Foundation (devenue Arnold Ventures), qui injecte des millions de dollars dans l’amorçage du projet. D’autres soutiens de poids, comme la Fondation John Templeton, la Fondation MacArthur et les National Science Foundation (NSF) américaines, viennent abonder ce capital initial. Cette assise financière considérable confère au COS une force de frappe technologique et organisationnelle inédite : Nosek recrute des dizaines de développeurs de logiciels, de spécialistes des données et de coordinateurs scientifiques pour transformer la théorie de la science ouverte en réalité d’ingénierie concrète.

La vision stratégique du COS formulée par Nosek est limpide : combler le fossé dramatique existant entre les valeurs scientifiques proclamées par les chercheurs (l’universalisme, le scepticisme organisé, le communalisme et le désintéressement théorisés par le sociologue Robert K. Merton) et leurs pratiques réelles au quotidien. Le but ultime n’est pas de punir les individus, mais d’éradiquer les structures d’incitation perverses en fournissant les outils gratuits, ouverts et pérennes permettant de faire coïncider la rigueur morale et la réussite professionnelle.

4.2 L’Open Science Framework (OSF) : Architecture d’une transparence radicale

Le vaisseau amiral technologique conçu sous l’égide de Brian Nosek est l’Open Science Framework (OSF), une plateforme logicielle libre en nuage (cloud) pensée pour accompagner l’intégralité du cycle de vie d’un projet de recherche, depuis l’ébauche des hypothèses initiales jusqu’à la publication finale. Conscient des frictions cognitives et logistiques qui dissuadent les scientifiques de partager leurs travaux, Nosek supervise la conception d’un environnement intuitif capable de s’interfacer de manière transparente avec les outils quotidiens des chercheurs, tels que GitHub, Google Drive, Dropbox, Mendeley ou Zotero.

L’OSF offre une traçabilité intégrale de l’évolution des projets. Grâce à un système sophistiqué de gestion des versions hérité du développement logiciel moderne, chaque modification apportée à un protocole, chaque script d’analyse statistique (sous R, Python, SPSS) et chaque matrice de données brutes est horodatée de manière cryptographique et conservée de façon immuable. Les chercheurs peuvent ainsi travailler dans des espaces privés hautement collaboratifs, puis, par un simple clic, rendre publics tout ou partie de leurs répertoires de recherche sous licence ouverte, attribuant instantanément des identifiants d’objets numériques pérennes (DOI).

En standardisant les protocoles d’accessibilité publique des données scientifiques (les fameuses données ouvertes ou Open Data), l’OSF supprime l’excuse séculaire du disque dur égaré ou du format de fichier obsolète lors des demandes de réanalyse indépendante. Brian Nosek conçoit ainsi l’OSF non pas comme une contrainte bureaucratique imposée d’en haut, mais comme un laboratoire numérique public, un bien commun d’infrastructure intellectuelle destiné à préserver la mémoire méthodologique de la science pour les générations futures.

4.3 Théorie du changement culturel selon Brian Nosek

L’une des contributions conceptuelles les plus remarquables de Brian Nosek réside dans sa théorisation de la transformation systémique des communautés humaines, qu’il formalise sous la forme d’un modèle pyramidal désormais canonique : la théorie du changement culturel. Tirant parti de son expertise en psychologie sociale et cognitive, il refuse l’illusion réformiste naïve selon laquelle il suffirait de démontrer logiquement l’intérêt d’une pratique pour qu’elle soit adoptée. Pour qu’une communauté scientifique modifie durablement ses habitudes de travail, cinq niveaux interconnectés doivent impérativement être consolidés de la base vers le sommet :

• Rendre possible (Infrastructure) : Développer des outils informatiques gratuits, fiables et intuitifs (rôle assuré par l’OSF) sans lesquels aucune pratique ouverte n’est matériellement envisageable.
• Rendre facile (Expérience utilisateur) : Minimiser les frictions ergonomiques pour que l’archivage, la documentation et le partage n’exigent pas une expertise technique hors de portée de l’utilisateur moyen.
• Rendre normatif (Communautés) : Rendre visibles les comportements vertueux au sein des réseaux de pairs, mobiliser les sociétés savantes et organiser des collectifs de chercheurs pionniers afin que la science ouverte devienne le comportement attendu et valorisé par le groupe social de référence.
• Rendre gratifiant (Incitations) : Récompenser symboliquement et matériellement la transparence, par exemple au travers de badges d’excellence sur les articles, de prix dédiés et de citations d’ensembles de données partagées.
• Rendre obligatoire (Politiques) : Enfin, et seulement une fois les quatre premiers paliers stabilisés, instaurer des obligations contractuelles par le truchement des comités de rédaction des revues, des agences de financement de la recherche et des commissions de recrutement universitaire.

Cette approche graduée et non punitive constitue la clé de voûte de la philosophie d’action de Nosek. En modifiant « l’architecture de choix » (selon le concept popularisé par Richard Thaler) qui conditionne l’activité quotidienne du savant, il parvient à désamorcer les réflexes défensifs d’une communauté professionnelle traditionnellement jalouse de son autonomie corporatiste.

5. Le Reproducibility Project: Psychology (RP:P)

5.1 Conception méthodologique et ampleur de l’entreprise collaborative

Déterminé à ne pas laisser le débat sur la fiabilité de la psychologie dans le registre de la pure spéculation rhétorique, Brian Nosek orchestre à partir de 2011 l’une des entreprises collaboratives les plus ambitieuses de l’histoire des sciences sociales : le Reproducibility Project: Psychology (RP:P). Coordonnant les efforts de plus de 270 chercheurs répartis dans des laboratoires du monde entier réunis sous la bannière informelle de l’Open Science Collaboration, Nosek engage une opération d’audit empirique sans précédent.

Le protocole méthodologique du projet brille par sa rigueur et sa transparence irréprochables. Afin d’éviter tout soupçon de sélection tendancieuse d’études particulièrement douteuses ou fragiles, l’équipe établit un critère d’échantillonnage systématique et aveugle : reproduire à l’identique 100 articles expérimentaux tirés d’éditions parues au cours de l’année 2008 dans trois des revues les plus prestigieuses et influentes du champ mondial : le Journal of Personality and Social Psychology (JPSP), le Journal of Experimental Psychology: Learning, Memory, and Cognition (JEP:LMC), et la revue généraliste Psychological Science.

Chaque réplication directe fait l’objet d’un pré-enregistrement minutieux et contraignant. Dans la mesure du possible, les équipes de réplicateurs prennent contact avec les auteurs des articles princeps afin de se faire transmettre les matériaux originaux complets (stimuli, scripts de présentation, consignes verbales) et de soumettre le plan de réanalyse à leur validation formelle avant le début de toute collecte. Les échantillons de participants recrutés sont systématiquement calculés pour offrir une puissance statistique très élevée (souvent supérieure à 90 % ou 95 %), minimisant mathématiquement le risque de faux négatif. Chaque étape, chaque interaction et chaque donnée brute est simultanément déposée en accès libre sur l’OSF.

5.2 Publication des résultats dans Science (2015) et onde de choc mondiale

Le 28 août 2015, les conclusions du consortium sont publiées dans la prestigieuse revue Science sous le titre sobre : Estimating the reproducibility of psychological science. L’onde de choc déferle immédiatement sur l’ensemble de la communauté scientifique internationale et fait la une de la presse généraliste mondiale, du New York Times au journal Le Monde. Les chiffres avancés par Nosek et ses coauteurs sont en effet dévastateurs pour l’autorité épistémique de la discipline.

Alors que 97 % des 100 études originales de l’échantillon affichaient des résultats statistiquement significatifs (p < 0,05), seules 36 % des réplications parviennent à franchir ce même seuil de significativité statistique selon le critère conventionnel le plus strict, et 47 % selon des critères de compatibilité d’intervalle de confiance plus souples. Plus alarmant encore : l’ampleur moyenne des tailles d’effet (effect size) observées au sein des réplications s’avère réduite de moitié par rapport aux grandeurs rapportées dans les publications initiales (la taille moyenne de l’effet passant d’un coefficient r de 0,403 à 0,197).

L’analyse différentielle menée par Nosek révèle en outre une hétérogénéité disciplinaire marquée : les protocoles relevant de la psychologie cognitive résistent nettement mieux, avec un taux de réplication atteignant environ 50 %, tandis que les expériences de psychologie sociale s’effondrent à un score catastrophique de seulement 25 % de réplicabilité. L’article de 2015 ne se contente pas de prouver empiriquement la réalité de la « crise de la reproductibilité » : il la chiffre avec une clarté mathématique implacable, forçant les académies du monde entier à regarder en face l’ampleur du désastre épistémologique.

5.3 Réceptions, critiques et débats épistémologiques subséquents

La publication du RP:P déclenche une controverse doctrinale féroce. Pour de nombreux pontes de la discipline, le choc est ressenti comme un attentat contre la respectabilité même de la profession. En 2016, une contre-offensive majeure est publiée dans Science par une équipe de psychologues renommés de Harvard et de Virginie, emmenée par Daniel Gilbert, Gary King, Stephen Pettigrew et Timothy Wilson. Ces auteurs affirment que l’analyse de Nosek et du consortium est gravement viciée par des erreurs statistiques et par une méconnaissance de la sensibilité contextuelle des protocoles psychologiques. Selon Gilbert et ses collègues, un protocole testé auprès d’étudiants californiens en 2008 ne saurait avoir la même signification symbolique s’il est reproduit auprès d’étudiants néerlandais en 2014, ce qui expliquerait la disparition des effets sans remettre en cause la vérité des découvertes initiales.

La réponse formulée par Brian Nosek et l’Open Science Collaboration est un chef-d’œuvre de concision analytique et de courtoisie académique dénuée de complaisance. Démontrant que les modélisations alternatives proposées par Gilbert reposent sur des hypothèses statistiques optimistes insoutenables et une surinterprétation de la variance d’erreur, Nosek réaffirme la solidité des constats du RP:P. Il souligne que la notion de « fidélité contextuelle » invoquée a posteriori pour excuser un échec de réplication relève bien souvent de l’hypothèse ad hoc non réfutable au sens de Karl Popper.

Sur le plan épistémologique, Nosek prend soin d’introduire une nuance philosophique capitale : un échec de réplication directe ne prouve pas formellement que l’effet théorique original est une illusion complète, tout comme une réplication réussie ne garantit pas la validité finale d’une théorie générale. Ce qu’une non-réplication démontre de manière infaillible, c’est l’incertitude radicale qui grève toute observation scientifique isolée. L’article de 2015 brise définitivement l’illusion d’infaillibilité du manuscrit unique publié, instaurant la reproductibilité comme l’étalon d’or absolu de la crédibilité scientifique.

6. Innovations méthodologiques : Pré-enregistrement et Registered Reports

6.1 Le concept de pré-enregistrement : Séparer l’exploratoire du confirmatoire

Pour neutraliser à la racine le p-hacking et le HARKing sans pour autant brider la liberté intellectuelle des chercheurs, Brian Nosek se fait l’apôtre inlassable d’un concept révolutionnaire dans son application universelle : le pré-enregistrement (preregistration). Le principe sous-jacent est d’une simplicité désarmante, bien qu’il bouleverse des décennies d’habitudes informelles de laboratoire : il exige qu’un chercheur consigne publiquement ses hypothèses de travail, son protocole d’échantillonnage expérimental, la définition précise de ses variables dépendantes et l’ensemble de son plan d’analyses statistiques dans un registre public en ligne inaltérable et horodaté (tel que l’OSF), avant même d’entamer le moindre recueil de données sur le terrain ou en laboratoire.

Cette dissociation chronologique stricte permet de restaurer la frontière épistémologique fondamentale, théorisée de longue date par la philosophie des sciences mais totalement brouillée dans les pratiques réelles, entre la recherche exploratoire et la recherche confirmatoire. Dans l’approche confirmatoire, le chercheur teste rigoureusement une prédiction a priori ; la valeur probabiliste (la p-value) conserve alors sa validité mathématique intrinsèque en tant qu’indice de réfutation d’une hypothèse nulle. Dans l’approche exploratoire — dont Nosek rappelle constamment la valeur heuristique vitale pour l’émergence d’idées neuves —, le chercheur scrute des matrices de données pour générer des conjectures ; mais présenter a posteriori ces explorations fortuites comme des confirmations d’hypothèses relève de l’illusion statistique la plus trompeuse.

Afin de transformer cette idée théorique en mouvement de masse, le Center for Open Science lance en 2016 le Preregistration Challenge. Doté d’un fonds philanthropique substantiel, ce concours alloue une récompense financière directe de 1 000 dollars à chacun des 1 000 premiers chercheurs qui publient un article empirique rigoureusement pré-enregistré dans une revue à comité de lecture participante. Cette incitation matérielle ingénieuse attire des milliers de jeunes doctorants et de chercheurs confirmés, installant le pré-enregistrement comme une norme de distinction et d’excellence méthodologique à l’échelle internationale.

6.2 Le format révolutionnaire des Registered Reports

Bien que le pré-enregistrement constitue une avancée majeure, Brian Nosek constate qu’il n’empêche pas totalement le biais de sélection éditorial lors de l’évaluation finale d’un manuscrit : une revue peut toujours rejeter un article pré-enregistré si les résultats finaux se révèlent être des résultats nuls et contredisent le consensus établi. Pour résoudre définitivement cette impasse, Nosek soutient ardemment et popularise, aux côtés du neuroscientifique cognitif Chris Chambers, une innovation éditoriale encore plus radicale : le format des Registered Reports (rapports enregistrés).

Le modèle des Registered Reports réorganise de fond en comble le processus d’évaluation par les pairs en le scindant en deux étapes distinctes (two-stage peer review) :

• Étape 1 (Stage 1 – Avant collecte des données) : Le chercheur soumet à la revue un manuscrit composé exclusivement de l’introduction théorique, des hypothèses formelles, des justifications de la taille de l’échantillon (analyses de puissance a priori) et du protocole expérimental et statistique minutieux. Les relecteurs évaluent la pertinence conceptuelle de la question de recherche et l’excellence méthodologique du dispositif. Si le projet satisfait à ces exigences, la revue accorde une acceptation de principe inconditionnelle (IPA – In-Principle Acceptance).
• Étape 2 (Stage 2 – Après collecte et analyse des données) : Une fois l’étude achevée, le chercheur soumet le manuscrit définitif intégrant la section des résultats et la discussion. À ce stade, les relecteurs vérifient uniquement que le protocole préalablement approuvé a été rigoureusement respecté et que les interprétations des données sont conformes aux analyses programmées. La nature, la direction ou la significativité statistique des résultats empiriques obtenus n’entrent strictement plus en ligne de compte pour la publication de l’article.

Ce basculement institutionnel neutralise intégralement l’influence néfaste des biais de publication. L’évaluation scientifique cesse de valoriser la « belle histoire » fabriquée de bric et de broc statistique pour se concentrer sur l’importance de la question posée et la robustesse des méthodes déployées pour y répondre. Sous le plaidoyer inlassable du COS, ce format novateur, marginal à ses débuts en 2013, est aujourd’hui adopté par plus de 300 revues académiques de premier rang publiées par des maisons majeures comme Springer Nature, Elsevier, Wiley ou la Public Library of Science (PLOS).

6.3 Évaluation empirique des retombées de ces nouveaux formats

Fidèle à sa posture méta-scientifique, Brian Nosek applique à ses propres innovations la rigueur évaluative qu’il exige des autres. Dès la fin des années 2010, il participe à plusieurs méta-analyses visant à mesurer empiriquement l’impact réel des Registered Reports sur la qualité et l’intégrité de la littérature scientifique. L’une des études les plus marquantes, menée notamment par Anne Scheel et ses collaborateurs en 2021 en liaison avec les travaux du COS, compare systématiquement les cohortes d’articles traditionnels en psychologie avec des cohortes de Registered Reports récents.

Les conclusions quantitatives sont saisissantes. Alors que la littérature psychologique conventionnelle rapporte entre 90 % et 95 % de résultats statistiquement significatifs confirmant les hypothèses initiales des auteurs — un pourcentage statistiquement aberrant reflétant un biais de publication massif —, le taux d’hypothèses confirmées au sein des Registered Reports s’effondre pour atteindre environ 40 % à 45 %. Plus de la moitié des articles publiés sous ce nouveau format rapportent en réalité des résultats nuls ou non concluants. Cette bascule spectaculaire démontre sans équivoque que les Registered Reports assainissent le paysage bibliographique en restituant au monde académique une image fidèle de la réalité empirique du vivant et du comportement.

De surcroît, des évaluations croisées en aveugle révèlent que les Registered Reports bénéficient de scores de qualité méthodologique, de puissance statistique et de rigueur rédactionnelle significativement supérieurs à ceux des articles traditionnels de revues comparables. Pour Nosek, ce constat apporte la démonstration empirique tant attendue : lorsque les chercheurs sont libérés de la terreur de voir leurs résultats nuls rejetés par des éditeurs obsédés par le sensationnalisme, ils réinvestissent massivement leur énergie dans la solidité méthodologique, éprouvant un profond sentiment de libération intellectuelle.

7. L’émergence de la métascience comme discipline autonome

7.1 Définition et conceptualisation de la recherche sur la recherche

L’une des transformations les plus pérennes orchestrées par Brian Nosek réside dans l’institutionnalisation de la métascience, souvent définie comme « la recherche sur la recherche » ou l’évaluation empirique des pratiques scientifiques. Si des pionniers isolés comme le médecin et épidémiologiste de Stanford John Ioannidis avaient posé dès 2005 les bases théoriques de ce constat (avec son célèbre manifeste Why Most Published Research Findings Are False), Nosek transforme cette sensibilité critique en un domaine académique structuré, doté de financements, de chaires universitaires, de cursus de formation et de revues spécialisées.

La métascience telle que la conceptualise Nosek opère au croisement fécond de l’épistémologie analytique, de la sociologie de la connaissance mertonienne, des mathématiques appliquées et de la psychologie cognitive. Elle part d’un postulat simple mais révolutionnaire : l’activité du scientifique au laboratoire n’est pas suspendue dans un éther d’idéalisme transcendant ; elle constitue un comportement humain soumis à des contraintes cognitives, des biais heuristiques, des déterminations économiques et des pressions sociologiques. Pour comprendre comment la science produit de l’erreur ou de la vérité, il convient d’appliquer les outils de la méthode scientifique à la pratique scientifique elle-même.

Pour souder cette communauté transdisciplinaire émergente, Nosek et le Center for Open Science inaugurent à partir de 2019 les prestigieuses conférences biennales Metascience (organisées successivement à Stanford, Washington et en format virtuel mondial). Ces sommets rassemblent des informaticiens, des économistes, des bibliométriciens, des éditeurs académiques et des décideurs politiques venus débattre de la modélisation de l’évaluation par les pairs, de l’optimisation des incitations ou de la cartographie des biais statistiques. Sous le magistère de Nosek, la métascience s’affirme comme la conscience réflexive de la science moderne.

7.2 Le projet Many Labs et la variabilité inter-laboratoires

Poursuivant sa volonté de tester la solidité de la connaissance psychologique à une échelle industrielle, Brian Nosek conçoit et coordonne, aux côtés de chercheurs comme Richard Klein, la vaste saga empirique des projets Many Labs (Many Labs 1 en 2014, Many Labs 2 en 2018, et Many Labs 3 en 2016). Ce paradigme collaboratif pousse l’exigence de réplication à un degré de sophistication inédit : au lieu de confier la réplication d’une étude à un seul laboratoire indépendant, le protocole Many Labs fait exécuter simultanément le même protocole standardisé par des dizaines, voire plus d’une centaine de laboratoires universitaires répartis à travers des continents, des langues et des cultures différentes.

Le projet Many Labs 1 teste ainsi 13 effets psychologiques classiques auprès de 36 laboratoires indépendants totalisant plus de 6 000 participants. Les résultats offrent une clarification méthodologique monumentale. Pour la première fois, la communauté dispose de données massives permettant d’évaluer statistiquement l’hétérogénéité des effets à travers les sites. Les conclusions coordonnées par Nosek bousculent les dogmes : les effets robustes (tels que l’effet d’ancrage de Tversky et Kahneman) se répliquent avec une stabilité insolente dans la quasi-totalité des laboratoires de la planète, indépendamment des variations de contexte local ; à l’inverse, les effets instables ou douteux ne se répliquent dans aucun laboratoire, qu’il soit situé aux États-Unis, en Europe ou en Asie.

La publication monumentale de Many Labs 2 en 2018 confirme ce phénomène sur un échantillon encore plus vaste de 28 effets testés sur 15 000 participants dans 125 laboratoires issus de 36 pays. Les analyses statistiques démontrent sans ambiguïté que la variabilité des résultats d’une expérience psychologique dépend infiniment plus de la solidité intrinsèque de l’effet théorique étudié que des idiosyncrasies culturelles ou géographiques des laboratoires d’accueil. Par cette prouesse d’ingénierie collaborative globale, Nosek démontre la faisabilité d’une science véritablement unifiée et décentralisée.

7.3 Modélisation des marchés de prédiction scientifique

Parallèlement aux campagnes empiriques de réplication directe, Brian Nosek explore des mécanismes prédictifs sophistiqués inspirés de la finance de marché et de l’intelligence collective pour évaluer la crédibilité des publications scientifiques. En collaboration étroite avec des économistes comportementaux renommés tels qu’Anna Dreber, Magnus Johannesson et Colin Camerer, il met en place des marchés de prédiction scientifique (scientific prediction markets).

Le protocole consiste à attribuer des fonds virtuels ou monétaires à des cohortes de chercheurs indépendants pour leur permettre de parier sur la probabilité qu’une série d’articles expérimentaux sélectionnés se réplique avec succès dans le cadre de projets d’audit comme le RP:P ou le projet de réplication en sciences sociales (Social Sciences Replication Project, Camerer, Nosek et al., 2018). Les résultats de ces expérimentations métascientifiques sont édifiants : la valeur de marché des contrats financiers spéculatifs anticipe avec une précision statistique remarquable (atteignant souvent plus de 70 % à 80 % de convergence) l’issue réelle des réplications expérimentales menées ultérieurement sur le terrain.

Cette convergence démontre que la communauté scientifique possède déjà, par son intuition collective et son analyse critique des méthodes, une lucidité lucide sur la fragilité des études publiées. Les pairs « savent » intuitivement quelles affirmations relèvent de l’artifice statistique ou du storytelling éditorial. Pour Nosek, ces marchés de prédiction ouvrent des perspectives d’application inédites : ils suggèrent qu’il est possible de mobiliser des mécanismes d’intelligence collective pour filtrer la littérature, allouer plus efficacement les financements de recherche publics et cibler en priorité les études requérant une vérification empirique immédiate.

8. Politiques éditoriales, directives TOP et transformation institutionnelle

8.1 Les directives TOP (Transparency and Openness Promotion)

Conscient que les réformes méthodologiques ne peuvent s’enraciner durablement sans une refonte en profondeur des exigences formulées par les revues savantes, Brian Nosek prend l’initiative en 2015 de rassembler un consortium de scientifiques de renom, de représentants d’organismes de financement et d’éditeurs en chef pour concevoir les directives TOP (Transparency and Openness Promotion). Publiées solennellement dans Science, ces directives constituent la première charte internationale standardisant les exigences de transparence applicables aux politiques éditoriales académiques.

Le coup de génie conceptuel de Nosek réside dans la modularité et la progressivité de ces directives. Plutôt que d’imposer un carcan punitif unique et inapplicable d’emblée à toutes les disciplines, les directives TOP se déclinent en huit normes fondamentales (citabilité des données, transparence des données analytiques, transparence du code informatique, partage du matériel de conception, transparence des protocoles expérimentaux, pré-enregistrement des études, pré-enregistrement des plans d’analyse, et engagement à la réplication), chacune étant modulée selon trois niveaux d’exigence croissants :

• Niveau 1 (Divulgation) : L’article doit explicitement mentionner si les données, le code ou les protocoles sont disponibles et, le cas échéant, où et comment y accéder.
• Niveau 2 (Obligation) : Les données, codes informatiques et matériels de recherche doivent obligatoirement être déposés dans un entrepôt pérenne et public sous licence ouverte, sauf exception éthique ou légale motivée.
• Niveau 3 (Vérification indépendante) : La revue soumet les scripts et les données à un contrôle de reproductibilité computationnelle par un auditeur indépendant avant d’accorder le bon à tirer définitif du manuscrit.

Cette architecture en tiroirs permet à chaque comité de rédaction d’adopter les directives à son rythme tout en disposant d’un horizon d’amélioration balisé. Aujourd’hui, plus de 5 000 revues académiques et sociétés savantes à travers la planète sont signataires formelles des directives TOP, transformant ce texte en la norme éditoriale dominante du XXIe siècle.

8.2 L’évolution des exigences des organismes subventionnaires

L’action de Brian Nosek ne s’arrête pas aux frontières des comités de lecture des revues privées ; elle s’exerce avec la même intensité auprès des grands bailleurs de fonds de la recherche publique et philanthropique. Nosek mène un travail de plaidoyer infatigable auprès d’institutions majeures telles que les National Institutes of Health (NIH), la National Science Foundation (NSF) aux États-Unis, le Conseil européen de la recherche (ERC) et le Wellcome Trust au Royaume-Uni. Son argument est aussi pragmatique qu’implacable : financer des recherches closes dont les données sont perdues et les résultats non réplicables constitue un gaspillage intolérable de deniers publics et de ressources philanthropiques.

Grâce à ses interventions répétées lors d’auditions parlementaires, de comités d’experts et de sommets internationaux, Nosek contribue activement à infléchir les politiques de subventionnement. Sous son impulsion, les agences commencent à conditionner l’octroi de bourses de recherche pluriannuelles à la fourniture de plans de gestion des données (Data Management Plans) rigoureux exigeant l’archivage en accès ouvert (selon les principes FAIR : Facile à trouver, Accessible, Interopérable, Réutilisable). De même, l’évaluation des demandes de financement intègre de plus en plus la prise en compte de la rigueur méthodologique préalable des candidats plutôt que leur seul facteur d’impact bibliométrique.

Brian Nosek participe également aux groupes de travail mis en place par l’Organisation de coopération et de développement économiques (OCDE) et par l’UNESCO lors de la rédaction de ses recommandations historiques sur la science ouverte adoptées à l’unanimité en 2021. En déplaçant le curseur de la politique publique globale, il s’assure que le mouvement vers la transparence cesse d’être une initiative militante isolée pour devenir une composante inaliénable du contrat social entre la science et la cité.

8.3 Les badges de science ouverte comme leviers d’incitation symbolique

Parallèlement aux réformes structurelles lourdes, Brian Nosek mobilise les enseignements de la psychologie sociale et du nudging comportemental pour concevoir des incitations douces mais redoutablement efficaces : les Badges de science ouverte (Open Science Badges). Développés par le Center for Open Science, ces repères graphiques hautement visibles (des icônes apposées directement en tête d’un article publié) récompensent l’adoption de pratiques ouvertes certifiées : Open Data (données ouvertes), Open Materials (matériaux méthodologiques partagés) et Preregistered (étude pré-enregistrée).

L’introduction pionnière de ces badges en 2014 par la prestigieuse revue Psychological Science fournit un terrain expérimental grandeur nature dont Nosek et ses collègues (notamment Mallory Kidwell et al. en 2016) mesurent scrupuleusement l’effet. Les résultats empiriques dépassent toutes les prévisions des sociologues des sciences : l’introduction d’un simple badge visuel conférant une reconnaissance statutaire immédiate entraîne une explosion spectaculaire du taux de partage effectif des données brutes, qui passe d’un maigre 3 % avant la réforme à plus de 39 % dans les mois qui suivent l’instauration des badges au sein de la revue.

Ce résultat magistral met en évidence la puissance de l’économie symbolique et des dynamiques réputationnelles au sein des tribus académiques. En conférant un statut prestigieux à l’ouverture, Nosek inverse le stigmate : ne pas afficher le badge commence à soulever des interrogations tacites sur la sincérité ou la solidité des données rapportées. Par ce détour subtil par l’économie comportementale des chercheurs, il démontre que des modifications d’apparence modeste dans la sémiotique des publications peuvent déclencher des mutations culturelles de grande ampleur.

9. Extension au-delà de la psychologie : La crise globale de la reproductibilité

9.1 Le projet de reproductibilité en biologie du cancer (Errington, Nosek et al.)

Constamment confronté à l’argument corporatiste affirmant que les difficultés de réplication seraient l’apanage des sciences humaines et sociales en raison de la prétendue mollesse de leurs objets d’étude, Brian Nosek étend ses protocoles d’investigation métascientifique au sanctuaire des « sciences dures ». En 2013, le Center for Open Science s’associe à Science Exchange pour lancer une initiative pharaonique : le Reproducibility Project: Cancer Biology (RP:CB), coordonné sur le terrain par Timothy Errington et dirigé par Nosek.

L’objectif consiste à répliquer les résultats de plus de 50 expériences précliniques majeures en oncologie publiées entre 2010 et 2012 dans les journaux scientifiques les plus révérés au monde, tels que Nature, Science, Cell ou Cancer Cell. Ces publications constituent les bases fondamentales sur lesquelles des milliards de dollars d’essais cliniques et d’investissements pharmaceutiques reposent chaque année. Dès l’entame du projet, l’équipe de Nosek se heurte à un mur d’opacité absolu, bien pire que ce qu’ils avaient rencontré en psychologie. Pour la quasi-totalité des articles, les protocoles décrits sont si incomplets et lacunaires qu’il est impossible de commander les réactifs cellulaires ou de reproduire les manipulations biologiques sans contacter directement les laboratoires originaux ; et lorsque ceux-ci sont sollicités, une majorité refuse de répondre, déclare avoir égaré les données brutes ou invoque des secrets de fabrication.

Face à ces obstacles insurmontables, le projet doit réduire ses ambitions initiales et ne parvient à mener à bien les réplications que pour une trentaine d’articles. Les résultats définitifs, publiés en décembre 2021 dans la prestigieuse revue en accès ouvert eLife, assènent un choc immense à la communauté médicale mondiale. Moins de la moitié des effets analysés parviennent à être répliqués avec succès, et les tailles d’effet biologiques sont réduites en moyenne de 85 % par rapport aux affirmations originales triomphantes. Nosek prouve ainsi avec éclat que la crise de la reproductibilité n’a rien d’un accident propre aux sciences de l’esprit : elle ronge le cœur même de la biomédecine préclinique, avec des conséquences tragiques directes pour le développement de thérapies contre des maladies mortelles.

9.2 Applications aux sciences économiques et politiques

L’universalité des défaillances documentées pousse Brian Nosek à forger des alliances transversales pour exporter ses méthodes d’audit à l’ensemble du champ académique. En sciences économiques, il collabore étroitement avec des figures de proue comme Colin Camerer et l’économiste comportementaliste Anna Dreber pour lancer des réplications de grande envergure. L’étude publiée dans Science en 2016 sur la réplicabilité d’expériences en économie publiées dans l’American Economic Review et Econometrica montre certes un taux de succès légèrement supérieur à la psychologie (environ 61 % des effets se répliquent), mais confirme une diminution systématique de l’amplitude des résultats et l’existence d’un biais de publication prégnant.

En sciences politiques, le COS s’investit dans la transformation des pratiques analytiques en plaidant pour le partage universel des données d’enquêtes démoscopiques, des scripts d’estimation économétrique et des micro-données électorales. Nosek soutient les initiatives du réseau BITSS (Berkeley Initiative for Transparency in the Social Sciences), participant à la formation de milliers de doctorants à travers des ateliers d’été intensifs d’éthique et de transparence informatique. Il démontre que quel que soit le domaine, la racine du mal demeure invariante : dès lors qu’un système social fonde l’attribution de récompenses sur la production de résultats statistiquement spectaculaires, il génère mathématiquement une corruption des méthodes de preuve.

Cette diffusion interdisciplinaire féconde les programmes d’enseignement supérieur. Grâce aux interventions et aux publications méthodologiques de Nosek, la métascience s’invite au sein des séminaires d’épistémologie et des cours d’économétrie, d’épidémiologie et de sociologie quantitative, rompant l’isolement corporatiste des facultés pour bâtir un front commun de la rigueur méthodologique.

9.3 Défis spécifiques rencontrés dans les sciences biomédicales

En appliquant ses protocoles d’investigation à la biologie et à la pharmacologie fondamentale, Brian Nosek se confronte à des défis méthodologiques et structurels d’une complexité sans commune mesure avec ceux de la psychologie sociale. Le premier obstacle tient à l’extrême volatilité du matériel biologique lui-même : la variabilité des lignées cellulaires soumises à des dérives génétiques silencieuses, l’instabilité des lots d’anticorps monoclonaux et les micro-variations environnementales au sein des animaleries introduisent une variance incontrôlée difficile à formaliser.

Le second défi, d’une dimension éminemment géopolitique et économique, découle de l’enchevêtrement profond entre la recherche biomédicale et les intérêts financiers de l’industrie pharmaceutique et des start-ups de biotechnologie. Là où un psychologue partage aisément ses fichiers de données sans risque de perte financière directe, les chercheurs en oncologie et en génétique opèrent sous la surveillance constante des offices de transfert technologique universitaires, soucieux de breveter le moindre mécanisme moléculaire. La logique de protection de la propriété intellectuelle et du secret industriel vient ici percuter frontalement l’idéal de transparence radicale promu par Nosek.

Loin de reculer devant ces complexités, Nosek engage un dialogue stratégique avec les divisions de recherche et développement de géants pharmaceutiques (tels que Bayer ou Amgen, qui avaient eux-mêmes alerté dès 2011 sur leur incapacité à reproduire plus de 70 % à 80 % des cibles thérapeutiques publiées par les laboratoires universitaires). En bâtissant des ponts entre le monde universitaire et les industriels confrontés à des impasses financières ruineuses dues à de faux espoirs précliniques, Nosek positionne la science ouverte non pas comme un dogme anti-commercial, mais comme un impératif d’efficience économique et de salut public.

10. Débats théoriques, résistances et controverses contemporaines

10.1 Accusations d’inquisition méthodologique et de stéréotypage de la discipline

La déferlante métascientifique impulsée par Brian Nosek ne s’est pas déployée sans heurts ni rancœurs profondes. À mesure que les vagues de réplications infructueuses jetaient le discrédit sur des carrières académiques entières et sur des concepts starifiés par les conférences TED, une réaction de rejet corporatiste d’une grande violence s’est fait jour. Plusieurs figures historiques de la psychologie sociale américaine ont publiquement dénoncé ce qu’elles percevaient comme une dérive punitive délétère, accusant les réplicateurs d’instaurer un climat de défiance généralisée et une véritable « inquisition méthodologique ».

L’expression la plus retentissante de ce malaise éclate sous la plume de la célèbre professeure de Princeton Susan Fiske, ancienne présidente de l’Association for Psychological Science. Dans une tribune incendiaire devenue tristement célèbre en 2016, Fiske qualifie certains réplicateurs agressifs de « terroristes méthodologiques » (methodological terrorists) engagés dans du harcèlement en ligne et du lynchage sur les réseaux sociaux au détriment des chercheurs confirmés et, plus grave encore, des jeunes doctorants. D’autres critiques soulignent le danger que la métascience n’en vienne à étouffer la sérendipité, la liberté créatrice et la prise de risque théorique en transformant les chercheurs en comptables frileux terrifiés à l’idée du moindre résultat nul.

Face à ces accusations acerbes, la posture publique de Brian Nosek est demeurée d’une exemplarité constante. Récusant tout recours à l’attaque ad hominem, il prend systématiquement la parole pour condamner avec fermeté les attaques personnelles et les invectives numériques. Nosek martèle inlassablement que la critique métascientifique ne vise jamais l’honneur ou la probité des personnes, mais les défaillances impersonnelles des systèmes institutionnels. Grâce à son flegme, sa diplomatie bienveillante et son refus systématique de la polarisation affective, il parvient à désamorcer l’hostilité et à préserver l’intégrité du dialogue académique.

10.2 La tension entre validité écologique et réplication directe

Sur le plan de l’épistémologie pure, l’affrontement le plus profond engagé par Nosek concerne la dialectique entre la validité écologique et la réplication directe. Des psychologues sociaux, emmenés notamment par Jay Van Bavel dans un article retentissant de 2016, soutiennent la thèse de la « sensibilité contextuelle » (contextual sensitivity). Selon cette perspective, les comportements humains sont intrinsèquement dépendants de l’environnement temporel, historique et culturel dans lequel ils s’expriment ; par conséquent, l’échec de réplication d’un effet psychologique ne témoignerait pas de sa fausseté, mais simplement de la variation inévitable des conditions écologiques entre l’expérience princeps et sa tentative de reproduction.

Brian Nosek consacre une part significative de ses efforts théoriques à démonter les dérives circularistes de cet argument. Dans des méta-analyses minutieuses parues entre 2016 et 2020, il démontre que si l’on accepte l’hypothèse d’une sensibilité contextuelle absolue sans formalisation rigoureuse de ses lois d’application, la psychologie cesse tout simplement d’être une science réfutable au sens popérien pour verser dans la narration littéraire post-hoc. Toute observation contradictoire pourrait alors être balayée d’un revers de main en affirmant que « le contexte a changé ».

Nosek ne nie aucunement la réalité des modulations contextuelles, mais il impose une clarification conceptuelle décisive : si un chercheur postule qu’un phénomène psychologique est conditionné par le contexte, il lui incombe d’intégrer formellement ces conditions limites (boundary conditions) à l’intérieur de sa théorie préalable et de prédire avec précision quelles variations d’environnement feront émerger ou disparaître l’effet. En l’absence d’une telle modélisation déductive, invoquer le contexte après coup pour masquer un échec expérimental relève de la simple dérobade épistémologique. Ce recadrage contribue à élever considérablement le niveau d’exigence requis pour la formulation des théories sociales.

10.3 Le coût humain, financier et temporel de la science ouverte

Une contestation plus pragmatique mais particulièrement légitime adressée à l’écosystème bâti par Brian Nosek concerne la charge disproportionnée que les nouvelles exigences de transparence peuvent faire peser sur les équipes de recherche disposant de peu de moyens. Documenter intégralement des bases de données massives, formater des codes selon des standards pérennes, rédiger des plans de pré-enregistrement de cinquante pages et négocier des Registered Reports constitue une charge de travail administrative et cognitive considérable qui mobilise un temps précieux au détriment de l’enseignement ou de la réflexion théorique.

Plusieurs sociologues des sciences ont ainsi alerté sur le risque d’un accroissement des inégalités géopolitiques et institutionnelles au sein de la république des lettres. Alors que les méga-laboratoires des grandes universités d’élite nord-américaines ou d’Europe occidentale (les universités de l’Ivy League ou les instituts Max-Planck) disposent d’armées de post-doctorants et d’ingénieurs de données pour assurer cette mise en conformité bureaucratique, les laboratoires des universités publiques provinciales ou des pays du Sud global risquent de se voir marginalisés, exclus des revues exigeant le respect scrupuleux des niveaux 2 ou 3 des directives TOP.

Brian Nosek a pris cette critique très au sérieux. Sous sa direction, le Center for Open Science s’est constamment efforcé de concevoir des interfaces utilisateur d’une ergonomie simplifiée à l’extrême, entièrement gratuites et accompagnées de tutoriels multilingues en libre accès pour réduire au maximum le coût d’entrée dans la science ouverte. De plus, Nosek insiste régulièrement sur le fait que la transparence ne doit pas se transformer en un nouveau dogme technocratique : elle doit rester un principe de franchise intellectuelle adapté aux moyens et aux contextes spécifiques de chaque communauté de recherche.

11. L’évolution récente de la pensée de Nosek et nouveaux chantiers (2018 à aujourd’hui)

11.1 L’intégration de l’intelligence artificielle dans la métascience

Depuis le tournant de l’année 2018, conscient de l’accélération vertigineuse de la production textuelle scientifique mondiale, Brian Nosek oriente les activités du Center for Open Science vers l’exploitation pionnière de l’intelligence artificielle et des modèles de traitement automatique du langage naturel (NLP) appliqués à l’évaluation épistémique. Face à l’impossibilité physique de mobiliser des consortiums humains de 300 personnes pour auditer chaque publication, Nosek explore l’automatisation de la surveillance métascientifique.

Parmi les initiatives phares figure le programme SMART (Systematizing Confidence in Open Research and Evidence), financé notamment par l’agence de recherche militaire américaine de pointe DARPA. Ce projet titanesque ambitionne de concevoir des algorithmes capables de lire de manière autonome des millions d’articles scientifiques, d’en extraire les protocoles expérimentaux, d’évaluer la cohérence mathématique interne des statistiques rapportées (à l’image de programmes comme statcheck développé par Michèle Nuijten) et d’assigner un score de confiance prédictif quant à la reproductibilité potentielle des assertions théoriques sans la moindre intervention humaine.

Toutefois, fidèle à sa lucidité critique légendaire, Nosek multiplie simultanément les mises en garde contre l’illusion techno-solutionniste. Avec l’irruption brutale des grands modèles de langage (LLMs) tels que ChatGPT, il souligne les risques inédits d’une pollution de la littérature par des articles synthétiques truffés d’hallucinations statistiques indétectables à l’œil nu. Pour Nosek, l’intelligence artificielle ne constitue pas une panacée épistémologique : elle doit demeurer un instrument d’amplification au service du jugement critique humain, sous peine de voir des algorithmes reproduire et industrialiser à une vitesse exponentielle les biais cognitifs des corpus sur lesquels ils ont été entraînés.

11.2 Le renouveau des théories psychologiques face aux données robustes

L’un des développements les plus stimulants de la pensée récente de Brian Nosek s’incarne dans son appel à dépasser le simple constat empirique pour affronter ce que de nombreux méthodologistes nomment désormais la « crise de la théorie » (theory crisis). Si la métascience a accompli des progrès indiscutables dans l’assainissement des protocoles de recueil de données et des calculs statistiques, Nosek constate avec lucidité que la sophistication méthodologique ne produit pas spontanément une bonne théorie scientifique.

S’appuyant sur les réflexions d’épistémologues contemporains tels que Denny Borsboom, Michael Muthukrishna et Joseph Henrich, Nosek déplore que la psychologie continue trop souvent d’opérer avec des théories rédigées en langage naturel vague, truffées de métaphores ambiguës et insusceptibles de générer des prédictions mathématiques univoques. Dans ses conférences les plus récentes, il exhorte ses confrères à abandonner les modèles conceptuels flous au profit d’une formalisation computationnelle rigoureuse de leurs propositions théoriques, empruntant aux outils de la modélisation bayésienne et des systèmes dynamiques complexes.

Ce plaidoyer réactive les enseignements du philosophe Imre Lakatos sur la dynamique des programmes de recherche. Pour Nosek, une science mature ne se contente pas d’éliminer les faux positifs méthodologiques ; elle s’organise autour d’un « noyau dur » théorique réfutable capable d’anticiper des faits nouveaux et d’unifier une constellation de données disparates. La métascience n’est ainsi conçue que comme l’étape de déblaiement préliminaire indispensable à l’avènement d’une véritable théorisation mathématique du comportement humain.

11.3 Les Registered Report Funding Models et la réforme du financement

Le chantier le plus avant-gardiste mené par Brian Nosek au début des années 2020 s’attaque à la fragmentation chronologique ruineuse entre l’octroi des financements et la publication des résultats, au travers de ce que le COS nomme le modèle de financement par Registered Reports (Registered Report Funding Model ou RR-FM). Dans le système académique traditionnel, un chercheur perd des mois entiers à rédiger un projet de recherche soumis à l’évaluation tatillonne d’une agence de subvention ; s’il obtient les fonds, il mène son étude deux ans plus tard, pour devoir recommencer un second cycle complet de négociations et d’évaluations par les pairs auprès du comité de lecture d’une revue scientifique indépendante.

Le dispositif partenarial expérimenté par Nosek fusionne ces deux étapes en une procédure synchrone unique. En partenariat avec des organisations philanthropiques internationales et des revues partenaires de prestige, le chercheur soumet un protocole d’Étape 1 unique. Ce document est évalué conjointement par le panel de l’organisme de financement et par les relecteurs de la revue scientifique. Si le projet est retenu, le chercheur obtient simultanément deux garanties institutionnelles majeures :

• L’attribution immédiate des crédits financiers nécessaires pour mener les expérimentations à bien dans son laboratoire.
• L’assurance formelle que l’article définitif sera publié dans la revue quoi qu’il advienne de la direction des résultats finaux (IPA – In-Principle Acceptance).

Cette symbiose institutionnelle révolutionnaire supprime des redondances bureaucratiques kafkaïennes, raccourcit considérablement les délais de production de la connaissance et élimine tout risque de gaspillage financier. Par cette réingénierie globale de l’écosystème de subventionnement, Nosek prouve une nouvelle fois sa capacité à dépasser la posture de l’intellectuel critique pour agir en tant qu’innovateur organisationnel en chef de la recherche mondiale.

12. Bilan d’un réformateur : Héritage intellectuel et avenir des sciences comportementales

12.1 Changement de paradigme : La psychologie dix ans après 2015

Une décennie après la parution historique de l’article de 2015 dans Science, le bilan quantitatif et qualitatif du sillage creusé par Brian Nosek témoigne d’un basculement de paradigme indiscutable. Les enquêtes bibliométriques et les études de terrain confirment que l’écosystème de la psychologie internationale a profondément changé de visage sous l’effet de ces réformes. Les pratiques qui étaient autrefois marginales, voire suspectées de trahir un manque d’originalité, sont devenues les marques indélébiles du professionnalisme et de la rigueur académique.

Le pré-enregistrement systématique des protocoles, qui ne concernait qu’une infime fraction d’études au début du siècle, concerne désormais plusieurs dizaines de milliers de projets chaque année sur l’OSF et les registres associés. Les pratiques de recherche douteuses les plus flagrantes, autrefois admises avec indulgence au nom du brio d’écriture, sont massivement proscrites par les nouvelles générations de doctorants et de post-doctorants, formés dès leurs premières années d’études aux pièges du p-hacking et à l’exigence de la puissance statistique. L’inflation des tailles d’effet spectaculaires a laissé place à une sobriété descriptive beaucoup plus réaliste et conforme à la complexité des dynamiques humaines.

Rétrospectivement, la crise de la reproductibilité n’apparaît plus aujourd’hui comme une défaillance humiliante ou un aveu de faiblesse pour la psychologie, mais paradoxalement comme son titre de gloire épistémologique majeur. En ayant eu le courage civique et scientifique d’affronter lucidement ses propres failles sous le leadership incontestable de Brian Nosek, la psychologie a devancé de plusieurs années la biomédecine, les neurosciences et les sciences computationnelles dans son auto-assainissement méthodologique. Elle s’est hissée au rang de discipline pionnière de la modernité scientifique réflexive.

12.2 La figure du chercheur-activiste institutionnel

L’analyse de la trajectoire biographique de Brian Nosek met en lumière une figure académique profondément originale : celle du « chercheur-activiste institutionnel » ou de l’entrepreneur civique de la science. Loin de s’enfermer dans sa tour d’ivoire professorale à l’Université de Virginie ou de limiter sa réputation au confort des cercles restreints de la cognition sociale implicite, Nosek a fait le choix délibéré d’investir l’arène publique, de négocier avec des financiers milliardaires, de manager des équipes de développeurs informatiques et d’affronter l’hostilité de mandarins académiques rétifs au changement.

Ce statut hybride — combinant l’excellence empirique d’un chercheur publiant dans les revues les plus cotées, l’expertise technique d’un architecte logiciel et l’habileté stratégique d’un dirigeant d’organisation non gouvernementale mondiale — confère à Nosek une influence sans équivalent sur les structures du savoir contemporain. Les distinctions et reconnaissances planétaires accumulées témoignent de cette centralité : régulièrement classé parmi les penseurs et scientifiques les plus influents au monde par des revues de référence telles que Nature (qui l’a inclus dans son prestigieux classement des « Nature’s 10 » personnalités scientifiques de l’année) ou le magazine Foreign Policy, il demeure pourtant d’une humilité personnelle frappante.

Son modèle de leadership intellectuel refuse scrupuleusement le culte de la personnalité professoral classique. Dans toutes ses prises de parole et ses démarches institutionnelles, Brian Nosek insiste sur la primauté absolue du collectif, effaçant son nom derrière des signatures collaboratives massives de plusieurs centaines de coauteurs et mettant en avant la contribution anonyme de la multitude de développeurs, de chercheurs juniors et de bénévoles qui animent l’Open Science Collaboration. Cette cohérence éthique entre ses actes managériaux et ses idéaux philosophiques constitue sans doute la source principale de son immense autorité morale.

12.3 Perspectives d’avenir pour la science ouverte et la métascience

À l’aube des prochaines décennies, les chantiers ouverts par Brian Nosek demeurent immenses et traversés par des tensions géopolitiques majeures. L’un des défis les plus cruciaux réside dans la démocratisation véritablement mondiale de la science ouverte. Le mouvement ne pourra prétendre à une légitimité universelle s’il demeure l’apanage des nations riches de l’hémisphère Nord. Nosek et le Center for Open Science multiplient ainsi les efforts pour intégrer les institutions, les universités et les jeunes chercheurs d’Amérique latine, d’Afrique et d’Asie, en développant des infrastructures numériques décentralisées, peu gourmandes en bande passante et respectueuses de la pluralité des contextes linguistiques et académiques locaux.

Un autre écueil redoutable guettant l’avenir de la science ouverte tient à la tentative de captation marchande orchestrée par les grands oligopoles de l’édition scientifique commerciale. Voyant leur modèle séculaire d’abonnements payants contesté, certaines multinationales de la communication scientifique tentent de monétiser la science ouverte en imposant des frais de traitement d’articles (APC – Article Processing Charges) exorbitants ou en cherchant à privatiser les métadonnées et les plateformes de partage de données. Face à ce risque de dépossession, Nosek mène un combat sans relâche pour que les infrastructures numériques de la recherche — au premier rang desquelles l’Open Science Framework — soient sanctuarisées en tant que « biens communs numériques » (digital commons), gérés par des organisations à but non lucratif et protégés de toute spéculation financière.

En dernière analyse, l’œuvre magistrale entreprise par Brian Nosek depuis le début de sa carrière s’inscrit dans la droite ligne de la promesse des Lumières. En rappelant avec une rigueur inébranlable que la science ne tire pas sa grandeur de l’autorité incontestée de ses clercs, mais de la vulnérabilité consentie de ses assertions soumises à la critique publique de tous, Nosek aura redonné un souffle neuf à la devise séculaire de la Royal Society : Nullius in verba (« Ne croire personne sur parole »). Par son action de savant et de réformateur, il continue d’œuvrer pour que la science demeure ce qu’elle n’aurait jamais dû cesser d’être : une aventure humaine universelle, désintéressée, transparente et collectivement partagée au bénéfice de l’émancipation de l’esprit humain.

Références

• Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407–425. https://doi.org/10.1037/a0021524
• Camerer, C. F., Dreber, A., Forsell, E., Ho, T. H., Huber, J., Johannesson, M., Kirchler, M., Almenberg, J., Altmejd, A., Chan, T., Heikensten, E., Holzmeister, F., Imai, T., Isaksson, S., Nave, G., Pfeiffer, T., Razen, M., & Wu, H. (2016). Evaluating replicability of laboratory experiments in economics. Science, 351(6280), 1433–1436. https://doi.org/10.1126/science.aaf0918
• Camerer, C. F., Dreber, A., Holzmeister, F., Ho, T. H., Huber, J., Johannesson, M., Kirchler, M., Nave, G., Nosek, B. A., Pfeiffer, T., Altmejd, A., Buttrick, N., Chan, T., Chen, Y., Forsell, E., Gampa, A., Heikensten, E., Hummer, L., Imai, T., … Wu, H. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 2(9), 637–644. https://doi.org/10.1038/s41562-018-0399-z
• Chambers, C. D. (2013). Registered Reports: A new publishing initiative at Cortex. Cortex, 49(3), 609–610. https://doi.org/10.1016/j.cortex.2012.12.016
• Dreber, A., Pfeiffer, T., Almenberg, J., Isaksson, S., Wilson, B., Chen, Y., Nosek, B. A., & Johannesson, M. (2015). Using prediction markets to estimate the reproducibility of scientific research. Proceedings of the National Academy of Sciences, 112(50), 15343–15347. https://doi.org/10.1073/pnas.1508875112
• Errington, T. M., Denis, A., Perfito, N., Iorns, E., & Nosek, B. A. (2021). Challenges for assessing replicability in preclinical cancer biology. eLife, 10, e67995. https://doi.org/10.7554/eLife.67995
• Errington, T. M., Mathur, M., Soderberg, C. K., Denis, A., Perfito, N., Iorns, E., & Nosek, B. A. (2021). Investigating the replicability of preclinical cancer biology. eLife, 10, e71601. https://doi.org/10.7554/eLife.71601
• Fiske, S. T. (2016). A mob rule or a civil crowd? APS Observer, 29(9), 1–2. https://www.psychologicalscience.org/observer/a-mob-rule-or-a-civil-crowd
• Gilbert, D. T., King, G., Pettigrew, S., & Wilson, T. D. (2016). Comment on « Estimating the reproducibility of psychological science ». Science, 351(6277), 1037. https://doi.org/10.1126/science.aad7243
• Greenwald, A. G., McGhee, D. E., & Schwartz, J. L. (1998). Measuring individual differences in implicit cognition: The implicit association test. Journal of Personality and Social Psychology, 74(6), 1464–1480. https://doi.org/10.1037/0022-3514.74.6.1464
• Greenwald, A. G., Nosek, B. A., & Banaji, M. R. (2003). Understanding and using the Implicit Association Test: I. An improved scoring algorithm. Journal of Personality and Social Psychology, 85(2), 197–216. https://doi.org/10.1037/0022-3514.85.2.197
• Ioannidis, J. P. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
• Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
• Kidwell, M. C., Lazarević, L. B., Baranski, E., Hardwicke, T. E., Piechowski, S., Falkenberg, L. S., Kennett, C., Slowik, A., Sonnleitner, C., Hess-Holden, C., Errington, T. M., Fiedler, S., & Nosek, B. A. (2016). Badges to acknowledge open practices: A simple, low-cost, effective incentive for increasing transparency. PLOS Biology, 14(5), e1002456. https://doi.org/10.1371/journal.pbio.1002456
• Klein, R. A., Ratliff, K. A., Vianello, M., Adams, R. B., Bahník, Š., Bernstein, M. J., Bocian, K., Brandt, M. J., Brooks, B., Brumbaugh, C. C., Cemalcilar, Z., Chandler, J., Cheong, W., Davis, W. E., Devos, T., Eisner, M., Frankowska, N., Furrow, D., Galliani, E. M., … Nosek, B. A. (2014). Investigating variation in replicability: A « Many Labs » replication project. Social Psychology, 45(3), 142–152. https://doi.org/10.1027/1864-9335/a000178
• Klein, R. A., Vianello, M., Hasselman, F., Adams, B. G., Adams, R. B., Alper, S., Aveyard, M., Axt, J. R., Bahník, Š., Batra, R., Berkics, M., Bernstein, M. J., Biesanz, J. C., Blocker, K. A., Bocian, K., Bodroža, B., Brandt, M. J., Brassell, E., Brumbaugh, C. C., … Nosek, B. A. (2018). Many Labs 2: Investigating variation in replicability across samples and settings. Advances in Methods and Practices in Psychological Science, 1(4), 443–490. https://doi.org/10.1177/2515245918810225
• Nosek, B. A., & Banaji, M. R. (2001). The go/no-go association task. Social Cognition, 19(6), 625–666. https://doi.org/10.1521/soco.19.6.625.20886
• Nosek, B. A., Banaji, M. R., & Greenwald, A. G. (2002). Harvesting implicit group attitudes and beliefs from a demonstration web site. Group Dynamics: Theory, Research, and Practice, 6(1), 101–115. https://doi.org/10.1037/1089-2699.6.1.101
• Nosek, B. A., Alter, G., Banks, G. C., Borsboom, D., Bowman, S. D., Breckler, S. J., Buck, S., Chambers, C. D., Chin, G., Christensen, G., Contestabile, M., Dafoe, A., Eich, E., Freese, J., Glennerster, R., Goroff, D., Green, D. P., Hesse, B., Humphreys, M., … Yarkoni, T. (2015). Promoting an open research culture: Author guidelines for transparency and openness promotion (TOP) in journals. Science, 348(6242), 1422–1425. https://doi.org/10.1126/science.aab2374
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
• Nosek, B. A., Hardwicke, T. E., Moshontz, H., Allard, A., Corker, K. S., Dreber, A., Fidler, F., Hilgard, J., Kline Struhl, M., Nuijten, M. B., Rohrer, J. M., Romero, F., Scheel, A. M., Schiavone, S. R., Schönbrodt, F. D., & Vazire, S. (2022). Replicability, robustness, and reproducibility in psychological science. Annual Review of Psychology, 73, 719–748. https://doi.org/10.1146/annurev-psych-020821-114157
• Nosek, B. A., Spies, J. R., & Motyl, M. (2012). Scientific utopia: II. Restructuring incentives and practices to promote truth over publishability. Perspectives on Psychological Science, 7(6), 615–631. https://doi.org/10.1177/1745691612459058
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Oswald, F. L., Mitchell, G., Blanton, H., Jaccard, J., & Tetlock, P. E. (2013). Predicting ethnic and racial discrimination: A meta-analysis of IAT criterion studies. Journal of Personality and Social Psychology, 105(2), 171–192. https://doi.org/10.1037/a0032734
• Scheel, A. M., Schijen, M. R., & Lakens, D. (2021). An excess of positive results: Comparing the standard psychology literature with Registered Reports. Advances in Methods and Practices in Psychological Science, 4(2), 1–12. https://doi.org/10.1177/25152459211007467
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
• Van Bavel, J. J., Mende-Siedlecki, P., Brady, W. J., & Reinero, D. A. (2016). Contextual sensitivity in scientific reproducibility. Proceedings of the National Academy of Sciences, 113(23), 6454–6459. https://doi.org/10.1073/pnas.1521897113