Thomas D. Cook – De 1941 à nos jours

Biography

Dans l’histoire des sciences sociales et de la méthodologie contemporaine, peu de figures ont exercé une influence aussi structurante, rigoureuse et pérenne que le professeur Thomas D. Cook. Né au Royaume-Uni en 1941 avant d’accomplir l’essentiel de sa brillante trajectoire professorale aux États-Unis, Cook a littéralement redéfini les canons de la recherche évaluative, de la psychologie sociale empirique et de l’économétrie appliquée. À une époque où le monde académique oscillait entre un dogmatisme expérimentaliste étroit — réservant la scientificité aux seuls essais contrôlés randomisés de laboratoire — et un empirisme observationnel vulnérable aux pires biais de confusion, il a su forger une troisième voie épistémologique d’une fécondité inégalée : la quasi-expérimentation raisonnée et critique.

Héritier intellectuel direct et collaborateur de longue date de Donald T. Campbell, Thomas D. Cook a transformé ce qui n’était initialement qu’un ensemble de compromis pragmatiques face aux contraintes du terrain en un système théorique, métrologique et analytique d’une sophistication redoutable. Son œuvre maîtresse, d’abord cristallisée dans le manuel classique de 1979 puis portée à son zénith dans l’ouvrage séminal de 2002 avec William R. Shadish et Donald T. Campbell, constitue aujourd’hui la référence paradigmatique incontournable pour quiconque s’intéresse à l’inférence causale en milieu écologique naturel. De l’évaluation des réformes éducatives majeures comme le programme Head Start à la théorisation des validités scientifiques, son travail s’est toujours situé au point de friction salutaire entre l’exigence méthodologique formelle la plus intransigeante et la complexité brute des phénomènes humains.

Ce présent traité analytique se propose de retracer de manière exhaustive la vie, l’œuvre et l’héritage intellectuel de Thomas D. Cook depuis sa genèse britannique en 1941 jusqu’aux débats contemporains les plus avancés du XXIe siècle. À travers l’exploration détaillée de ses fondements biographiques, de son anatomie quadripartite des validités, de sa réhabilitation spectaculaire des devis quasi-expérimentaux face au modèle contrefactuel de Rubin, et de son rôle central dans le mouvement mondial des politiques publiques fondées sur des données probantes (evidence-based policy), nous mettrons en lumière la manière dont un esprit pénétrant a redonné aux sciences sociales le pouvoir de déterminer, avec certitude et humilité, ce qui fonctionne réellement dans la cité humaine.

1. Introduction biographique et parcours intellectuel de Thomas D. Cook

1.1 Origines, formation initiale et trajectoire transatlantique

Thomas D. Cook voit le jour en Grande-Bretagne en 1941, dans un contexte géopolitique et intellectuel profondément marqué par les bouleversements de la Seconde Guerre mondiale et la reconstruction d’après-guerre. Sa scolarité initiale s’inscrit au cœur des prestigieuses institutions britanniques, où il développe une sensibilité précoce pour les humanités, la rhétorique classique, la logique formelle et la philosophie critique. Il rejoint ainsi l’Université d’Oxford, au sein de laquelle il étudie les lettres et la philosophie. Cette formation oxfordienne imprègne durablement sa pensée : il en retient une méfiance salutaire envers les dogmes positivistes simplificateurs, une passion pour l’analyse linguistique rigoureuse des concepts et un goût prononcé pour l’argumentation contradictoire qui façonnera, des décennies plus tard, sa vision du chercheur comme un procureur d’hypothèses rivales.

Toutefois, les limites perçues d’un idéalisme philosophique abstrait et le dynamisme florissant des sciences sociales empiriques d’outre-Atlantique incitent Cook à franchir l’océan pour entreprendre un périple transatlantique déterminant. Il s’installe aux États-Unis au milieu des années 1960 afin de poursuivre des études doctorales de pointe à l’Université Stanford. Plongé au cœur du département de communication et de psychologie, Stanford constitue alors l’un des épicentres de la révolution empirique américaine. Cook y est immergé dans les théories avancées de la communication de masse, de la persuasion, du changement d’attitude et des dynamiques de groupes, côtoyant des mentors pionniers qui formalisent les bases métrologiques de la psychologie moderne.

C’est durant cette période doctorale californienne que s’éveille sa vocation profonde pour l’épistémologie appliquée. Loin de s’enfermer dans les murs aseptisés des laboratoires universitaires où l’on étudie des étudiants de premier cycle en psychologie sous des conditions hautement artificielles, Cook est frappé par la fracture béante entre ces protocoles hermétiques et les fractures sociopolitiques de l’Amérique des années 1960. La lutte pour les droits civiques, la guerre du Vietnam, l’émergence des contre-cultures et les vastes programmes de la « Guerre contre la pauvreté » (War on Poverty) initiés par l’administration Johnson requièrent des méthodes d’évaluation capables de mesurer des interventions complexes dans le monde réel. Cook saisit immédiatement que la scientificité ne doit pas se réfugier dans l’artifice, mais descendre dans l’arène sociale pour éclairer l’action publique.

1.2 Carrière universitaire et ancrage institutionnel à Northwestern University

Après l’obtention de son doctorat à Stanford, Thomas D. Cook s’installe au début des années 1970 à Northwestern University, située à Evanston et Chicago dans l’Illinois. Cette institution universitaire va devenir son foyer académique principal pendant plus de quatre décennies, un sanctuaire au sein duquel il déploiera toute l’envergure de son génie théorique et empirique. Rapidement promu au rang de professeur titulaire, il se voit décerner la prestigieuse chaire Edith Kreeger Wolf Professor of Early Education, ainsi que des affiliations conjointes de premier plan au département de sociologie, de psychologie et de politique éducative. Ce statut pluridisciplinaire reflète fidèlement la conviction intime de Cook : la méthodologie n’appartient à aucune discipline isolée, elle est la grammaire commune de l’ensemble des sciences du comportement et de la société.

À Northwestern, Cook ne se contente pas de produire une œuvre textuelle dense ; il devient un bâtisseur d’institutions et un animateur infatigable de la vie intellectuelle. Ses séminaires doctoraux consacrés à l’inférence causale, à la théorie de la mesure et à l’évaluation des politiques publiques acquièrent une renommée quasi légendaire. Des cohortes entières d’étudiants en économie, sociologie, psychologie et statistiques convergent vers ses cours, séduits par son érudition chirurgicale et sa capacité à disséquer impitoyablement les failles d’un protocole de recherche. Il forme personnellement plusieurs générations de chercheurs qui occuperont par la suite des chaires directoriales dans les plus grandes universités mondiales et des fonctions de premier plan au sein des gouvernements fédéraux et des banques de développement.

Le point d’ancrage institutionnel majeur de Cook à Northwestern demeure incontestablement l’Institute for Policy Research (IPR), alors connu sous le nom de Center for Urban Affairs. En tant que chercheur principal et figure de proue de l’IPR, Cook contribue de manière décisive à transformer ce centre en un épicentre mondial des sciences évaluatives rigoureuses. Sous son impulsion, l’IPR attire des millions de dollars de subventions de recherche émanant de la National Science Foundation (NSF), de la Fondation William T. Grant et du Département de l’Éducation des États-Unis. Il y forge des partenariats stratégiques entre théoriciens purs, statisticiens computationnels et décideurs politiques locaux, instaurant une tradition d’excellence qui fait encore aujourd’hui de Northwestern une référence incontournable de la recherche quasi-expérimentale.

1.3 Positionnement au carrefour de la psychologie sociale et des sciences de l’évaluation

L’originalité fondamentale de la posture intellectuelle de Thomas D. Cook réside dans son refus viscéral de choisir entre la pureté abstraite de la psychologie sociale théorique et l’utilitarisme pragmatique de l’évaluation de programmes. Pour Cook, la psychologie sociale, si elle veut préserver sa légitimité sociétale et sa pertinence scientifique, doit être impérativement ancrée dans le terrain écologique. Il combat avec véhémence l’illusion entretenue par une partie de la communauté psychologique des années 1970, qui postule que les lois du comportement humain peuvent être intégralement déduites d’expériences de laboratoire de vingt minutes impliquant des stimuli décontextualisés. Il soutient que la psyché humaine ne se déploie que dans ses contextes institutionnels, familiaux, scolaires et communautaires réels.

Dès lors, le rejet de la dichotomie étanche entre recherche fondamentale et recherche appliquée devient le leitmotiv de son existence académique. Cook démontre avec éclat que les interventions sociales à grande échelle — qu’il s’agisse d’un programme de déségrégation raciale, d’une restructuration pédagogique dans les écoles primaires ou d’une campagne médiatique de santé publique — constituent en réalité des « chocs cognitifs et comportementaux » idéaux pour éprouver les théories psychologiques les plus raffinées. L’évaluation n’est pas, à ses yeux, une besogne d’ingénierie technique subalterne, mais un banc d’essai épistémologique suprême où la théorie sociale se heurte à la résistance obstinée de la réalité.

Cette conviction philosophique se traduit par l’élaboration patiente et systématique d’un cadre méthodologique adapté aux réformes d’éducation publique et de santé communautaire. Cook comprend avant tout le monde que le clinicien ou l’éducateur ne peut pas toujours, pour des motifs éthiques, politiques ou logistiques évidents, tirer au sort les individus qui auront le privilège de recevoir un traitement ou un enseignement novateur. Plutôt que de capituler face à cette contrainte et de reléguer ces situations au statut de « non-science », Cook se consacre à l’élaboration de protocoles quasi-expérimentaux capables d’extraire un signal causal net au milieu du bruit inhérent aux environnements naturels. Il pose ainsi les bases d’une psychologie appliquée scientifique, méthodique et audacieuse.

2. L’évolution historique de la quasi-expérimentation en psychologie

2.1 L’état de la méthodologie avant les contributions de Cook

Pour mesurer pleinement la révolution conceptuelle opérée par Thomas D. Cook, il convient de restituer l’état de la méthodologie des sciences sociales au cours de la première moitié du XXe siècle. Depuis la publication des travaux monumentaux de Ronald A. Fisher dans les années 1920 et 1930 sur la planification des expériences en agronomie (The Design of Experiments), le standard d’or (gold standard) incontesté de l’inférence causale repose sur l’assignation aléatoire des unités aux conditions expérimentales. Dans le modèle de Fisher, la randomisation pure possède une propriété quasi magique : elle neutralise mathématiquement, en espérance, l’ensemble des facteurs de confusion potentiels, qu’ils soient connus, mesurés, ou totalement invisibles pour l’expérimentateur.

Ce paradigme fisherien, importé massivement en psychologie sous l’égide de figures comme Robert Woodworth et Kenneth Spence, a rapidement conduit à une impasse tragique pour les sciences appliquées. Dans les contextes de terrain — tels que les salles de classe, les hôpitaux psychiatriques, les quartiers urbains défavorisés ou les prisons —, l’assignation aléatoire s’avère dans l’immense majorité des cas soit moralement inacceptable (priver délibérément un groupe d’enfants d’un soutien nutritionnel ou éducatif prometteur pour les besoins de la science), soit techniquement impossible en raison de résistances administratives, politiques ou communautaires féroces.

Face à ce verrou logistique, la recherche en sciences sociales se trouvait scindée en deux camps mutuellement stériles. D’un côté, les expérimentalistes orthodoxes rejetaient toute étude menée hors du laboratoire comme méthodologiquement caduque et dénuée de valeur scientifique. De l’autre, les chercheurs de terrain se réfugiaient massivement dans des études d’observation corrélationnelles et transversales. Ces études non randomisées, analysées au moyen de régressions linéaires simples, étaient affligées d’une vulnérabilité méthodologique catastrophique : le biais d’auto-sélection et les facteurs résiduels de confusion rendaient toute affirmation causale hasardeuse, sinon totalement trompeuse. Les sciences sociales se trouvaient ainsi privées d’un langage rigoureux pour évaluer leurs propres interventions.

2.2 La collaboration séminale avec Donald T. Campbell

C’est dans ce paysage intellectuel en crise que se produit la rencontre déterminante entre Thomas D. Cook et Donald T. Campbell. Psychologue d’une créativité foisonnante, Campbell avait introduit dès 1957, puis en 1963 dans son célèbre opuscule avec Julian Stanley (Experimental and Quasi-Experimental Designs for Research), l’expression même de « quasi-expérience » (quasi-experimentation) pour désigner ces dispositifs d’évaluation où le chercheur introduit une intervention sans disposer du contrôle total sur la randomisation. Toutefois, le travail pionnier de Campbell et Stanley demeurait un aperçu programmatique, une taxonomie exploratoire sans cadre théorique unifié ni directives d’analyse approfondies pour pallier les menaces d’inférence.

Cook apporte à cette collaboration l’exactitude systématique, la rigueur analytique et l’exhaustivité opérationnelle qui faisaient défaut. En 1979, Cook et Campbell publient leur chef-d’œuvre commun : Quasi-Experimentation: Design & Analysis Issues for Field Settings. Ce manuel volumineux ne se contente pas de rééditer les intuitions antérieures ; il opère une refonte théorique radicale. Les deux auteurs y transcendent la vision permissive et bricolée des plans de recherche pour édifier une véritable codification scientifique des conditions permettant de déduire la causalité sans avoir recours au tirage au sort. Ils y formalisent une théorie critique de la mesure et intègrent les outils statistiques émergents (modèles de séries temporelles, analyse de régression multivariée, corrections des erreurs de mesure psychométriques).

Dans ce modèle, le chercheur n’est plus un spectateur passif subissant les imperfections du terrain ni un manipulateur tout-puissant enfermé dans son laboratoire : il est défini métaphoriquement comme un détective méthodologique des hypothèses rivales (rival plausible hypotheses). Selon Cook et Campbell, l’inférence causale valide ne résulte pas mécaniquement de l’application aveugle d’une formule mathématique ou d’un protocole d’assignation, mais d’un processus systématique d’élimination, une par une, de toutes les explications alternatives susceptibles d’avoir produit le changement observé. Cette approche falsificationniste, d’inspiration résolument poppérienne, offre enfin aux chercheurs de terrain un guide opératoire d’une puissance inédite.

2.3 La redéfinition du statut scientifique des données non randomisées

La publication des travaux conjoints de Cook et Campbell marque le début d’une réhabilitation épistémologique spectaculaire des données non randomisées. Cook refuse catégoriquement l’anathème jeté par les tenants de l’orthodoxie expérimentale sur les devis observationnels. Il démontre avec une clarté désarmante qu’une étude quasi-expérimentale impeccablement conçue, articulant un pré-test rigoureux, des groupes témoins multiples soigneusement appariés et une documentation fine des contextes locaux, peut produire des estimations causales d’une robustesse égale, voire supérieure, à celle d’une expérience randomisée défaillante (marquée par exemple par une attrition sélective ou une contamination du groupe témoin).

Pour parvenir à cette réhabilitation, Cook s’emploie à expliciter avec une précision chirurgicale l’ensemble des hypothèses sous-jacentes indispensables à la validité de l’inférence causale en contexte non aléatoire. L’inférence cesse d’être un acte de foi pour devenir un édifice d’arguments réfutables : si l’on postule que la différence de résultats post-test entre un groupe traité et un groupe témoin est imputable au programme, quelles caractéristiques initiales non mesurées pourraient également expliquer cet écart ? Comment mesurer ces caractéristiques ? Comment prouver qu’elles n’ont pas varié au cours de la période d’intervention ? En transformant l’incertitude diffuse en questions scientifiques concrètes, Cook dote la recherche d’une armature intellectuelle pérenne.

L’impact de ce saut conceptuel sur les disciplines appliquées est immense. La psychologie communautaire, qui s’était longtemps vue reprocher son caractère narratif et militant, trouve dans les devis quasi-expérimentaux de Cook les outils pour tester l’impact réel des interventions de quartier sur la délinquance ou le bien-être psychologique. L’éducation comparée et la sociologie de l’apprentissage s’émancipent des simples analyses corrélationnelles pour cartographier les effets tangibles des réformes curriculaires. Enfin, l’évaluation des politiques publiques, jusqu’alors inféodée à des jugements d’experts purement subjectifs ou à des ratios coût-bénéfice dénués d’ancrage causal, accède au rang de science sociale appliquée à haute valeur probante.

3. La typologie fondamentale des validités scientifiques selon Cook

La contribution la plus célèbre et la plus universellement enseignée de Thomas D. Cook demeure sans conteste sa typologie quadripartite des validités scientifiques. Conçue initialement avec Campbell puis affinée au fil de ses ouvrages ultérieurs, cette cartographie conceptuelle décompose la validité générale d’une affirmation scientifique en quatre composantes fondamentales, indépendantes mais interdépendantes : la validité interne, la validité de construit, la validité des conclusions statistiques et la validité externe. Loin d’être de simples étiquettes typologiques, ces validités constituent un cadre matriciel destiné à identifier, traquer et neutraliser méthodologiquement l’ensemble des menaces susceptibles de corrompre la découverte de la vérité.

3.1 La validité interne et les menaces à l’inférence causale

Pour Thomas D. Cook, la validité interne occupe une place matricielle : elle constitue la condition sine qua non de toute démarche évaluative. La validité interne est définie de manière opératoire comme le degré de certitude avec lequel nous pouvons affirmer qu’une covariation observée entre deux variables reflète une relation causale directe et non ambiguë, indiquant formellement que l’intervention (A) a produit le résultat constaté (B) au sein du contexte spécifique de l’étude. Si la validité interne s’effondre, tout l’édifice de la recherche s’écroule avec elle : disserter sur la portée générale ou sur les concepts sous-jacents d’un résultat causal dont l’existence même est une illusion factuelle constitue une aberration épistémologique.

Afin de prémunir le chercheur contre les fausses conclusions, Cook dresse un inventaire systématique des menaces pesant sur la validité interne, parmi lesquelles figurent :

• L’histoire (History) : La survenue d’un événement externe entre la mesure avant le traitement (pré-test) et la mesure finale (post-test), cet événement étant le véritable auteur du changement observé (par exemple, une campagne publicitaire nationale sur la nutrition survenant pendant l’évaluation locale d’une nouvelle cantine scolaire).
• La maturation (Maturation) : Les processus biologiques, cognitifs ou psychologiques autonomes qui se développent naturellement chez les participants avec le passage du temps (les enfants grandissent, acquièrent de la maturité ou se fatiguent spontanément, indépendamment du traitement).
• La régression vers la moyenne (Statistical Regression) : Ce piège statistique redoutable qui frappe systématiquement les études recrutant des sujets sur la base de scores initiaux extrêmes (les élèves les plus faibles s’amélioreront naturellement lors du second test, et les plus brillants régresseront légèrement vers la moyenne du groupe, par simple résorption de l’erreur aléatoire de mesure).
• L’instrumentation : La dérive de l’outil de mesure ou des observateurs humains au fil du temps (observateurs plus fatigués ou devenant plus indulgents au post-test).

À ces menaces classiques s’ajoutent les deux écueils les plus dévastateurs en recherche psychosociale de terrain : le biais de sélection — lorsque les individus intégrant le groupe traité diffèrent systématiquement, avant même toute intervention, de ceux intégrant le groupe témoin — et l’attrition sélective (ou mortalité expérimentale différentielle). Cette dernière menace survient dès lors que les participants qui abandonnent l’étude en cours de route ne présentent pas le même profil psychologique, social ou comportemental selon qu’ils appartiennent au groupe d’intervention ou au groupe de comparaison. Cook conceptualise cette attrition différentielle comme une réintroduction insidieuse du biais de sélection à l’intérieur même d’une expérience initialement équilibrée. Pour neutraliser ces menaces, Cook formalise une série de contre-mesures architecturales : utilisation de groupes de comparaison multiples, récolte de pré-tests longitudinaux répétés pour modéliser les courbes de maturation, et suivi acharné des participants sortants pour borner l’effet de l’attrition.

3.2 La validité de construit et les enjeux d’opérationnalisation

Si la validité interne s’assure qu’une relation de cause à effet s’est bien produite au niveau des mesures empiriques, la validité de construit s’attaque à un défi d’ordre abstrait : que représentent réellement, sur le plan théorique, les variables manipulées et mesurées ? Cook met en garde contre le gouffre ontologique et sémantique qui sépare invariablement un construit psychologique abstrait (par exemple, « l’estime de soi », « l’intelligence fluide », « la cohésion sociale » ou « le stress post-traumatique ») des opérations empiriques concrètes mobilisées pour l’induire ou le quantifier. Une recherche peut afficher une validité interne impeccable mais une validité de construit catastrophique si le chercheur mesure en réalité l’anxiété de performance là où il pensait mesurer la déficience cognitive.

Cook inventorie de manière impitoyable les biais propres aux interactions humaines qui parasitent l’opérationnalisation. Parmi eux figurent les effets de réactivité des participants :

• Les caractéristiques de la demande : La tendance des sujets à deviner les hypothèses de l’investigateur et à adapter artificiellement leurs réponses pour lui faire plaisir ou le défier.
• L’appréhension de l’évaluation : L’inhibition ou le surpassement anxieux liés au sentiment d’être jugé.
• Les attentes de l’expérimentateur (effet Rosenthal/Pygmalion) : L’orientation involontaire et imperceptible des sujets par les signaux non verbaux du chercheur.
• Les effets placebo et l’effet Hawthorne : La réaction psychologique bénéfique liée au simple fait de recevoir de l’attention ou un protocole nouveau, quelle qu’en soit la nature réelle.

Face à ces artefacts, Cook préconise le principe fondamental des opérations convergentes multiples (convergent and discriminant operations). Aucun construit ne doit être encapsulé dans une métrique unique : l’évaluation d’un trouble de l’attention doit croiser des questionnaires d’auto-évaluation, des mesures psychophysiologiques objectives et des observations comportementales indépendantes menées par des tiers aveugles aux conditions de traitement. En outre, Cook souligne la nécessité impérieuse de distinguer scrupuleusement la « cause théorique postulée » du « protocole d’intervention réel ». Souvent, une intervention éducative réussie n’agit pas en raison de son contenu pédagogique officiel, mais parce qu’elle a mobilisé l’enthousiasme des enseignants ou augmenté les ressources matérielles des classes, des éléments incidents non conceptualisés dans le schéma initial.

3.3 La validité des conclusions statistiques et la puissance analytique

La validité des conclusions statistiques s’intéresse à la justesse mathématique des décisions inférentielles prises par le chercheur : la covariation statistique observée entre les variables est-elle réelle ou n’est-elle que le produit aléatoire de l’échantillonnage ? Et si cette relation existe, quelle est avec précision la magnitude de son effet ? Thomas D. Cook a été l’un des premiers psychologues méthodologistes à sonner l’alarme concernant le sous-dimensionnement chronique des études en sciences humaines. Il dénonce avec vigueur l’obsession aveugle pour le seuil de signification de p < 0,05 (l’erreur de type I) au détriment tragique de la puissance statistique (le risque d’erreur de type II), qui conduit des centaines d’études à conclure à l’inefficacité d’interventions pourtant salutaires simplement parce que l’échantillon était trop restreint pour détecter un effet modeste mais cliniquement décisif.

Cook dissèque également les violations des postulats mathématiques sous-jacents aux modèles statistiques classiques. Il rappelle avec insistance que l’application de tests paramétriques standard suppose :

• La normalité des distributions,
• L’homoscédasticité (homogénéité des variances),
• Et surtout, l’indépendance des observations.

Cette dernière condition est continuellement violée dans les recherches de terrain : les élèves sont regroupés au sein de classes, les patients au sein de cliniques, les citoyens au sein de municipalités. Ignorer ces structures hiérarchiques et cette autocorrélation intra-classe (intraclass correlation) gonfle artificiellement les degrés de liberté, réduit indûment les erreurs types et génère des myriades de résultats faussement positifs. Cook fut l’un des ardents promoteurs précoces de l’ajustement pour effets de grappes et des modélisations multiniveaux.

Enfin, Cook aborde avec minutie la question de la fidélité (reliability) des instruments de mesure. Une échelle psychométrique affichant un coefficient alpha de Cronbach médiocre atténue mécaniquement les corrélations observables et engloutit l’effet du traitement dans une variance d’erreur massive. Il théorise également la gestion rigoureuse de la multiplicité des tests statistiques : à force de mesurer des dizaines de résultats sans ajustement rigoureux du taux d’erreur globale par famille (Familywise Error Rate) ou du taux de fausse découverte (False Discovery Rate), le chercheur se condamne à célébrer des artefacts stochastiques comme des découvertes révolutionnaires.

3.4 La validité externe et les conditions de la généralisation

La validité externe représente le couronnement de la typologie cookienne : elle concerne l’extrapolabilité des relations causales mises en évidence dans une recherche vers d’autres populations, contextes temporels, environnements géographiques et variantes opérationnelles de l’intervention. Pour conceptualiser cette dynamique avec une rigueur formelle inédite, Cook, en collaboration avec Campbell et Shadish, forge le célèbre acronyme ou modèle UTOS :

• U (Units) : Les unités spécifiques analysées (individus, écoles, hôpitaux) ;
• T (Treatments) : Les traitements particuliers administrés ;
• O (Outcomes) : Les mesures de résultats observées ;
• S (Settings) : Les contextes spatiotemporels précis au sein desquels l’expérience a pris place.

Le chercheur doit distinguer la validité externe locale (la généralisation à la population cible représentée par l’échantillon : from sample to sub-population) et la validité externe élargie (l’extrapolation vers de tout autres contextes non inclus dans l’étude : across populations and settings). Cook met en garde contre les interactions causales contextuelles : un programme de tutorat individualisé qui démontre une efficacité spectaculaire dans des banlieues américaines aisées (Settings A) auprès d’élèves motivés (Units A) peut se révéler totalement inopérant, voire contre-productif, s’il est transposé dans des zones rurales défavorisées ou des environnements scolaires sous-financés et hostiles (Settings B).

Cook formalise ainsi la tension inévitable et le compromis structurel (trade-off) qui s’exerce continuellement entre validité interne et validité externe. En cherchant à maximiser à l’extrême la validité interne par des protocoles hermétiques, des contrôles drastiques et des critères d’exclusion hyper-spécifiques éliminant les sujets complexes (comorbidités, instabilité sociale), les expérimentalistes classiques produisent des données d’une pureté interne incontestable, mais dont la validité externe est proche du néant pour la pratique clinique réelle. Cook plaide inlassablement pour une méthodologie équilibrée, acceptant une dose maîtrisée de variabilité contextuelle afin d’observer comment les interventions respirent, résistent et performent au contact du monde social réel.

4. Les plans de recherche quasi-expérimentaux canoniques

Au-delà de la cartographie conceptuelle des menaces à la validité, l’immense gloire scientifique de Thomas D. Cook provient de sa formalisation architecturale et mathématique des plans de recherche quasi-expérimentaux canoniques. Cook a montré que le manque d’assignation aléatoire ne condamne nullement la science à l’approximation, pourvu que la structure même du devis (recueil temporel des données, multiplication des points de mesure, disposition stratégique des groupes de contrôle) vienne neutraliser méthodologiquement les hypothèses rivales.

4.1 Le plan à groupes non équivalents avec pré-test et post-test

Le plan à groupes non équivalents avec pré-test et post-test (Non-equivalent Comparison Group Design with Pretest and Posttest) représente sans doute l’architecture méthodologique la plus intensément utilisée dans les sciences humaines et sociales. Cook a consacré des décennies à en perfectionner le cadre opératoire. Dans ce schéma, un groupe d’intervention reçoit un traitement novateur tandis qu’un groupe de comparaison, issu d’une population analogue mais non sélectionné par tirage au sort, poursuit sa routine habituelle. Des mesures identiques sont collectées avant (pré-test, (O_1)) et après l’intervention (post-test, (O_2)).

Cook explicite la manière dont la présence d’une mesure pré-test substantielle transforme radicalement la portée de la comparaison. En collectant (O_1), le chercheur se dote d’un instrument permettant d’objectiver et de modéliser le biais de sélection initial. Si le groupe traité affiche un score initial de 45 et le groupe témoin de 40, l’analyse ne se borne pas à constater un 60 contre 45 au post-test : elle quantifie la trajectoire différentielle. Cook met toutefois en garde contre l’illusion commune consistant à croire qu’une simple soustraction arithmétique (score de gain : ((O_{2E} – O_{1E}) – (O_{2C} – O_{1C}))) ou qu’une banale analyse de covariance (ANCOVA) élimine par enchantement tous les biais de sélection.

L’apport spécifique de Cook consiste à avoir démontré que l’interaction entre la sélection et la maturation constitue la menace mortelle de ce plan de recherche. Même si deux groupes présentent des scores similaires au pré-test, leurs courbes intrinsèques de développement peuvent diverger radicalement en raison de dynamiques socioculturelles sous-jacentes (un groupe d’enfants issus de milieux favorisés apprend à lire à un rythme accéléré par rapport à un groupe défavorisé, indépendamment de toute pédagogie expérimentale). Pour désamorcer ce péril, Cook conceptualise l’adjonction de groupes témoins non équivalents multiples (multiple non-equivalent control groups). En mobilisant deux ou trois groupes de contrôle distincts (par exemple, un groupe issu de la même école, un groupe d’une école voisine et un groupe d’un district socio-démographiquement similaire), le méthodologiste triangule la dispersion des résultats et vérifie si le saut qualitatif du groupe traité dépasse l’amplitude des variations structurelles constatées entre les différents témoins.

4.2 L’analyse des séries temporelles interrompues

Pour les contextes où la constitution d’un groupe témoin s’avère matériellement impossible — comme l’évaluation d’une nouvelle législation nationale, d’un changement d’horaires scolaires à l’échelle d’un pays ou de l’introduction d’une taxe sur les boissons sucrées —, Cook formalise et promeut avec éclat l’analyse des séries temporelles interrompues (Interrupted Time Series Design). Le principe méthodologique repose sur le recueil continu et régulier d’observations longitudinales sur une longue période avant l’introduction de l’intervention ((O_1, O_2, dots, O_{50})), suivi d’un recueil prolongé après cette intervention ((O_{51}, dots, O_{100})).

Cook affine l’infrastructure analytique de ce plan en intégrant les modèles stochastiques ARIMA (autorégressifs intégrés de moyennes mobiles) développés par George Box et Gwilym Jenkins. Ces modèles permettent d’extraire et de modéliser mathématiquement les composantes structurelles de la série pré-intervention :

• La tendance séculaire (la pente directionnelle de fond),
• La saisonnalité (les variations cycliques régulières, comme les pics de dépression en hiver),
• Et l’autocorrélation résiduelle (le fait que la mesure d’aujourd’hui dépend étroitement de celle d’hier).

Une fois cette dynamique pré-existante calibrée, Cook invite à une typologie analytique sophistiquée de l’effet d’intervention. L’effet est-il immédiat ou différé ? Est-il transitoire (un pic d’enthousiasme suivi d’un retour progressif à la ligne de base) ou permanent (un décalage pérenne du niveau de la série) ? L’intervention a-t-elle altéré le niveau absolu (intercept) ou le taux de croissance (slope) de la variable d’intérêt ? Enfin, pour immuniser définitivement le modèle contre la menace de l’histoire locale (un événement exogène survenu exactement en même temps que l’intervention), Cook préconise l’analyse de séries temporelles interrompues avec série de contrôle non équivalente (interrupted time series with a non-equivalent comparison series), où l’on suit en parallèle une unité géographique ou une variable dépendante non concernée par la politique publique.

4.3 La conception par régression sur discontinuité (Regression Discontinuity Design)

L’un des faits d’armes méthodologiques les plus éclatants de Thomas D. Cook est sans conteste la résurrection, la démonstration mathématique et la popularisation planétaire du plan par régression sur discontinuité (Regression Discontinuity Design ou RDD). Conçu initialement de manière presque confidentielle par Donald Thistlethwaite et Donald Campbell en 1960 dans un article de psychologie de l’éducation sur les bourses d’études, ce devis était tombé dans un oubli relatif pendant près de deux décennies. Cook a immédiatement perçu la puissance épistémologique colossale de cette méthode, la qualifiant d’outil quasi-expérimental le plus proche de la perfection expérimentale fisherienne.

Le mécanisme d’assignation du RDD repose sur l’utilisation délibérée et transparente d’une variable continue pré-intervention (appelée « variable de forçage », « variable de sélection » ou forcing/running variable), coupée de manière stricte par un seuil déterministe (cutoff score). Tous les individus situés d’un côté du seuil sont impérativement assignés au traitement, tandis que tous ceux situés de l’autre côté sont assignés au groupe témoin. Par exemple, les élèves obtenant un score inférieur ou égal à 60/100 à un test diagnostique de lecture reçoivent un soutien scolaire intensif, tandis que ceux qui obtiennent 61/100 ou plus poursuivent le cursus normal.

L’intuition géniale démontrée et formalisée par Cook avec des collègues statisticiens et économistes repose sur le statut localement aléatoire des observations situées dans le voisinage immédiat du seuil. À une distance infinitésimale de chaque côté de la limite (par exemple un élève obtenant 59,9 et un autre obtenant 60,1), la position relative des sujets relève du hasard le plus pur (variations de concentration le jour du test, un point coché par inadvertance). Dès lors, dans cette fenêtre locale autour du seuil d’éligibilité, les deux groupes sont rigoureusement équivalents sur l’ensemble des caractéristiques observées et non observées, exactement comme dans un essai clinique randomisé. Cook a supervisé des dizaines d’applications empiriques du RDD pour évaluer les bourses au mérite, les seuils d’intervention psychiatrique et les politiques de redistribution des ressources éducatives, établissant la RDD comme le joyau de la couronne quasi-expérimentale.

5. L’ouvrage séminal de 2002 : Shadish, Cook et Campbell

Vingt-trois ans après la parution de leur classique de 1979, Thomas D. Cook s’associe à William R. Shadish et Donald T. Campbell pour signer ce qui demeure à ce jour le monument intellectuel indétrôné de la littérature méthodologique mondiale : Experimental and Quasi-Experimental Designs for Generalized Causal Inference, paru chez Houghton Mifflin en 2002. Cet ouvrage volumineux de près de 650 pages ne constitue pas une simple révision cosmétique ; il marque l’avènement de la synthèse définitive entre la tradition psychologique critique des menaces de validité et la révolution mathématique contemporaine de l’économétrie et de l’épidémiologie causale.

5.1 La genèse et la refonte théorique de l’ouvrage classique

La gestation de l’ouvrage de 2002 s’est déroulée dans un contexte académique traversé par de profonds bouleversements conceptuels. Les années 1980 et 1990 avaient vu émerger des critiques acerbes émanant de statisticiens mathématiques et d’économètres formels, reprochant à la tradition cooko-campbellienne son vocabulaire jugé trop heuristique, qualitatif et insuffisamment ancré dans les formulations probabilistes modernes. Parallèlement, Donald T. Campbell, affaibli par la maladie, s’éteint en 1996 avant la finalisation complète du manuscrit. La charge colossale d’harmoniser, de réécrire et de porter à maturité cette somme théorique a donc reposé de manière prépondérante sur les épaules de William Shadish et de Thomas D. Cook.

La refonte théorique accomplie par les auteurs est prodigieuse. Shadish et Cook parviennent à conserver toute la saveur intuitive, la lucidité pragmatique et le sens aigu des réalités du terrain qui faisaient le génie du texte originel, tout en greffant sur cette ossature une rigueur mathématique sans faille. Ils réarticulent entièrement la typologie des validités, renforcent le statut de la validité de construit face aux dérives réductionnistes, et proposent des guides d’implémentation opérationnels pas à pas pour chaque configuration d’étude envisageable.

La réception critique de l’ouvrage par la communauté scientifique internationale a été unanime et retentissante. Consacré instantanément comme la « Bible méthodologique » des sciences du comportement, de l’éducation, de la sociologie et de la santé publique, le livre est salué par des revues de référence telles que le Journal of the American Statistical Association. Il s’est imposé comme le texte le plus cité de la méthodologie contemporaine, formant le socle de formation obligatoire de plusieurs générations de doctorants à travers le monde.

5.2 L’intégration des modèles causaux modernes et du formalisme de Rubin

Le tour de force intellectuel majeur de l’ouvrage de 2002 réside dans l’intégration spectaculaire et harmonieuse de la tradition campbellienne d’élimination des menaces avec le modèle causal des résultats potentiels (Potential Outcomes Framework) développé par le statisticien de Harvard Donald Rubin. Cook comprend que loin de s’exclure, ces deux épistémologies sont profondément complémentaires : le formalisme mathématique de Rubin offre la rigueur notationnelle qui manquait à Campbell, tandis que la taxonomie de Cook et Campbell offre le répertoire ontologique des menaces de terrain sur lequel la théorie pure de Rubin demeurait souvent silencieuse.

Dans ce cadre formalisé, pour chaque unité indicée (i), il existe théoriquement deux résultats potentiels : (Y_i(1)) (le résultat qui s’observerait si l’unité recevait le traitement) et (Y_i(0)) (le résultat qui s’observerait si la même unité ne recevait pas le traitement). Le problème causal fondamental réside dans l’impossibilité métaphysique d’observer simultanément ces deux états pour le même individu au même instant ((Y_i(1)) et (Y_i(0))). Cook formalise comment les devis quasi-expérimentaux s’attaquent à la reconstitution statistique du contrefactuel inobservé pour estimer :

• L’effet moyen du traitement sur l’ensemble de la population (ATE, Average Treatment Effect) : (tau_{text{ATE}} = mathbb{E}[Y(1) – Y(0)]),
• Et l’effet moyen du traitement sur les unités effectivement traitées (ATT, Average Treatment Effect on the Treated) : (tau_{text{ATT}} = mathbb{E}[Y(1) – Y(0) mid D = 1]), où (D) dénote l’assignation effective.

Cette convergence théorique permet à Cook d’opérer une clarification philosophique de premier ordre sur la nature même de la causalité. Il récuse définitivement la conception newtonienne déterministe et mécaniste de la cause au profit d’une causalité probabiliste, contextuelle et manipulable (manipulist conception of causes). Une intervention est reconnue comme causale au sens de Cook si, et seulement si, sa manipulation délibérée altère la probabilité de survenue du résultat contrefactuel dans un sous-ensemble d’unités sous des conditions environnementales spécifiées.

5.3 La synthèse empirique et les directives pratiques pour la recherche de terrain

L’ouvrage de 2002 ne se confine jamais à la spéculation mathématique ou philosophique ; sa vocation ultime est de constituer un manuel d’ingénierie méthodologique pour le chercheur immergé dans le tumulte du terrain. Shadish, Cook et Campbell déploient un catalogue raisonné de techniques de contrôle statistique et d’ajustement des covariables. Ils détaillent l’usage stratégique de la stratification, de la modélisation linéaire robuste, des modèles de sélection de Heckman et des algorithmes d’appariement émergents, en explicitant toujours de manière impitoyable les postulats invisibles que ces méthodes exigent pour être valides.

Un apport fondamental de cette synthèse réside dans l’obligation méthodologique nouvelle formulée par Cook : l’évaluation exhaustive et continue des processus d’implémentation (process evaluation et fidelity of implementation). Cook démontre que des centaines d’évaluations concluant prématurément à « l’échec » d’une théorie psychosociale n’ont en réalité documenté qu’une faillite opérationnelle : le programme, sur le papier admirable, n’avait jamais été administré dans les classes ou les centres de soins conformément à son protocole d’origine (Type III Error : évaluer rigoureusement un programme qui n’a pas eu lieu). Le chercheur doit documenter la « dose » réelle reçue, l’adhésion des praticiens et l’intégrité de la prestation.

Enfin, Cook et ses coauteurs édictent des standards d’une clarté exemplaire pour la publication et l’évaluation par les pairs des études appliquées. Ils fournissent des grilles d’audit méthodologique destinées à repérer les failles dissimulées sous le jargon statistique, incitant la communauté scientifique à exiger la transparence totale sur les taux d’attrition, la distribution des valeurs manquantes et les analyses de sensibilité. Ces directives pratiques ont exercé une influence directrice majeure sur la rédaction des grilles de standards méthodologiques internationaux comme les déclarations CONSORT et TREND.

6. L’inférence causale appliquée aux politiques publiques et à l’éducation

L’engagement académique de Thomas D. Cook n’a jamais été un exercice académique désincarné ; il s’est continuellement nourri des grandes controverses sociales de son temps. Persuadé que la rigueur de l’inférence causale est la seule arme capable de protéger l’action publique contre les idéologies partisanes et le gaspillage des deniers de l’État, Cook s’est attaqué de front à l’évaluation des réformes sociétales les plus massives entreprises aux États-Unis au cours des cinquante dernières années.

6.1 L’évaluation critique du programme Head Start et de la petite enfance

L’une des contributions historiques les plus marquantes de Thomas D. Cook concerne son intervention décisive dans la controverse nationale entourant l’évaluation du programme Head Start. Lancé en 1965 dans le cadre de la « Guerre contre la pauvreté », Head Start injectait des milliards de dollars pour offrir une éducation préscolaire, un soutien nutritionnel et des soins médicaux aux enfants issus des milieux les plus déshérités. Or, en 1969, le célèbre rapport d’évaluation conduit par le Westinghouse Learning Corporation et l’Université de l’Ohio jette un froid glacial sur le pays : l’étude conclut que le programme n’a aucun impact cognitif durable et que les gains initiaux disparaissent totalement après quelques mois d’école élémentaire (le fameux phénomène de fade-out).

Avec une sagacité analytique devenue légendaire, Thomas D. Cook réanalyse minutieusement les données et le protocole de l’étude Westinghouse. Il met en lumière une faille méthodologique structurelle dévastatrice : le groupe témoin avait été constitué a posteriori en recrutant des enfants non inscrits à Head Start au sein des mêmes quartiers, mais issus de familles en moyenne légèrement plus aisées et stables. Pour tenter de corriger cette non-équivalence évidente, les évaluateurs de Westinghouse avaient utilisé une simple analyse de covariance (ANCOVA) ajustée sur le statut socio-économique et le score pré-test.

Cook prouve mathématiquement que lorsque les instruments de mesure pré-test sont entachés d’erreurs de mesure psychométriques inévitables, l’ANCOVA ne parvient pas à éliminer le biais : pire, elle introduit un biais systématique de sous-estimation de l’effet du traitement par une pseudo-correction faussée par la régression statistique vers la moyenne. En démontrant que l’évaluation officielle avait sous-estimé les gains réels engrangés par les enfants les plus vulnérables, Cook réhabilite la validité de l’investissement dans la petite enfance. Ses démonstrations résonnent jusqu’au Congrès américain, empêchant le démantèlement prématuré du programme et conduisant à une refonte complète des allocations budgétaires fédérales fondées sur une méthodologie recalibrée.

6.2 Les réformes scolaires systémiques et les interventions communautaires

Tout au long des années 1980 et 1990, Cook plonge au cœur des réformes structurelles de l’éducation urbaine américaine. Il s’intéresse en particulier aux effets réels des politiques de déségrégation raciale obligatoire, impliquant le transport scolaire par autobus (desegregation busing) destiné à briser les ghettos scolaires. Face aux polémiques incendiaires opposant partisans et détracteurs, Cook conçoit des protocoles d’évaluation quasi-expérimentaux écologiques d’une grande complexité, capables d’isoler l’impact académique et psychosocial de la mixité sociale des multiples facteurs perturbateurs (fuite des classes moyennes blanches vers les banlieues, instabilité du corps professoral, modifications curriculaires concomitantes).

Ses recherches empiriques sur les réformes scolaires systémiques dans des métropoles comme Philadelphie, Chicago ou Détroit font date. Cook refuse d’évaluer l’école comme une boîte noire étanche. Il développe une approche socio-écologique globale, intégrant dans ses modélisations causales :

• Les dynamiques internes du climat de classe,
• La structure des réseaux de pairs,
• Le niveau de stress et de ressources financières intrafamiliales,
• Et les caractéristiques physiques et criminogènes des quartiers (neighborhood effects).

Dans ses travaux monumentaux sur le programme Comer School Development Program (conçu par le psychiatre James Comer pour transformer les écoles déshéritées en communautés éducatives bienveillantes et intégrées), Cook déploie des devis longitudinaux avec groupes témoins appariés sur plusieurs années scolaires. Ses conclusions soulignent l’importance vitale du temps de latence : les réformes scolaires systémiques ne produisent aucun gain mesurable au cours des deux premières années, le temps que s’apaisent les résistances institutionnelles, avant d’engendrer une progression significative et cumulative sur les compétences socio-émotionnelles et les apprentissages fondamentaux dès la quatrième année. Cook offre ainsi aux planificateurs une leçon magistrale sur la temporalité des effets en politiques publiques.

6.3 Le programme ‘Sesame Street’ et l’évaluation des médias éducatifs

Au début des années 1970, l’émission télévisée Sesame Street (1, rue Sésame) révolutionne le paysage médiatique mondial en proposant un programme ludo-éducatif conçu explicitement pour enseigner les compétences de pré-lecture, le calcul de base et la socialisation aux jeunes enfants, avec pour cible prioritaire les enfants des minorités défavorisées des centres-villes. Une première évaluation commandée par les producteurs à l’Educational Testing Service (ETS) proclame un succès phénoménal : les enfants visionnant l’émission affichent des progrès cognitifs prodigieux.

Thomas D. Cook et son équipe de Northwestern décident de mener une réévaluation méthodologique indépendante de ces données, qui donnera lieu en 1975 à la publication d’un livre séminal : “Sesame Street” Revisited. Cook y révèle que l’évaluation initiale d’ETS souffrait d’un biais de confusion majeur : pour les besoins de l’étude expérimentale sur le terrain, les enquêteurs avaient encouragé activement certaines familles à faire regarder l’émission à leurs enfants, leur offrant des visites à domicile régulières, des jouets thématiques et un encadrement éducatif permanent. Dès lors, le traitement réel n’était pas « regarder Sesame Street », mais « être encouragé, stimulé et visité à domicile pour regarder l’émission ».

L’analyse menée par Cook dévoile un résultat sociologique et psychologique stupéfiant qui va marquer l’histoire de la communication : l’hypothèse du fossé des connaissances (Knowledge Gap Hypothesis). Cook démontre que si l’émission bénéficie certes aux enfants défavorisés qui la regardent, elle est regardée avec une assiduité et un accompagnement parental infiniment supérieurs au sein des familles de classes moyennes et supérieures disposant d’un capital culturel élevé. En conséquence, au lieu de réduire l’écart cognitif entre riches et pauvres, la diffusion universelle de Sesame Street avait pour effet pervers involontaire d’élargir le fossé des connaissances entre les deux groupes sociaux. Cette démonstration magistrale illustre la nécessité absolue d’une analyse méticuleuse des interactions d’intervention dans l’évaluation des médias de masse.

7. La confrontation empirique : Essais randomisés vs quasi-expériences

Durant plusieurs décennies, une querelle méthodologique fratricide a opposé les tenants inconditionnels des essais contrôlés randomisés (RCT) aux partisans des approches quasi-expérimentales et observationnelles. Les premiers affirmaient qu’en dehors de l’assignation aléatoire, toute tentative d’inférence causale était condamnée à l’erreur et au mirage statistique ; les seconds rétorquaient que les devis quasi-expérimentaux bien conduits fournissaient des estimations d’une précision comparable tout en préservant la validité écologique. Plutôt que de s’enfermer dans un débat rhétorique stérile, Thomas D. Cook a conçu un programme expérimental novateur destiné à trancher empiriquement cette controverse.

7.1 Le paradigme des comparaisons intra-études (Within-Study Comparisons)

Pour mesurer avec une objectivité mathématique absolue le degré d’erreur imputable à l’absence de randomisation, Cook et ses collaborateurs formalisent le paradigme méthodologique révolutionnaire des comparaisons intra-études (Within-Study Comparisons ou WSC). Le principe architectural de ce protocole est d’une élégance absolue : au sein d’une même grande recherche sur une intervention donnée, on constitue un échantillon de référence assigné de façon strictement aléatoire entre un groupe traité expérimental ((T_{text{RCT}})) et un groupe témoin expérimental ((C_{text{RCT}})). L’effet causal déduit de cette comparaison sert de « référence étalon » indiscutable (le benchmark de vérité terrain, ou ground truth).

Parallèlement, les chercheurs créent un ou plusieurs groupes de comparaison quasi-expérimentaux non randomisés ((C_{text{QED}})), issus d’autres cohortes, d’autres bases de données administratives ou recrutés selon des processus d’auto-sélection naturelle. Les analystes comparent ensuite le groupe traité ((T_{text{RCT}})) à ce groupe témoin non randomisé ((C_{text{QED}})) en appliquant diverses méthodes de redressement statistique (régressions, appariements par score de propension, etc.).

Ce protocole permet à Cook de calculer avec une précision d’orfèvre l’erreur d’estimation causale (causal estimation bias) :
[text{Biais} = hat{tau}_{text{QED}} – hat{tau}_{text{RCT}}]
Si le biais est statistiquement nul et substantiellement négligeable, la preuve empirique est apportée que la méthode quasi-expérimentale a su reproduire fidèlement la vérité de l’essai randomisé.

7.2 La réhabilitation empirique de la discontinuité de la régression

L’application du paradigme des comparaisons intra-études par Cook a offert un triomphe scientifique éclatant à la méthode de régression sur discontinuité (RDD). Dans une série d’articles retentissants publiés entre 2008 et 2012 (notamment avec Vivian Wong, Peter Steiner et William Shadish), Cook compare directement des RCTs et des RDDs portant sur les mêmes programmes éducatifs et les mêmes cohortes scolaires.

Les résultats empiriques s’avèrent catégoriques : lorsque les conditions théoriques de la régression sur discontinuité sont scrupuleusement respectées, l’estimation causale locale obtenue par la RDD est mathématiquement indiscernable de celle obtenue par l’essai randomisé idéal. La distribution des erreurs types et l’amplitude de l’effet moyen convergent avec une fidélité stupéfiante. Cook administre ainsi la preuve irréfutable que la RDD n’est pas un substitut méthodologique dégradé, mais un clone fonctionnel parfait de l’expérimentation fisherienne au voisinage du seuil.

Cependant, Cook ne s’arrête pas au constat du triomphe ; il explicite avec sévérité les conditions sine qua non requises pour garantir cette équivalence parfaite :

• L’intégrité absolue de la variable de forçage : absence totale de manipulation locale du seuil (aucun participant ou examinateur ne doit être en mesure d’ajuster son score pour franchir opportunément la ligne de coupure, testable empiriquement par le test de densité de McCrary) ;
• La modélisation fonctionnelle irréprochable de la relation entre la variable de forçage et le résultat (afin de ne pas confondre une discontinuité causale avec une non-linéarité polynomiale de la courbe) ;
• Et une densité statistique suffisante de points au voisinage direct du cutoff.

7.3 Les conditions de performance de l’appariement par score de propension

Si la réhabilitation de la RDD fut un triomphe sans ombre, les conclusions des comparaisons intra-études conduites par Cook sur l’appariement par score de propension (Propensity Score Matching ou PSM) ont apporté une clarification salutaire, teintée d’une mise en garde majeure face à l’engouement parfois aveugle de la communauté scientifique.

Cook, Steiner et Shadish démontrent expérimentalement que les algorithmes sophistiqués de score de propension échouent lourdement à reproduire les résultats de l’essai randomisé lorsque les variables utilisées pour calculer la probabilité d’assignation se limitent à des données démographiques banales et faciles d’accès (sexe, âge, catégorie socioprofessionnelle globale). Dans ce cas de figure fréquent, un biais résiduel massif persiste, invalidant complètement les conclusions de l’étude.

En revanche, Cook met en évidence les conditions d’or sous lesquelles le score de propension élimine intégralement le biais de sélection :

• Le modèle de propension doit intégrer une batterie riche et exhaustive de covariables psychologiques, comportementales et locales directement liées au processus d’auto-sélection des individus (pourquoi un sujet a-t-il volontairement choisi d’entrer dans le programme ?) ;
• La disponibilité impérative d’une mesure pré-test substantielle et fidèle du résultat futur (baseline measure of the outcome), collectée dans des conditions psychométriques rigoureusement identiques à celles du post-test ;
• L’ancrage territorial et contextuel commun des groupes traités et témoins (sélectionner des témoins vivant dans le même environnement écologique immédiat, et non dans des registres étatiques impersonnels et distants).

Cook brise ainsi le mythe techno-statistique selon lequel l’algorithme mathématique pourrait compenser magiquement des données empiriques indigentes : la validité causale découle de la pertinence théorique des variables observées, et non de la complexité formelle de l’estimateur.

8. Méthodologie avancée : Scores de propension et modélisation causale

À l’orée du nouveau millénaire, Thomas D. Cook s’est affirmé comme l’un des artisans majeurs de l’assimilation et de l’approfondissement des techniques statistiques avancées dédiées au traitement des données observationnelles. Sa force a toujours consisté à marier une compréhension intime des équations mathématiques les plus sophistiquées avec une vigilance épistémologique sans faille quant aux postulats sous-jacents qui en conditionnent l’usage légitime.

8.1 L’apport des scores de propension dans les contextes observationnels

Introduit en 1983 par Paul Rosenbaum et Donald Rubin, le score de propension est défini comme la probabilité conditionnelle qu’a une unité d’être assignée à un traitement particulier, sachant un vecteur étendu de covariables observées pré-intervention :
[e(X) = P(D = 1 mid X)]
L’intérêt théorique fondamental réside dans la propriété d’équilibrage (balancing property) : conditionnellement au score scalaire unidimensionnel (e(X)), la distribution des caractéristiques multidimensionnelles observables (X) devient statistiquement indépendante de l’assignation au traitement (D), mimant ainsi localement les propriétés de la randomisation pour les variables incluses.

Thomas D. Cook a joué un rôle d’évangélisateur et de régulateur méthodologique de ces techniques au sein de la psychologie et des sciences sociales. Il détaille et compare rigoureusement les différentes déclinaisons opératoires offertes aux chercheurs :

• L’appariement direct (Matching) : Au plus proche voisin (nearest neighbor), avec ou sans remplacement, assorti de calibres d’exclusion stricts (caliper distance) ;
• La stratification sur quintiles du score de propension : Capable d’éliminer jusqu’à 90 % du biais manifeste lié aux covariables mesurées selon les théorèmes de Cochran ;
• La pondération par l’inverse de la probabilité de traitement (Inverse Probability of Treatment Weighting ou IPTW) : Assignant à chaque individu un poids probabiliste proportionnel à l’inverse de sa chance d’avoir reçu le traitement effectif.

Cook insiste de manière inflexible sur l’étape diagnostique fondamentale qui doit obligatoirement précéder toute estimation d’impact : l’audit scrupuleux de l’équilibre des covariables après appariement (par le biais des différences de moyennes standardisées, qui doivent impérativement chuter en deçà de 0,05 ou 0,10 écart-type) et l’examen rigoureux de la zone de support commun (common support ou overlap). Si les distributions de propension des traités et des témoins ne se chevauchent pas substantiellement, Cook enjoint aux chercheurs d’élaguer sans hésitation les observations non comparables, affirmant avec sagesse qu’il vaut infiniment mieux restreindre le champ de la généralisation externe que de publier une estimation causale fictive bâtie sur une extrapolation statistique arbitraire.

8.2 La modélisation par équations structurelles et médiation causale

Pour un psychologue social du calibre de Cook, estimer l’effet causal net d’un programme ne constitue qu’une première étape : l’ambition ultime de la science réside dans l’explication des mécanismes sous-jacents, c’est-à-dire l’ouverture de la « boîte noire » séparant l’intervention du résultat. Cook s’est ainsi investi dans le perfectionnement de la modélisation par équations structurelles (Structural Equation Modeling ou SEM) et l’analyse de médiation causale moderne.

Dépassant les formulations intuitives mais limitées introduites par Reuben Baron et David Kenny en 1986, Cook participe à l’intégration des principes de l’inférence causale formelle dans l’analyse de médiation, en dialogue avec les formulations issues des graphes causaux dirigés (DAGs) de Judea Pearl. Le problème classique consiste à décomposer l’effet total d’une intervention ((X to Y)) en :

• Un effet indirect médiatisé transitant par une variable intermédiaire ((X to M to Y)),
• Et un effet direct non médiatisé ((X to Y)).

Cook alerte avec insistance la communauté académique sur le postulat implicite extrêmement lourd et presque toujours violé des modèles de médiation traditionnels : l’absence de confusion non observée entre le médiateur et le résultat final (mediator-outcome confounding). Même au sein d’une expérience où l’intervention (X) a été parfaitement randomisée par tirage au sort, la valeur prise par le médiateur (M) chez chaque sujet relève d’une dynamique psychologique endogène, réintroduisant de facto tout le poison du biais d’auto-sélection dans la relation (M to Y). Cook enjoint les chercheurs à concevoir des protocoles d’expérimentation séquentielle à doubles interventions ou à employer des techniques d’analyse de sensibilité pour valider l’intégrité de leurs chaînes causales mécanistiques.

8.3 L’analyse de sensibilité face aux variables non observées

L’argument fatal invariablement opposé aux devis quasi-expérimentaux basés sur des covariables mesurées (comme le score de propension ou la régression multivariée) réside dans l’impossibilité ontologique de prouver le postulat d’ignorabilité conditionnelle forte (Strong Ignorability), également qualifié de postulat de sélection uniquement basée sur les observables (selection on observables). Il subsistera toujours la possibilité théorique qu’une variable cachée — un trait de personnalité inobservable, une motivation intérieure, une circonstance fortuite non enregistrée — agisse simultanément sur l’accès au traitement et sur le résultat, réduisant à néant l’effet causal prétendu.

Thomas D. Cook a apporté une réponse méthodologique majeure à ce vertige solipsiste en promouvant l’analyse de sensibilité systématique (sensitivity analysis), s’appuyant notamment sur les développements mathématiques de Paul Rosenbaum. Plutôt que de prétendre vainement à l’absence miraculeuse de tout biais caché, le chercheur cookien inverse la charge de la preuve et pose la question en termes quantitatifs : « Quelle devrait être la magnitude exacte d’un facteur de confusion non observé pour modifier qualitativement les conclusions de mon étude et annuler statistiquement l’effet découvert ? »

À travers des protocoles de bornage des effets (bounding approaches, telles que les bornes de Rosenbaum basées sur le paramètre (Gamma)), l’analyste détermine la robustesse de son résultat. Si un facteur de confusion caché devait multiplier par un facteur de 3 ou 4 la cote d’assignation au traitement (ce qui correspondrait à un déterminant d’une force inouïe, introuvable dans la littérature clinique) pour faire disparaître l’effet du programme, le résultat peut être déclaré hautement robuste. Si en revanche un biais infime d’un facteur (Gamma = 1{,}15) suffit à faire s’effondrer la significativité du traitement, l’étude est reconnue comme méthodologiquement fragile. Cook a bataillé avec succès pour que ces métriques de sensibilité deviennent un standard obligatoire imposé par les comités éditoriaux des grandes revues scientifiques internationales.

9. Le rôle institutionnel de Cook dans l’évaluation fondée sur les preuves

L’empreinte indélébile laissée par Thomas D. Cook ne se cantonne pas aux bibliothèques universitaires et aux revues d’épistémologie. Véritable entrepreneur institutionnel mû par une haute conscience civique, il a mobilisé son prestige scientifique pour métamorphoser en profondeur la fabrique des politiques publiques nationales et internationales, orchestrant la transition historique vers l’ère de l’action publique fondée sur des données probantes (Evidence-Based Policy).

9.1 La Campbell Collaboration et la synthèse méthodique des données probantes

À la fin des années 1990, Thomas D. Cook constate avec regret l’émiettement des connaissances produites par les sciences sociales. Des dizaines de milliers d’études d’évaluation sont publiées à travers le monde, souvent contradictoires, dispersées dans des revues hétéroclites et méthodologiquement inégales, laissant les décideurs politiques dans une confusion totale ou à la merci des lobbies d’influence. Cook observe en revanche le succès retentissant de la Cochrane Collaboration en médecine, qui a su révolutionner la pratique clinique en édictant des standards rigides pour les revues systématiques et les méta-analyses d’essais cliniques.

Mû par cette vision, Cook devient, aux côtés de figures comme Robert Boruch et Mark Lipsey, l’un des pères fondateurs essentiels de la Campbell Collaboration, créée officiellement en 2000 et nommée en hommage à son mentor Donald T. Campbell. La vocation de cette organisation non gouvernementale internationale est de transposer l’intransigeance méthodologique de l’épidémiologie médicale aux champs de l’éducation, de la justice pénale, du travail social et du bien-être communautaire.

Sous la direction intellectuelle de Cook, la Campbell Collaboration élabore des protocoles d’une rigueur méthodique d’airain. Chaque revue systématique doit obligatoirement faire l’objet d’un pré-enregistrement transparent de son plan de recherche pour proscrire le biais de publication. Elle doit mener des stratégies d’investigation exhaustives dans la « littérature grise » (thèses non publiées, rapports ministériels) pour neutraliser le phénomène du « tiroir de bureau » (file-drawer effect), et évaluer individuellement chaque étude incluse au crible des menaces de validité interne et de construit formalisées par Cook. Grâce à ces standards, les revues systématiques Campbell sont aujourd’hui universellement considérées comme l’autorité suprême guidant les interventions sociales mondiales.

9.2 La formalisation des critères du ‘What Works Clearinghouse’

Sur le territoire américain, le leadership méthodologique de Cook trouve son expression institutionnelle la plus directe à travers son rôle central dans la fondation et le calibrage opérationnel du What Works Clearinghouse (WWC). Institué en 2002 par l’Institute of Education Sciences (IES) au sein du Département de l’Éducation des États-Unis, le WWC a été explicitement mandaté par le gouvernement fédéral pour établir un tri scientifique impitoyable entre les programmes pédagogiques bénéficiant de preuves causales solides et ceux relevant de l’illusion ou du marketing éducatif.

Thomas D. Cook a été l’architecte primordial des normes d’évaluation des preuves (WWC Evidence Standards). Il y consacre l’armature théorique de toute son existence académique. Les protocoles du WWC définissent une hiérarchie stricte des preuves articulée en trois paliers hermétiques :

• Répond aux normes WWC sans réserves (Meets Standards without Reservations) : Privilège accordé exclusivement aux essais contrôlés randomisés (RCT) intègres, ayant fait la preuve de l’absence totale d’attrition différentielle compromise.
• Répond aux normes WWC avec réserves (Meets Standards with Reservations) : Catégorie majeure incluant les protocoles de régression sur discontinuité (RDD) parfaitement exécutés et les plans à groupes non équivalents démontrant mathématiquement l’équivalence initiale de ligne de base (baseline equivalence) sur les facteurs pré-tests critiques.
• Ne répond pas aux normes de preuve (Does Not Meet Standards) : Sanction immédiate frappant toute étude corrélationnelle simple, plan pré-test/post-test à groupe unique ou recherche quasi-expérimentale affligée d’un déséquilibre initial non corrigé.

L’impact de ces critères techniques sur l’économie politique de l’éducation américaine est colossal. Le gouvernement fédéral conditionne désormais l’octroi de milliards de dollars de subventions scolaires prioritaires à l’adoption par les districts de programmes certifiés conformes aux échelons supérieurs du WWC. Cook a ainsi réussi le tour de force de transformer les concepts abstraits de validité interne en instruments tangibles d’allocation budgétaire étatique.

9.3 L’influence sur les agences internationales et les politiques gouvernementales

L’aura méthodologique de Thomas D. Cook s’est rapidement propagée bien au-delà des frontières nord-américaines. Régulièrement sollicité comme conseiller émérite et expert méthodologique de haut rang, il a influencé les doctrines d’évaluation des plus grandes organisations planétaires, notamment la Banque Mondiale, le Fonds Monétaire International, l’OCDE, l’UNESCO et l’UNICEF.

Dans le domaine du développement international, où les interventions (programmes de microfinance, transferts monétaires conditionnels, forages d’eau potable ou campagnes vaccinales) s’opèrent dans des contextes institutionnels d’une instabilité et d’une précarité extrêmes, l’orthodoxie randomisée pure se heurtait souvent à des impasses logistiques ou éthiques déchirantes. Cook a enseigné aux corps d’économistes et d’évaluateurs de ces institutions comment bâtir des devis quasi-expérimentaux à haute validité interne (par intégration de séries temporelles interrompues géographiques ou de seuils de discontinuité liés aux indices de pauvreté communaux).

Cette impulsion a profondément transformé la culture de l’aide humanitaire et du développement économique international. Elle a instauré une exigence de reddition de comptes (accountability) scientifiques sans précédent : les États donateurs et les banques multilatérales n’acceptent plus de mesurer le succès d’un projet par les montants financiers décaissés (inputs) ou le nombre d’écoles construites (outputs), mais exigent des évaluations quasi-expérimentales prouvant une altération causale durable des conditions de vie réelles des populations cibles (impact outcomes).

10. Débats épistémologiques, controverses et confrontations scientifiques

Un profil intellectuel de l’envergure de Thomas D. Cook ne saurait traverser un demi-siècle de recherche sans être le protagoniste de débats théoriques d’une intensité rare. Refusant la complaisance académique et armé d’une verve critique acérée, Cook s’est confronté tout au long de sa carrière aux paradigmes rivaux qui disputaient aux psychologues quasi-expérimentalistes le monopole de l’explication scientifique.

10.1 La controverse avec l’économétrie pure et le modèle des variables instrumentales

L’une des confrontations interdisciplinaires les plus stimulantes menées par Cook s’est déployée dans son dialogue critique avec l’économétrie du travail et les figures majeures de l’économie néoclassique et causale, telles que James Heckman, Joshua Angrist ou Guido Imbens. Les économistes avaient développé une tradition de modélisation structurelle reposant lourdement sur la méthode des variables instrumentales (Instrumental Variables ou IV) et l’estimation de l’effet moyen local du traitement (LATE) pour purger l’endogénéité sans avoir recours aux assignations aléatoires directes.

Bien que reconnaissant la beauté mathématique du formalisme IV, Cook a formulé un scepticisme empirique dévastateur quant à la plausibilité réelle de l’hypothèse centrale sur laquelle repose toute cette mécanique : la restriction d’exclusion (Exclusion Restriction). Pour qu’une variable instrumentale (Z) soit valide, elle doit impérativement influencer le traitement (D), mais ne posséder rigoureusement aucun lien causal direct ou indirect avec le résultat final (Y), autrement que par le canal unique de l’exposition à (D).

Cook a méthodiquement démontré que dans les contextes réels des sciences humaines et de l’éducation, cette restriction d’exclusion est presque systématiquement violée sur le plan écologique. Qu’il s’agisse de la distance géographique à l’université, du tirage au sort des juges ou des dates de naissance (utilisées comme instruments classiques), ces variables sont presque invariablement contaminées par des déterminants socio-spatiaux, économiques ou motivationnels qui influencent directement le devenir individuel. Cook reprochait à l’économétrie pure son hubris mathématique, privilégiant des abstractions déductives formelles au détriment de l’analyse microscopique des contextes sociaux réels chers à la tradition campbellienne.

10.2 Le débat avec les partisans radicaux de l’expérimentation pure

À l’autre extrémité du spectre méthodologique, Cook a dû livrer une bataille intellectuelle constante contre les zélateurs de ce qu’il nommait ironiquement « l’orthodoxie fisherienne » ou le mouvement des « randomistas ». Menée par des personnalités défendant le primat absolu et exclusif des essais contrôlés randomisés (RCT) en toutes circonstances, cette faction rejetait toute donnée n’émanant pas d’un tirage au sort comme non scientifique et indigne d’informer la décision publique.

La réplique de Cook, étayée par cinquante années de terrain, a consisté à désamorcer le statut mythique accordé au RCT en exposant ses vulnérabilités cachées. Cook rappelle sans relâche qu’un essai randomisé ne résout automatiquement que la seule question de la validité interne au moment exact de l’assignation ((t=0)). Dès que l’horloge biologique et sociale se met en marche :

• Des participants désertent préférentiellement l’un des bras (attrition sélective),
• D’autres découvrent leur groupe et déploient une « rivalité compensatoire » (effet John Henry) ou un « découragement passif »,
• Tandis que les intervenants modifient involontairement leur comportement.

De surcroît, Cook attaque la faiblesse structurelle du RCT sur le terrain de la validité externe et écologique : les populations acceptant de participer à un protocole randomisé lourd et incertain représentent souvent des sous-groupes hyper-sélectionnés, atypiques et non représentatifs du grand public. Cook a ainsi mené un plaidoyer constant pour un pluralisme méthodologique discipliné, démontrant qu’un faisceau convergent d’études quasi-expérimentales diverses offre souvent une assise décisionnelle bien plus crédible et écologiquement valide qu’un RCT unique, hyper-sécurisé mais artificiel.

10.3 Les critiques des approches qualitatives et constructivistes

Enfin, Cook s’est heurté frontalement aux courants relativistes, herméneutiques et constructivistes de l’évaluation, incarnés par des théoriciens comme Egon Guba et Yvonna Lincoln (promoteurs de la Fourth Generation Evaluation). Ces mouvements récusaient l’existence même d’une réalité sociale objective indépendante de l’observateur et dénonçaient les dispositifs quantitatifs quasi-expérimentaux comme des instruments de domination positiviste, aliénants et aveugles à la subjectivité vécue des acteurs.

Cook a répondu à ces attaques par une réfutation sereine mais inflexible du relativisme épistémologique. Il affirme sans détours que si l’on postule que toutes les affirmations sur le monde se valent et que la réalité n’est qu’une fiction narrative négociée, alors l’évaluation de programmes est morte, et avec elle toute possibilité de protéger les populations vulnérables contre des politiques inefficaces ou nocives. Pour Cook, déterminer si une thérapie réduit le suicide ou si une méthode pédagogique permet à des enfants d’apprendre à lire relève de questions de fait dont la réponse n’est pas négociable autour d’une table herméneutique.

Néanmoins, loin de rejeter les méthodes qualitatives, Cook a été un pionnier de leur intégration rationnelle au sein de devis mixtes (mixed methods). Pour Cook, l’ethnographie de terrain, l’observation participante et les entretiens cliniques approfondis ne constituent pas des substituts à l’inférence causale, mais des partenaires indispensables : ils sont les outils ultimes de détection microscopique permettant au chercheur-détective d’identifier les menaces locales de validité interne, de documenter les ruptures d’implémentation et de comprendre comment les usagers interprètent subjectivement les traitements qu’ils reçoivent.

11. L’impact sur la psychologie contemporaine et les crises de réplication

Alors que la psychologie scientifique mondiale traverse depuis les années 2010 une crise de confiance sans précédent — caractérisée par l’échec massif de réplication de dizaines de découvertes classiques —, le cadre conceptuel forgé par Thomas D. Cook plusieurs décennies auparavant apparaît rétrospectivement d’une prescience visionnaire absolue. Les maux qui ébranlent aujourd’hui la recherche contemporaine sont précisément ceux que Cook traquait et combattait dès les années 1970.

11.1 L’anticipation précoce de la crise de reproductibilité

Dès la publication de ses premiers articles méthodologiques, Cook avait sonné l’alarme sur l’extrême précarité des pratiques d’investigation en laboratoire. Il dénonçait avec une lucidité prophétique le sous-dimensionnement structurel des cohortes étudiées, la quête compulsive du résultat « statistiquement significatif » à p < 0,05 et la prolifération des « degrés de liberté cachés des chercheurs » (researcher degrees of freedom) — pratiques aujourd’hui désignées sous les vocables de p-hacking, de HARKing (hypothétisation après que les résultats sont connus) et de sélection opportuniste des variables d’intérêt.

Cook a été l’un des premiers à formaliser le fait qu’une discipline scientifique reposant quasi exclusivement sur des expériences de laboratoire à faible puissance statistique est mathématiquement condamnée à inonder la littérature d’un volume intolérable de faux positifs et d’effets artificiellement boursouflés par la « malédiction du vainqueur » (winner’s curse). Il insistait déjà sur la nécessité absolue de distinguer la reproduction directe (la réplication stricte du même protocole) de la reproduction conceptuelle (l’épreuve de la même hypothèse à travers des opérationnalisations radicalement différentes), plaçant cette dernière comme le sceau ultime de la scientificité.

11.2 La refonte des pratiques de laboratoire à l’aune de la validité de construit

L’onde de choc des travaux de Cook a fini par ébranler les certitudes les plus enracinées des psychologues de laboratoire. Son insistance intransigeante sur la validité de construit a forcé la discipline à opérer une salutaire autocritique sur ses propres protocoles expérimentaux. Pendant des décennies, la psychologie sociale avait entretenu l’illusion que manipuler une consigne écrite d’une phrase suffisait à induire de manière pure et univoque un état psychologique complexe (comme « la menace du stéréotype », « l’exclusion sociale » ou « la dissonance cognitive »).

Sous l’influence directe des préceptes de Cook, la communauté a dû intégrer des standards méthodologiques infiniment plus rigoureux :

• L’obligation systématique d’administrer des contrôles de manipulation (manipulation checks) multidimensionnels pour vérifier l’exactitude de l’état psychologique induit ;
• Le déploiement de tests empiriques de validité convergente et de validité discriminante pour s’assurer que la métrique ne capture pas un artefact non désiré (comme l’anxiété générale ou la désirabilité sociale) ;
• Et une prise de conscience brutale des limitations imposées par l’échantillonnage de complaisance, restreint historiquement aux cohortes d’étudiants occidentaux, éduqués, industrialisés, riches et démocratiques (le syndrome des populations WEIRD formalisé par Henrich, Heine et Norenzayan).

11.3 L’héritage dans l’essor contemporain de la science ouverte

L’architecture épistémologique défendue par Thomas D. Cook s’articule avec un naturel confondant avec les réformes actuelles portées par le mouvement mondial de la Science Ouverte (Open Science Movement). En formalisant la recherche comme un processus de falsification active où chaque menace potentielle doit être cartographiée et anticipée en amont de la collecte, Cook avait déjà tracé les fondations intellectuelles du pré-enregistrement des plans de recherche (preregistration et Registered Reports).

La culture cookienne du scepticisme constructif trouve son incarnation la plus pure dans les impératifs contemporains de mise à disposition publique des données brutes (open data), des syntaxes computationnelles complètes (open code) et des protocoles d’intervention exhaustifs. Les plus grandes revues mondiales de psychologie et d’évaluation exigent désormais la transparence totale sur l’intégrité de la mise en œuvre, reprenant presque mot pour mot les standards d’audit édictés par Cook, Shadish et Campbell dans leur opus magnum de 2002. L’éthique de la recherche du XXIe siècle est, à bien des égards, la réalisation institutionnelle du serment méthodologique de Thomas D. Cook.

12. Héritage durable, distinctions et postérité académique

Arrivé au soir d’une existence scientifique d’une fécondité monumentale, Thomas D. Cook contemple un héritage qui a littéralement redessiné les contours des sciences de l’esprit et de la société. Reconnu par ses pairs comme l’un des plus grands méthodologistes vivants, son parcours a été couronné par les plus prestigieux honneurs du monde académique international, tandis que son école de pensée continue de rayonner à travers le travail d’une myriade de disciples occupant des chaires d’excellence planétaires.

12.1 Reconnaissance académique, honneurs et affiliations majeures

L’ampleur des contributions de Thomas D. Cook lui a valu d’être élu au sein des académies scientifiques les plus sélectives du monde. Il est ainsi reçu comme membre émérite de l’Académie américaine des arts et des sciences (American Academy of Arts and Sciences), un sanctuaire intellectuel honorant les esprits les plus éminents des États-Unis. Il est également nommé Fellow de l’American Psychological Association (APA), de l’Association for Psychological Science (APS) et de l’American Educational Research Association (AERA).

La communauté méthodologique et évaluative a tenu à célébrer son génie en lui décernant ses plus hautes distinctions. L’American Psychological Association lui attribue le très prestigieux Donald T. Campbell Award, consacrant ses contributions exceptionnelles et novatrices à la psychologie sociale méthodologique — hommage d’une intensité émotionnelle et intellectuelle particulière pour Cook, qui recevait ainsi la récompense portant le nom de son maître et complice de toujours.

L’American Evaluation Association (AEA) l’honore quant à elle de son prix suprême : le Gunnar Myrdal Prize for Science, récompensant l’ensemble d’une œuvre théorique et empirique ayant révolutionné la pratique de l’évaluation des politiques publiques. Enfin, ses alma maters et de multiples institutions internationales lui ont décerné des doctorats honoris causa, saluant en lui non seulement le savant d’exception, mais l’homme public qui a su mettre la rigueur mathématique au service inconditionnel de l’amélioration de la condition humaine.

12.2 L’école de pensée Cook : disciples, filiations et transmission

La marque d’un grand universitaire ne réside pas uniquement dans les livres qu’il a signés, mais dans la lignée intellectuelle qu’il engendre et inspire. De ce point de vue, Thomas D. Cook a été un bâtisseur de générations sans équivalent. À Northwestern University, il a dirigé, encadré et formé une pléiade de chercheurs qui sont devenus à leur tour les leaders mondiaux de l’économétrie appliquée, de la psychologie quantitative et de l’évaluation éducative.

Parmi cette constellation de disciples éminents figurent des figures de proue de la méthodologie contemporaine, telles que :

• William R. Shadish : Qui fut d’abord son étudiant doctorant brillant avant de devenir son alter ego et coauteur principal ;
• Laura S. Leviton : Ancienne présidente de l’American Evaluation Association ;
• Vivian C. Wong : Pionnière incontestée des comparaisons intra-études et des designs de régression sur discontinuité modernes ;
• Peter M. Steiner : Figure mondiale de la modélisation des scores de propension et de l’inférence causale computationnelle.

L’un des vecteurs les plus puissants de cette transmission pédagogique a été son légendaire atelier d’été sur l’inférence causale (Summer Institute on Causal Inference), qu’il a animé pendant des décennies à Northwestern University sous l’égide de l’IPR. Cet atelier est devenu un rite de passage initiatique obligatoire pour des milliers de jeunes professeurs, de post-doctorants et de chercheurs gouvernementaux venus des cinq continents pour apprendre à manier avec discernement le bistouri de la quasi-expérimentation. Cook y a transmis sans relâche ce qui constitue l’âme même de son école : un alliage unique de scepticisme constructif, d’intransigeance opérationnelle et de passion indéfectible pour la vérité empirique.

12.3 La pertinence continue de son cadre conceptuel à l’ère du Big Data et de l’IA

Alors que notre époque est submergée par l’avènement des données massives (Big Data), de l’apprentissage automatique (Machine Learning) et de l’intelligence artificielle générative, certains technologues ont imprudemment prophétisé « la fin de la théorie » et l’obsolescence des méthodologies scientifiques classiques. Il suffirait, selon cette illusion néo-positiviste, d’ingérer des pétaoctets de données d’observation dans des réseaux de neurones profonds pour que la vérité sur les comportements humains émerge spontanément des corrélations algorithmiques.

Face à cet engouement naïf, le cadre conceptuel forgé par Thomas D. Cook s’impose avec une actualité plus brûlante et nécessaire que jamais. Cook nous rappelle avec une force implacable que les mégadonnées ne sont rien d’autre que des données observationnelles à très grande échelle, et qu’à ce titre, elles héritent de l’intégralité des pathologies méthodologiques qu’il a disséquées toute sa vie :

• Biais de sélection algorithmique gargantuesque,
• Attrition différentielle masquée,
• Instabilité des instruments de mesure numériques,
• Et confusion structurelle insoluble.

Un algorithme prédictif peut afficher une précision mathématique insolente pour identifier des corrélations sans posséder la moindre étincelle de validité interne causale. Si l’on intervient sur un système social ou clinique sur la base d’une pure corrélation computationnelle, l’intervention s’effondrera inéluctablement sous l’effet des menaces d’histoire, de maturation ou de rétroaction endogène. Aujourd’hui, les plus brillants ingénieurs en intelligence artificielle et les économètres computationnels redécouvrent avec fascination la typologie des quatre validités de Cook pour tenter de doter l’apprentissage machine d’une véritable compréhension causale (Causal AI). Près de soixante ans après ses premiers travaux à Stanford, la voix de Thomas D. Cook résonne toujours au cœur de l’arène scientifique : le phare inébranlable de la rigueur quasi-expérimentale, guidant la raison humaine à travers les brouillards de l’incertitude empirique.

Références

Angrist, J. D., Imbens, G. W., & Rubin, D. B. (1996). Identification of causal effects using instrumental variables. Journal of the American Statistical Association, 91(434), 444–455. https://doi.org/10.1080/01621459.1996.10476902

Baron, R. M., & Kenny, D. A. (1986). The moderator-mediator variable distinction in social psychological research: Conceptual, strategic, and statistical considerations. Journal of Personality and Social Psychology, 51(6), 1173–1182. https://doi.org/10.1037/0022-3514.51.6.1173

Campbell, D. T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54(4), 297–312. https://doi.org/10.1037/h0040950

Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Rand McNally.

Cicirelli, V. G., et al. (1969). The impact of Head Start: An evaluation of the effects of Head Start on children’s cognitive and affective development (Report PB 184 328). Westinghouse Learning Corporation and Ohio University.

Cook, T. D. (2002). Randomized experiments in educational research: Phony controversy and real research. Educational Researcher, 31(7), 17–25. https://doi.org/10.3102/0013189X031007017

Cook, T. D. (2008). “Waiting for Life to Arrive”: A history of the regression-discontinuity design in psychology, statistics and economics. Journal of Econometrics, 142(2), 636–654. https://doi.org/10.1016/j.jeconom.2007.05.002

Cook, T. D., Appleton, H., Conner, R. F., Shaffer, A., Tamkin, G., & Weber, S. J. (1975). “Sesame Street” revisited. Russell Sage Foundation.

Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design & analysis issues for field settings. Houghton Mifflin.

Cook, T. D., Comer, J. P., Haynes, N. M., & Hamilton-Lee, M. (1999). Comer’s School Development Program in Chicago: A process and impact evaluation. Educational Evaluation and Policy Analysis, 21(2), 199–216. https://doi.org/10.3102/01623737021002199

Cook, T. D., Shadish, W. R., & Wong, V. C. (2008). Three conditions under which experiments and observational studies produce comparable causal estimates: New findings from within-study comparisons. Journal of Policy Analysis and Management, 27(4), 724–750. https://doi.org/10.1002/pam.20375

Cook, T. D., Steiner, P. M., & Pohl, S. (2012). How credible are the study design features that What Works Clearinghouse uses to rate the quality of quasi-experiments? Journal of Research on Educational Effectiveness, 5(4), 419–444. https://doi.org/10.1080/19345747.2012.716447

Fisher, R. A. (1935). The design of experiments. Oliver and Boyd.

Heckman, J. J. (1979). Sample selection bias as a specification error. Econometrica, 47(1), 153–161. https://doi.org/10.2307/1912352

Henrich, J., Heine, S. J., & Norenzayan, A. (2010). The weirdest people in the world? Behavioral and Brain Sciences, 33(2–3), 61–83. https://doi.org/10.1017/S0140525X0999152X

Pearl, J. (2009). Causality: Models, reasoning, and inference (2nd ed.). Cambridge University Press. https://doi.org/10.1017/CBO9780511803161

Rosenbaum, P. R. (2002). Observational studies (2nd ed.). Springer. https://doi.org/10.1007/978-1-4757-3692-2

Rosenbaum, P. R., & Rubin, D. B. (1983). The central role of the propensity score in observational studies for causal effects. Biometrika, 70(1), 41–55. https://doi.org/10.1093/biomet/70.1.41

Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psychology, 66(5), 688–701. https://doi.org/10.1037/h0037350

Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.

Steiner, P. M., Cook, T. D., Shadish, W. R., & Clark, M. H. (2010). The importance of covariate selection in nonexperimental evaluations: Conducting equivalent evaluations using observational data. Journal of Research on Educational Effectiveness, 3(2), 121–155. https://doi.org/10.1080/19345741003736528

Thistlethwaite, D. L., & Campbell, D. T. (1960). Regression-discontinuity analysis: An alternative to the ex post facto experiment. Journal of Educational Psychology, 51(6), 309–317. https://doi.org/10.1037/h0044319

Wong, V. C., Steiner, P. M., & Cook, T. D. (2012). Analyzing the regression-discontinuity design: A review of current practice and opportunities for the future. Journal of Research on Educational Effectiveness, 5(4), 384–418. https://doi.org/10.1080/19345747.2012.721495