L’histoire de la psychologie scientifique et des neurosciences comportementales est jalonnée de controverses fondamentales quant à la nature des déterminants de l’action. Pendant près d’un siècle, l’étude du comportement animal et humain est demeurée sous le joug d’une tension épistémologique majeure, opposant une vision strictement mécaniste, héritée du béhaviorisme radical, à une conception cognitive postulant l’existence de représentations internes et d’intentions prospectives. Dans la première perspective, l’individu est conçu comme un automate complexe dont les mouvements ne sont que les réponses passives et réflexes déclenchées par des stimuli environnementaux. Dans la seconde, l’organisme est appréhendé comme un agent téléologique capable d’anticiper les conséquences de ses actes, d’élaborer des modèles mentaux de son écologie et d’orienter délibérément sa conduite vers l’obtention de buts spécifiques.
Cette divergence fondamentale s’est cristallisée avec une acuité particulière autour de la formalisation de l’apprentissage instrumental ou opérant. Si la formalisation originelle de la loi de l’effet postulait que le renforçateur agit comme une simple colle renforçant aveuglément le lien entre la situation stimulante et la réponse motrice, l’hypothèse cognitive soutenait que l’animal encode bel et bien la relation causale unissant son geste à la nature précise du résultat obtenu. Pourtant, pendant des décennies, cette dernière proposition est restée cantonnée au statut de conjecture théorique élégante, faute de protocole expérimental capable de la démontrer de manière irréfutable face aux explications associationnistes réductionnistes.
C’est précisément cette impasse méthodologique et conceptuelle que les travaux pionniers de Robert Rescorla et Julie Colwill ont brisée au milieu des années 1980. En concevant le paradigme expérimental de la dévaluation instrumentale du renforçateur, Colwill et Rescorla ont offert la première preuve empirique définitive que le comportement instrumental repose sur des associations causales directes entre la réponse et sa conséquence. L’expérience séminale de 1985 ne constitue pas seulement une étape charnière dans l’histoire de la psychologie de l’apprentissage : elle a redéfini le statut épistémologique de l’esprit animal, inspiré la révolution computationnelle de l’intelligence artificielle et jeté les bases des neurosciences modernes de la prise de décision.
1. Introduction et mise en contexte historique de l’apprentissage instrumental
1.1 L’émergence du béhaviorisme et la loi de l’effet de Thorndike
L’édification des premiers modèles scientifiques de l’apprentissage animal s’est opérée sous la houlette d’Edward Lee Thorndike à la fin du XIXe siècle. À travers ses célèbres expérimentations conduites à l’aide de « puzzle boxes » ou boîtes à problèmes, dans lesquelles des chats affamés devaient actionner un loquet pour s’échapper et accéder à de la nourriture, Thorndike a formalisé le principe cardinal de la loi de l’effet. Selon cette formulation historique, toute réponse motrice émise en présence d’une configuration stimulante donnée qui est immédiatement suivie par un état de satisfaction de l’organisme voit sa probabilité de réapparition accrue en présence de cette même situation stimulante. Inversement, les réponses suivies d’une gêne ou d’un inconfort sont progressivement éliminées du répertoire comportemental de l’individu.
Ce postulat fondateur repose sur une conception profondément mécaniste et non représentationnelle de l’apprentissage. Pour Thorndike, le renforçateur – en l’occurrence la bouchée de poisson accordée à l’animal sorti de la cage – n’agit que comme un catalyseur physiologique aveugle. Il possède la propriété fonctionnelle de souder, ou de tamponner (« stamp in »), la connexion synaptique ou neuronale directe entre le stimulus contextuel (la boîte, la vue du loquet) et la commande motrice (le mouvement de la patte). Dans cette architecture conceptuelle connue sous le nom de schéma Stimulus-Réponse (S-R), l’animal n’acquiert à aucun moment la connaissance consciente ou mnésique de la relation unissant son mouvement à l’apparition de la nourriture.
Le béhaviorisme radical naissant, qui trouvera son apogée quelques décennies plus tard sous l’impulsion de John B. Watson puis de B.F. Skinner, a sanctuarisé ce modèle en excluant délibérément toute variable intermédiaire internaliste. L’apprentissage instrumental a dès lors été défini comme une modification de la fréquence des comportements par leurs contingences de renforcement, en faisant l’économie totale d’une quelconque représentation mentale du renforçateur. Dans ce paradigme réducteur, l’organisme ne désire rien, n’attend rien et n’anticipe rien ; il est simplement le théâtre passif de lois associatives mécaniques où les réponses motrices sont mécaniquement extraites par l’environnement.
1.2 La rupture cognitiviste introduite par Edward Tolman
Dès les années 1930, cette hégémonie mécaniste a été vivement contestée par Edward Chace Tolman, figure de proue d’un béhaviorisme dit intentionnel ou téléologique. À travers des séries d’expériences novatrices impliquant des rongeurs explorant des labyrinthes complexes, Tolman a cherché à démontrer que l’apprentissage ne se résume pas à l’enchaînement stéréotypé de séquences motrices réflexes, mais implique l’élaboration de véritables structures de connaissances internes. Ses travaux sur l’apprentissage latent ont notamment mis en lumière le fait que des rats placés dans un labyrinthe sans aucune récompense alimentaire en explorent la topographie et constituent une « carte cognitive » de l’environnement, sans nécessiter le renforcement direct postulé par Thorndike.
Dès qu’une récompense est introduite dans le labyrinthe, ces animaux préalablement non renforcés manifestent immédiatement des performances de navigation optimales, rejoignant le but sans commettre d’erreurs, ce qui prouve que l’apprentissage spatial s’était opéré de manière latente en l’absence de toute satisfaction pulsionnelle immédiate. Pour Tolman, les organismes vivants développent des attentes (« expectancies ») quant aux conséquences environnementales de leurs actions. Ils apprennent non pas des mouvements musculaires déclenchés par des stimuli, mais des relations de signification : l’apparition du stimulus A entraîne le stimulus B si l’action C est déployée. L’action instrumentale devient ainsi l’actualisation d’une prédiction cognitive orientée vers une finalité spécifique.
Néanmoins, en dépit de leur puissance conceptuelle indéniable, les démonstrations de Tolman souffraient d’importantes limites méthodologiques qui ont empêché la communauté scientifique de l’époque d’abandonner définitivement le réductionnisme béhavioriste. Les détracteurs associationnistes stricts, emmenés par Clark Hull et Kenneth Spence, parvenaient systématiquement à réinterpréter les résultats de Tolman à travers le prisme d’explications S-R sophistiquées. Ils invoquaient notamment des chaînes de réponses fractionnaires anticipatrices de but et des rétroactions proprioceptives périphériques, réduisant à nouveau les prétendues attentes cognitives à des micro-habitudes motrices dissimulées. Les protocoles de labyrinthes laissaient subsister une ambiguïté fondamentale quant à savoir si l’animal répondait à une représentation interne du but ou à une constellation d’indices spatiaux externes.
1.3 Le paysage théorique des années 1970 et 1980 en psychologie expérimentale
Au tournant des années 1970 et 1980, la psychologie expérimentale se trouvait dans une situation paradoxale. D’un côté, la « révolution cognitiviste » avait largement conquis l’étude de la psychologie humaine, popularisant les concepts de mémoire de travail, de traitement de l’information et de représentations symboliques. De l’autre côté, le domaine du conditionnement animal demeurait largement dominé par les dogmes associationnistes classiques. Une résistance méthodologique légitime imposait de ne point attribuer à l’animal des états mentaux complexes tant que des hypothèses plus simples, fondées sur le conditionnement opérant skinnérien ou le conditionnement pavlovien classique, suffisaient à rendre compte des données empiriques observées au sein des laboratoires.
Il existait dès lors un besoin critique, presque urgent, d’une rupture méthodologique : il fallait inventer un paradigme expérimental capable d’isoler expérimentalement la nature de ce qui est appris au cours du conditionnement instrumental, sans laisser la moindre place à une réinterprétation associationniste simple. Le défi consistait à concevoir une situation où les prédictions d’un modèle S-R mécanique et celles d’un modèle cognitif orienté vers un but s’excluaient mutuellement de manière quantitative et qualitative, de façon à trancher définitivement la querelle qui opposait Thorndike et Tolman depuis un demi-siècle.
C’est au sein du département de psychologie de l’Université de Pennsylvanie que cette étincelle méthodologique et conceptuelle a vu le jour. Sous l’impulsion de Robert Rescorla, ce laboratoire est devenu l’épicentre d’un renouveau théorique majeur. Reconnu internationalement pour ses travaux révolutionnaires sur le conditionnement pavlovien, Rescorla a entrepris d’appliquer la rigueur opérationnelle du néo-associationnisme à l’analyse interne de l’action instrumentale, cherchant à décomposer les structures associatives sous-jacentes avec une précision chirurgicale que la psychologie animale n’avait encore jamais atteinte.
2. Les fondements théoriques : le grand débat entre associations S-R et R-O
2.1 Le modèle mécaniste Stimulus-Réponse (S-R)
Le paradigme théorique de l’apprentissage par association Stimulus-Réponse repose sur une métaphore physiologique computationnelle épurée : celle de l’arc réflexe conditionné et automatisé. Dans ce schéma, l’organisme confronté à un ensemble de stimuli environnementaux ($S$) sélectionne et exécute une réponse motrice spécifique ($R$) parce que la connexion synaptique entre la détection de ce contexte et le déclenchement de cette action a été physiquement consolidée par l’historique des renforcements passés. Le rôle alloué au renforçateur, ou conséquence ($O$, pour « Outcome »), est purement fonctionnel et transitoire : il fournit l’énergie nécessaire à l’encodage du lien structurel $S-R$, mais ne s’insère aucunement comme un maillon constitutif dans la trace mnésique finale qui régit le comportement.
Une conséquence directe et fondamentale de cette modélisation concerne l’automatisation progressive de la motricité en tant qu’habitude rigide. Une fois le lien $S-R$ forgé par la répétition, la présence du stimulus déclencheur suffit à susciter l’exécution de l’action de manière balistique et involontaire, indépendamment de l’utilité présente de cette action pour l’animal. L’action est extraite de l’organisme par l’environnement plutôt que générée de manière endogène en vue d’une satisfaction future.
D’un point de vue prédictif, la théorie $S-R$ postule donc une insensibilité totale du comportement aux modifications ultérieures de la valeur intrinsèque de la conséquence, tant que l’animal n’a pas l’occasion de réapprendre une nouvelle association en exécutant l’action sous les nouvelles conditions de renforcement. Si la conséquence devient toxique, désagréable ou inutile, l’association $S-R$ demeure intacte dans le système nerveux. Selon ce modèle, l’animal exposé au stimulus devrait continuer inexorablement à actionner le mécanisme moteur, car la commande motrice ne dépend en rien de l’évaluation prospective du produit de l’action.
2.2 Le modèle téléologique Réponse-Conséquence (R-O)
À l’exact opposé de cette vision passive se déploie le modèle de l’association Réponse-Conséquence ($R-O$), qualifié de téléologique, cognitif ou orienté vers un but (« goal-directed »). Ce modèle postule que l’animal apprend la relation contingente spécifique unissant son geste moteur ($R$) à la nature multidimensionnelle de la conséquence ($O$) qui en découle de manière causale dans l’environnement. Dans cette perspective, l’action instrumentale ne consiste pas en une habitude motrice aveugle, mais en un acte intentionnel délibéré, sous-tendu par la prédiction active du résultat attendu.
Dans une structure cognitive $R-O$, la décision comportementale intègre deux variables computationnelles distinctes mais coordonnées : d’une part, la croyance causale selon laquelle la réponse motrice est le moyen effectif d’engendrer l’apparition de la conséquence ($R \rightarrow O$), et d’autre part, l’évaluation de la valeur incitative (« incentive value ») attribuée à cet instant précis à la conséquence attendue. L’action n’est initiée que si et seulement si l’organisme accorde une valeur motivationnelle positive au résultat prédit. Si l’état interne de l’animal change, ou si la conséquence perd son attrait biologique, la représentation mentale de ce but dévalué rétroagit immédiatement sur l’appareil décisionnel pour suspendre l’exécution de l’action motrice correspondante.
La marque distinctive de l’apprentissage orienté vers un but est donc sa flexibilité comportementale immédiate. Contrairement à la rigidité du schéma $S-R$, le contrôle $R-O$ autorise une adaptation dynamique et prospective face aux fluctuations de l’environnement ou des besoins homéostatiques de l’individu, sans exiger de laborieuses sessions de réapprentissage par essais et erreurs.
2.3 L’impasse méthodologique antérieure aux travaux de Colwill et Rescorla
Démontrer expérimentalement la suprématie de l’association $R-O$ sur l’association $S-R$ s’est longtemps heurté à un obstacle expérimental jugé insurmontable. Dans un protocole de conditionnement instrumental standard, l’animal est placé dans une boîte de Skinner, appuie sur un levier et reçoit de la nourriture. Dans cette configuration élémentaire, les liens associatifs $S-R$ (levier/boîte $\rightarrow$ appui) et $R-O$ (appui $\rightarrow$ nourriture) sont systématiquement confondus et se développent de manière parallèle et synchrone. Si l’animal continue d’appuyer sur le levier, est-ce parce que le stimulus déclenche automatiquement l’habitude motrice, ou parce qu’il anticipe cognitivement la livraison du granule alimentaire ?
De surcroît, une complication majeure provient de l’encodage simultané d’associations pavloviennes Stimulus-Conséquence ($S-O$). La présence même de l’environnement d’apprentissage ($S$) prédit temporellement la survenue de la nourriture ($O$). Dès lors, un stimulus pavlovien contextuel peut susciter des états motivationnels diffus ou des réponses consommatoires conditionnées (comme l’approche du distributeur) qui viennent se greffer sur la réponse instrumentale et en biaiser l’analyse pure. Les protocoles classiques d’extinction – consistant simplement à couper la distribution de nourriture lors des sessions ultérieures – s’avéraient totalement impuissants à trancher l’énigme : l’arrêt progressif du comportement lors de l’extinction peut indifféremment s’expliquer par l’extinction d’une habitude $S-R$ privée de sa colle renforçatrice, ou par la mise à jour d’une croyance cognitive $R-O$ constatant l’absence du but.
Pour trancher sans équivoque, les chercheurs devaient inventer un protocole d’une inventivité radicale. Il fallait parvenir à manipuler la valeur motivationnelle de la conséquence ($O$) de manière totalement indépendante de la réponse motrice ($R$), en dehors du contexte d’apprentissage instrumental, pour ensuite mesurer si l’animal modifiait spontanément son action motrice dès sa première confrontation avec le manipulateur, sans qu’aucun nouvel apprentissage par rétroaction ne vienne fausser la mesure. C’est l’essence même du coup de maître théorique et empirique porté par le laboratoire de Robert Rescorla et Julie Colwill.
3. Julie Colwill et Robert Rescorla : trajectoire scientifique et synergies intellectuelles
3.1 L’apport novateur de Robert Rescorla à l’associationnisme moderne
Robert A. Rescorla (1940-2020) figure incontestablement parmi les géants de la psychologie scientifique du XXe siècle. Dès la fin des années 1960, ses travaux expérimentaux ont profondément ébranlé les certitudes du béhaviorisme classique en démontrant que la simple contiguïté temporelle entre deux événements ne suffit pas à engendrer un apprentissage. À travers ses célèbres expériences sur la contingence, Rescorla a prouvé qu’un stimulus conditionné n’acquiert de propriétés prédictives que s’il véhicule une information causale sur l’occurrence du stimulus inconditionné, rompant ainsi définitivement avec l’idée d’une association purement temporelle et aveugle.
En 1972, en collaboration avec Allan Wagner, il a formulé le monumental modèle de Rescorla-Wagner, un modèle mathématique de l’apprentissage associatif qui formalise la notion d’erreur de prédiction. Selon ce modèle, l’apprentissage ne se produit que dans la mesure où l’arrivée du renforçateur dévie de ce que l’organisme anticipait préalablement. Cette formalisation algorithmique rigoureuse a anticipé de plusieurs décennies les développements contemporains du « temporal difference learning » au cœur de l’apprentissage par renforcement computationnel en intelligence artificielle.
Cependant, l’ambition intellectuelle de Rescorla dépassait la simple description algorithmique du conditionnement classique. Animé par un profond souci d’analyse des mécanismes de la pensée, il a cherché à utiliser le formalisme associatif non pas comme une camisole dogmatique réfutant la cognition, mais au contraire comme un instrument scientifique rigoureux pour décortiquer l’architecture mentale de l’animal. Il abordait l’esprit comme un réseau sophistiqué de représentations associatives interconnectées, dont la structure interne pouvait être cartographiée avec une précision mathématique par le biais d’un contrôle expérimental intraitable.
3.2 Le rôle déterminant de Julie Colwill dans l’investigation instrumentale
Au début des années 1980, le laboratoire de Rescorla à l’Université de Pennsylvanie accueille la chercheuse Julie M. Colwill, dont la créativité méthodologique et la rigueur expérimentale vont donner une impulsion décisive aux programmes de recherche sur l’action instrumentale. Là où la majorité des chercheurs de l’époque se contentaient d’expérimentations globales opposant de manière imprécise le conditionnement classique au conditionnement opérant, Colwill va développer une ingénierie expérimentale d’une grande sophistication pour isoler les constituants fonctionnels du comportement.
Julie Colwill possédait une compréhension exceptionnelle de la micro-cinétique comportementale des rongeurs et de la logique des contrôles intra-sujets. Elle s’est attelée à la tâche de déconstruire expérimentalement chaque paramètre de l’environnement opérant, en concevant des dispositifs instrumentaux capables d’exclure un à un tous les biais potentiels qui avaient entaché les recherches antérieures. Son travail méticuleux d’optimisation des calendriers de renforcement et de calibration de la discrimination sensorielle des manipulateurs a constitué le socle pratique sur lequel l’expérience princeps de 1985 a pu être érigée avec un succès incontestable.
La contribution scientifique de Colwill a été déterminante en ce qu’elle a su marier une discipline empirique exemplaire à des questions théoriques d’une immense portée épistémologique. Ses publications ont démontré qu’il était possible d’aborder des notions cognitives réputées intangibles – telles que l’intention, l’attente prospective et la représentation interne – sans jamais sacrifier la pureté méthodologique exigée par les standards les plus intransigeants du béhaviorisme expérimental.
3.3 La synergie théorique au service de la cognition animale
La rencontre entre la puissance théorique de Robert Rescorla et la virtuosité expérimentale de Julie Colwill a engendré une décennie de découvertes fondatrices pour la psychologie comparative. Ensemble, ils ont entrepris de tester systématiquement la nature des connexions formées au cours de l’apprentissage opérant : les réponses sont-elles connectées aux stimuli, à d’autres réponses, ou aux représentations sensorielles détaillées des conséquences ?
Leur démarche s’est concrétisée de manière éclatante dans leur article séminal publié en 1985 dans la prestigieuse revue Animal Learning & Behavior, intitulé « Post-conditioning devaluation of a reinforcer affects instrumental responding ». Ce document historique d’à peine quelques pages a asséné un coup fatal aux théories mécanistes simplistes du renforcement en apportant la preuve irréfutable que les animaux encodent la valeur et l’identité spécifiques de la conséquence dans leur schéma d’action.
En fondant cette alliance intellectuelle, Colwill et Rescorla ont non seulement réconcilié les intuitions téléologiques d’Edward Tolman avec la rigueur méthodologique du néo-béhaviorisme, mais ils ont également institué une nouvelle norme dans la recherche internationale. À partir de 1985, aucun modèle de l’apprentissage, qu’il provienne de la psychologie, de la biologie ou plus tard des sciences de l’informatique, ne pouvait prétendre rendre compte du comportement adaptatif sans intégrer formellement les résultats issus du paradigme de la dévaluation instrumentale.
4. Le paradigme de dévaluation instrumentale : architecture méthodologique
4.1 Le principe fondamental de la dévaluation du renforçateur
L’intuition géniale au fondement du paradigme de dévaluation instrumentale réside dans une logique de dissociation temporelle et contextuelle en trois temps distincts. Le cœur du protocole repose sur l’idée que pour savoir si une action motrice ($R$) est guidée par l’anticipation de son résultat ($O$), il faut modifier la valeur subjective de ce résultat ($O$) en dehors de la situation instrumentale, en l’absence de tout accès aux manipulateurs moteurs, puis observer l’impact spontané de cette modification lorsque l’animal est à nouveau invité à agir.
Si la théorie $S-R$ mécanique est exacte, le lien moteur appris entre le manipulateur et le geste musculaire a été consolidé durant la phase d’entraînement initial. La valeur intrinsèque de la nourriture devient alors totalement insignifiante pour l’exécution motrice ultérieure. Dès lors, le fait de rendre cette nourriture hautement aversive dans un autre contexte (par exemple dans la cage d’hébergement de l’animal) ne devrait avoir rigoureusement aucun impact sur l’action motrice lors du test ultérieur, puisque la commande motrice est déclenchée de façon automatique par la présence physique du levier ou de la boîte, sans interrogation préalable de l’état interne de la conséquence.
En revanche, si l’action est régie par une structure cognitive $R-O$, la commande motrice dépend d’un calcul prospectif intégrant la valeur de $O$. Si cette valeur a été dégradée et rendue répulsive, l’actualisation de la représentation de $O$ doit conduire l’appareil décisionnel à inhiber immédiatement l’émission de la réponse $R$. L’élégance suprême du protocole consiste à évaluer cette modification comportementale au cours d’une phase de test conduite en extinction complète : aucune nourriture n’est délivrée pendant le test. L’animal ne peut donc pas se fonder sur une rétroaction gustative négative immédiate pour cesser d’appuyer. La diminution de l’action motrice ne peut résulter que de la consultation préalable d’une représentation mnésique interne prédisant un but désormais jugé indésirable.
4.2 Le dispositif expérimental et le contrôle des variables
Pour éliminer toute ambiguïté interprétative liée à des facteurs non spécifiques tels qu’une perte globale d’appétit, une léthargie induite ou un dégoût généralisé de l’environnement du laboratoire, Julie Colwill et Robert Rescorla ont conçu une architecture opérante hautement compartimentée et contrôlée. L’expérimentation mobilise des rongeurs de laboratoire (généralement des rats albinos de souche Sprague-Dawley ou Wistar) placés dans des boîtes de conditionnement opérant automatisées, hermétiquement isolées sur les plans phonique et lumineux.
Chaque boîte de Skinner est équipée de deux manipulateurs physiquement et motriquement distincts :
- Un levier rétractable standard, actionné par une poussée vers le bas de la patte ou du museau.
- Une chaîne suspendue au plafond de la cage, actionnée par un mouvement de traction verticale ou de préhension.
Cette dissemblance cinétique prononcée garantit que les deux réponses ($R1$ et $R2$) recrutent des coordinations motrices neuromusculaires différenciées, rendant impossible toute confusion gestuelle ou toute persévération motrice non spécifique.
De manière symétrique, le protocole utilise deux renforçateurs alimentaires présentant des propriétés organoleptiques, texturales et chimiques nettement contrastées :
- Des granulés alimentaires solides (« pellets » de sucrose et de céréales d’environ 45 mg), riches en glucides et nécessitant une mastication active.
- Une solution liquide sucrée (généralement une solution de saccharose à 20% ou d’eau polycose), délivrée par une coupelle motorisée ou un injecteur à pompe péristaltique, impliquant un comportement de lapement immédiat.
Ces deux substances sont sensoriellement discriminables par les rongeurs, ce qui permet à l’animal d’associer spécifiquement une signature sensorielle gustative, olfactive et somatosensorielle unique à chaque modalité d’action.
Le contrôle expérimental s’étend aux calendriers de renforcement mis en œuvre. Colwill et Rescorla ont utilisé des programmes à intervalles variables (« Variable Interval » ou VI), par exemple un VI 30 secondes ou un VI 60 secondes. Contrairement aux calendriers à ratio fixe où le taux de réponse dicte directement le débit de nourriture, les calendriers à intervalles variables évitent l’emballement moteur, stabilisent les cadences de réponse à des fréquences modérées et homogènes, et confèrent une résistance remarquable à l’extinction, condition essentielle pour pouvoir mesurer le taux de réponses de manière fiable au cours de la phase finale.
4.3 L’élégance de la conception intra-sujet
L’atout méthodologique déterminant de l’expérience de 1985 réside dans son paradigme intra-sujet entièrement contrebalancé (« within-subject design »). Dans un protocole inter-sujet, un groupe d’animaux dévalués est comparé à un groupe témoin non dévalué. Cette méthodologie classique reste toutefois vulnérable aux critiques associationnistes : l’animal malade ou rassasié pourrait simplement bouger moins par abattement général, fatigue physiologique ou baisse globale d’arousal moteur.
Pour immuniser définitivement leurs résultats contre ces contre-arguments, Colwill et Rescorla ont fait en sorte que chaque animal soit son propre témoin. Chaque rongeur apprend deux actions distinctes associées à deux conséquences différentes au sein de la même boîte :
- Action 1 ($R1$, par exemple le levier) produit la Conséquence 1 ($O1$, par exemple les granulés).
- Action 2 ($R2$, par exemple la chaîne) produit la Conséquence 2 ($O2$, par exemple le liquide sucré).
Le contrebalancement croisé est rigoureusement appliqué sur l’ensemble de la cohorte expérimentale : pour la moitié des animaux, le levier procure les granulés et la chaîne procure le liquide ; pour l’autre moitié, la contingence est inversée.
Lors de la phase de dévaluation, un seul des deux renforçateurs ($O1$ ou $O2$) est dévalué par l’expérimentateur, tandis que l’autre conserve intacte sa pleine valeur incitative. Par conséquent, lors du test d’extinction final où les deux manipulateurs ($R1$ et $R2$) sont simultanément réintroduits dans la cage, l’animal se trouve dans un état physiologique général absolument identique face aux deux options. Si l’animal présente une baisse sélective d’actionnement du manipulateur lié au renforçateur dévalué tout en maintenant un taux d’actionnement élevé sur le manipulateur associé au renforçateur non dévalué, toute explication fondée sur la léthargie générale, le malaise somatique, la perte d’appétit globale ou un déficit moteur est mathématiquement et biologiquement pulvérisée.
5. Les étapes clés du protocole expérimental séminal de 1985
5.1 Phase 1 : L’entraînement instrumental concurrent
La première phase du protocole séminal consiste à établir l’apprentissage instrumental concurrent chez des rongeurs préalablement maintenus à environ 85% de leur poids corporel ad libitum par une restriction calorique modérée et standardisée. Cette privation modérée sert de moteur motivationnel primaire pour valoriser l’obtention des deux récompenses alimentaires utilisées.
L’entraînement instrumental se déroule sur une succession de sessions journalières soigneusement alternées. Durant une session matinale, par exemple, seul le levier ($R1$) est inséré dans l’enceinte opérante ; chaque pression conforme au calendrier d’intervalle variable déclenche la distribution immédiate d’un granule alimentaire ($O1$). Durant une session d’après-midi ou le lendemain, le levier est retiré et seule la chaîne ($R2$) est accessible ; chaque traction sur la chaîne active la distribution d’une micro-goutte de solution de saccharose ($O2$). En aucun cas les deux manipulateurs ne sont présents simultanément durant cette phase d’acquisition, ce qui prévient l’établissement de préférences motrices parasites directes entre les deux gestes.
Cet entraînement est poursuivi pendant un nombre précis de sessions quotidiennes (généralement entre 8 et 12 jours) de façon à atteindre une cadence de réponse stable et équilibrée entre les deux dispositifs, sans basculer dans le surapprentissage (« overtraining »). Cette précaution chronologique est fondamentale : les travaux ultérieurs de la psychologie de l’apprentissage montreront qu’un entraînement modéré favorise l’encodage de représentations téléologiques orientées vers un but ($R-O$), tandis qu’un entraînement hyper-répétitif sur plusieurs milliers d’essais tend à faire muter l’action en routine habituelle et automatique ($S-R$). Colwill et Rescorla se sont délibérément positionnés dans la fenêtre d’apprentissage optimale pour sonder la dynamique représentationnelle de l’action.
5.2 Phase 2 : La dévaluation post-conditionnement
Une fois les deux associations instrumentales consolidées dans le répertoire comportemental de l’animal, celui-ci est retiré de la chambre opérante et transféré dans un environnement distinct – généralement des cages individuelles en plastique transparent ou leur cage d’hébergement habituelle – pour subir la phase critique de dévaluation sélective. Aucun levier, aucune chaîne ni aucun indice contextuel lié à la chambre de Skinner n’est présent durant cette phase, ce qui garantit l’absence totale de tout couplage direct entre les commandes motrices ($R1$ ou $R2$) et la procédure d’aversion.
Pour altérer la valeur hédonique et incitative de l’une des conséquences, Colwill et Rescorla ont eu recours au puissant paradigme pavlovien de l’aversion gustative conditionnée (Conditioned Taste Aversion ou CTA). Les animaux reçoivent de manière ad libitum l’un des deux aliments (par exemple, les granulés de nourriture $O1$). Immédiatement après cette période de consommation libre d’une durée d’environ 15 à 30 minutes, les expérimentateurs administrent aux animaux une injection intrapéritonéale d’une solution de chlorure de lithium ($LiCl$, généralement dosée à 0,15 M ou 0,3 M à raison de 1 à 2 % du poids corporel).
Le chlorure de lithium induit rapidement un malaise gastrique et des nausées transitoires mais intenses chez le rongeur. En vertu du biais biologique préparé identifié par John Garcia (l’effet Garcia), le système nerveux des mammifères associe de façon sélective et quasi-indélébile la signature gustative et sensorielle de l’aliment ingéré avec l’état d’intoxication viscérale subséquent. En miroir, les jours alternés, les animaux ont accès à la seconde conséquence ($O2$, la solution de saccharose), mais celle-ci est suivie de l’injection d’une solution saline neutre ($NaCl$ isotonique) ne provoquant aucun désagrément physiologique. Après quelques appariements de ce type, des tests de consommation libre à deux bols démontrent sans équivoque une aversion absolue et sélective envers le renforçateur associé au lithium : le rongeur refuse catégoriquement d’ingérer $O1$ tout en se précipitant avec avidité sur $O2$.
5.3 Phase 3 : Le test critique en extinction
Vient alors le moment de vérité conceptuelle : l’épreuve du test d’extinction. Les rongeurs sont replacés dans la chambre opérante initiale de Skinner. Pour la première fois depuis le début de l’expérimentation, les deux manipulateurs (le levier et la chaîne) sont présentés simultanément et immédiatement accessibles à l’animal.
La règle méthodologique cardinale de ce test réside dans l’extinction absolue : aucun distributeur de nourriture n’est armé, aucune pompe à liquide ne s’active, aucun signal sonore ou visuel de délivrance de récompense n’est émis. Quel que soit le nombre de pressions sur le levier ou de tractions sur la chaîne exécutées par l’animal, absolument aucun renforçateur ($O1$ ou $O2$) n’est délivré. L’objectif scientifique est de capturer l’impulsion comportementale pure de l’animal dans son état d’origine, en observant vers quel manipulateur il dirige spontanément ses actions.
L’élimination des boucles de rétroaction immédiates est indispensable. Si un granule alimentaire était délivré lors du premier appui sur le levier, l’animal constaterait immédiatement la présence de l’aliment devenu toxique dans sa gueule, et son arrêt ultérieur de réponse s’expliquerait par une simple réaction de dégoût pavlovienne en cours d’expérience. En conduisant le test dans une extinction complète, Colwill et Rescorla s’assurent que le rongeur ne peut mobiliser que sa mémoire prospective : la décision d’agir ou de ne pas agir sur un manipulateur donné est le reflet direct et exclusif de la valeur attribuée mentalement à la conséquence attendue avant toute exécution motrice.
6. Analyse des résultats et démonstration formelle des associations R-O
6.1 Les observations quantitatives du test d’extinction
Les résultats enregistrés par Julie Colwill et Robert Rescorla lors de cette phase de test d’extinction ont apporté une réponse d’une netteté empirique sans précédent. Dès l’introduction conjointe des deux manipulateurs, les rongeurs ont manifesté une divergence d’activité motrice flagrante et statistiquement hautement significative entre les deux dispositifs.
Les animaux ont massivement réduit, voire quasi-totalement suspendu, l’actionnement du manipulateur qui avait été historiquement associé au renforçateur ayant subi la dévaluation pharmacologique par le chlorure de lithium. Si l’aliment $O1$ (les granulés) avait été associé au malaise viscéral, les pressions sur le levier ($R1$) s’effondraient spectaculairement dès les premières minutes de la session d’extinction. En revanche, les mêmes animaux maintenaient une cadence d’actionnement très soutenue et robuste sur l’autre manipulateur ($R2$, la chaîne), dont la conséquence ($O2$, le saccharose) était demeurée saine et hautement attractive.
Cette asymétrie comportementale s’est manifestée dès les premières fractions de seconde du test, bien avant qu’un quelconque processus d’extinction graduelle par épuisement moteur ne puisse entrer en jeu. L’analyse temporelle fine des courbes cumulatives de réponse a révélé que les rongeurs ne procédaient pas à une exploration aléatoire des deux dispositifs : ils orientaient immédiatement et préférentiellement leur effort moteur vers l’action dont le but conservait une valeur biologique positive. L’indépendance statistique et comportementale des deux filières opérantes était dès lors formellement démontrée au sein du même organisme.
6.2 L’invalidation empirique du réductionnisme S-R pur
Sur le plan de l’épistémologie des sciences comportementales, les implications de ces données quantitatives sont cataclysmiques pour le modèle mécaniste traditionnel hérité de Thorndike, Watson et Hull. Si le conditionnement instrumental se réduisait effectivement à l’inscription d’une habitude $S-R$, l’animal n’aurait absolument pas dû manifester cette sélectivité immédiate au cours du test d’extinction.
Rappelons en effet les paramètres stricts du protocole :
- Les associations motrices $S-R1$ et $S-R2$ ont été forgées avec la même intensité, sur les mêmes durées d’entraînement et au sein du même appareil expérimental.
- Durant la phase de dévaluation au chlorure de lithium, l’animal n’a jamais vu, touché, ni actionné le levier ou la chaîne ; la commande motrice n’a donc jamais été punie ni associée au malaise physique.
- Durant le test d’extinction, aucun aliment n’apparaît, interdisant tout nouveau conditionnement d’extinction rétroactif guidé par la perception directe du renforçateur dévalué.
D’après la théorie $S-R$, les deux habitudes motrices devaient posséder une force d’excitation mécanique strictement équivalente face aux stimuli visuels et spatiaux de la cage de Skinner. L’animal aurait dû actionner indifféremment et avec la même cadence le levier et la chaîne.
L’effondrement ciblé et instantané de l’action liée au but dévalué prouve de manière irréfutable que le modèle $S-R$ pur est fondamentalement erroné ou, à tout le moins, totalement incomplet pour rendre compte de l’action instrumentale standard. L’organisme n’exécute pas une séquence motrice automatisée de manière aveugle ; son comportement est sous-tendu par la poursuite active d’une fin spécifique.
6.3 La confirmation de la médiation cognitive de la conséquence
L’expérience de Colwill et Rescorla a ainsi apporté la première validation expérimentale formelle de la médiation cognitive de la conséquence dans le comportement opérant. Elle démontre que l’association forgée dans le système nerveux de l’animal lors de l’apprentissage est une structure de type Réponse-Conséquence ($R-O$), où la représentation cognitive de l’action est intimement interconnectée avec la représentation détaillée et qualitative du résultat qu’elle produit.
Ce résultat établit que la conséquence ($O$) n’agit pas de l’extérieur comme un agent de renforcement mécanique sans trace mnésique ; elle s’intègre en réalité comme un constituant interne fondamental du schéma associatif de l’action. L’organisme construit un véritable modèle prédictif du monde : « Faire l’action $R1$ produit l’objet $O1$ ». Lorsque la représentation de la valeur incitative de $O1$ est modifiée de manière endogène par l’aversion conditionnée, cette nouvelle étiquette de valeur négative se propage immédiatement au sein du réseau associatif jusqu’à la commande motrice $R1$, qui se trouve inhibée avant même son déploiement corporel.
Le statut épistémologique du renforçateur s’en trouve profondément bouleversé : il cesse d’être un simple déclencheur rétroactif de consolidation synaptique pour devenir un but doté de propriétés physiques, chimiques et motivationnelles précisément cataloguées dans la mémoire prospective de l’agent. Julie Colwill et Robert Rescorla ont ainsi transformé l’animal d’un automate réactif en un agent intentionnel, capable d’arbitrage prospectif et de planification décisionnelle.
7. Variantes méthodologiques : aversion gustative versus satiété sensorielle spécifique
7.1 La dévaluation pharmacologique par le chlorure de lithium
Le recours à l’induction d’une aversion gustative conditionnée via le chlorure de lithium constitue sans conteste la méthode de dévaluation pharmacologique la plus robuste et la plus fréquemment employée dans la littérature expérimentale. Son principal avantage réside dans la stabilité temporelle quasi-permanente de la modification de valeur induite : une fois que le rat a associé un aliment à une nausée viscérale toxique médiée par le système vestibulaire et le noyau du faisceau solitaire, le rejet hédonique de cette substance persiste sur des semaines, voire des mois.
Cette permanence de l’aversion permet aux chercheurs de réaliser des tests d’extinction prolongés, de répéter des sessions expérimentales à plusieurs jours d’intervalle ou d’étudier la rémanence des traces mnésiques sans craindre une dissipation rapide de la dévaluation. De plus, la dévaluation par le $LiCl$ altère véritablement la valeur affective et hédonique profonde de la récompense (passant d’un statut « plaisant/appétitif » à un statut « dégoûtant/aversif »), ce qui déclenche chez l’animal de véritables réactions consommatoires de rejet (secouements de tête, bâillements, frottements du museau contre le sol).
Néanmoins, cette approche comporte certains biais méthodologiques potentiels que Julie Colwill et les chercheurs subséquents ont dû méticuleusement surveiller. Les injections systémiques de chlorure de lithium peuvent parfois générer un stress physiologique non spécifique, induire une léthargie prolongée ou affecter l’équilibre hydro-électrolytique de l’organisme. Bien que le dispositif intra-sujet élimine la plupart de ces confusions motrices, l’utilisation répétée d’un agent toxique limite les possibilités d’expérimentations intra-individuelles continues sur un même animal, rendant précieuse l’existence de méthodes alternatives de dévaluation purement physiologiques.
7.2 La dévaluation motivationnelle par satiété sensorielle spécifique
Face aux contraintes inhérentes aux substances toxiques, une variante méthodologique d’une élégance exceptionnelle s’est développée : la dévaluation par satiété sensorielle spécifique (« Sensory-Specific Satiety »). Ce phénomène, abondamment documenté chez les mammifères et l’être humain, repose sur la diminution progressive et ciblée du plaisir et de la motivation associés à la consommation d’un aliment particulier au fur et à mesure de son ingestion prolongée, tandis que d’autres aliments aux caractéristiques gustatives différentes conservent toute leur désirabilité.
Dans ce protocole alternatif, aucune substance chimique n’est injectée. L’animal est simplement placé, juste avant le test d’extinction instrumental, dans une cage où il a accès libre et illimité pendant une à deux heures à l’un des deux renforçateurs alimentaires ($O1$). Le rongeur se gorge de cet aliment jusqu’à ce qu’il atteigne un état de réplétion complète et cesse de le consommer. Dès cet instant, la valeur incitative immédiate de $O1$ s’effondre vers zéro en raison de la satiété sensorielle spécifique, tandis que l’animal demeure affamé et hautement demandeur pour le renforçateur alternatif ($O2$).
Immédiatement après cette phase de pré-alimentation, l’animal est réintroduit dans la boîte de Skinner pour le test en extinction en présence du levier et de la chaîne. Les résultats obtenus par cette méthode répliquent parfaitement ceux obtenus avec le chlorure de lithium : l’animal diminue sélectivement la réponse instrumentale liée à l’aliment consommé à satiété, tout en maintenant activement la réponse motrice dédiée à l’aliment alternatif. Cette convergence expérimentale démontre de manière magistrale que la dévaluation instrumentale ne découle pas d’un traumatisme toxique, mais reflète une mise à jour motivationnelle naturelle et flexible des représentations de buts au sein du système décisionnel.
7.3 La généralisabilité du paradigme à d’autres modalités sensorielles
La puissance d’un modèle expérimental se mesure à son universalité. Les protocoles initiaux de Colwill et Rescorla reposaient sur des conséquences appétitives alimentaires orales. Très rapidement, la question s’est posée de savoir si cette architecture $R-O$ constituait une curiosité adaptative propre au système d’alimentation ou si elle représentait le principe organisateur fondamental de l’ensemble des conduites instrumentales.
Des recherches complémentaires ont rapidement étendu le paradigme de dévaluation à des renforçateurs non gustatifs, notamment des récompenses thermiques (baisse de la température ambiante pour des animaux soumis au froid), visuelles, auditives ou sociales, ainsi qu’à des comportements d’échappement et d’évitement aversif. Dans chaque cas, lorsque la conséquence attendue perd sa pertinence biologique pour l’organisme, la réponse motrice correspondante s’éteint de manière sélective.
Par ailleurs, la généralisabilité phylogénétique s’est avérée spectaculaire. Le paradigme de dévaluation a été reproduit avec un succès constant chez une immense variété d’espèces animales : pigeons, souris de différentes lignées transgéniques, chiens, porcs, primates non humains (macaques rhésus, chimpanzés), et enfin chez l’être humain à travers des protocoles informatisés sophistiqués. Cette universalité évolutive consacre le contrôle dirigé vers un but comme une architecture computationnelle ancestrale hautement sélectionnée par l’évolution biologique pour maximiser l’efficacité adaptative des organismes dans des environnements fluctuants.
8. L’intégration des associations hiérarchiques et des influences pavloviennes
8.1 La structure associative hiérarchique S-(R-O)
Forts de leur succès dans la caractérisation du lien $R-O$, Julie Colwill et Robert Rescorla ont poussé plus loin leur exploration de l’esprit animal en se demandant comment les stimuli environnementaux ($S$) interagissent avec cette relation d’action téléologique. Si le stimulus ne déclenche pas aveuglément la réponse selon le vieux schéma $S-R$, quel est donc son rôle fonctionnel ?
À travers une série d’articles magistraux parus à la fin des années 1980 et au début des années 1990, ils ont établi l’existence de structures associatives hiérarchiques formalisées sous la notation $S-(R-O)$. Dans cette architecture à plusieurs niveaux, le stimulus contextuel ou discriminatif n’est pas directement connecté à l’action motrice, mais agit comme un modérateur d’ordre supérieur : il signale les conditions écologiques dans lesquelles une relation $R-O$ spécifique est actuellement en vigueur.
Ce mécanisme est analogue à la notion d’entrée en fonction ou « occasion setting » issue du conditionnement pavlovien. Par exemple, la présence d’une lumière spécifique indique à l’animal que l’action du levier produira des granulés ($Lumière : R1 \rightarrow O1$), tandis que la présence d’un son indique que cette même action produira une conséquence différente ($Son : R1 \rightarrow O2$). Colwill et Rescorla ont démontré que si l’on dévalue $O1$, l’animal supprime sa réponse au levier en présence de la lumière, mais la maintient intacte en présence du son. Le stimulus environnemental sert donc de contexte déclencheur (« context gate ») qui active sélectivement la pertinence computationnelle d’un réseau $R-O$ déterminé, illustrant une profondeur de calcul mental chez l’animal bien plus sophistiquée que ce que les théories linéaires envisageaient.
8.2 Le transfert pavlovien-instrumental (PIT)
L’étude approfondie des interactions entre représentations cognitives a également mis en lumière un phénomène interactionnel fondamental : le transfert pavlovien-instrumental (« Pavlovian-to-Instrumental Transfer » ou PIT). Ce paradigme démontre qu’un stimulus pavlovien ($CS$) prédictif d’une conséquence possède la capacité d’influencer directement la vigueur et le choix des actions instrumentales ($R$).
La littérature distingue deux modalités majeures de ce phénomène :
- Le PIT spécifique : la présentation d’un stimulus conditionné ($CS1$) préalablement associé à la conséquence $O1$ dynamise spécifiquement l’exécution de la réponse motrice $R1$ qui délivre cette même conséquence $O1$, même en l’absence totale de dévaluation préalable. Le stimulus active sélectivement la représentation du but commun, guidant le choix moteur.
- Le PIT général : un stimulus conditionné associé à un renforçateur distinct ou à une valence émotionnelle globale agit comme un amplificateur motivationnel diffus, augmentant indifféremment la vigueur de n’importe quelle réponse instrumentale appétitive disponible.
Un apport fondamental des prolongements des travaux de Colwill et Rescorla a été de démontrer que le PIT spécifique et l’action dirigée vers un but opèrent selon des circuits d’intégration partiellement distincts. Notamment, le transfert pavlovien instrumental spécifique peut persister de façon surprenante même après la dévaluation du renforçateur par le chlorure de lithium : le stimulus extérieur court-circuite temporairement l’état interne de dévaluation pour réactiver la commande motrice par induction pavlovienne, révélant la complexité des forces motivationnelles en compétition au sein de l’appareil décisionnel.
8.3 La coexistence fonctionnelle de multiples représentations
Loin de proposer un modèle dogmatique qui remplacerait purement et simplement le concept de stimulus-réponse par celui d’action orientée vers un but, les travaux de Julie Colwill et Robert Rescorla ont permis d’aboutir à une vision plurielle et intégrée de l’apprentissage. Lors de toute interaction opérante avec l’environnement, le système nerveux encode simultanément et en parallèle de multiples représentations associatives : des liens $S-R$, des liens $R-O$, des liens $S-O$ et des liens hiérarchiques $S-(R-O)$.
Le comportement final observé à la surface de l’organisme n’est pas le produit d’un système monolithique unique, mais le résultat dynamique d’un arbitrage perpétuel entre ces différentes représentations internes. Selon le niveau d’entraînement, le degré de certitude prédictive de l’environnement, le stress physiologique ou la charge cognitive imposée à l’individu, l’un ou l’autre de ces systèmes associatifs prend le contrôle prépondérant de la voie motrice finale.
Cette intuition avant-gardiste s’est révélée prophétique : elle constitue la matrice directe des modèles contemporains de la théorie de la décision et des neurosciences computationnelles, qui réconcilient formellement l’apprentissage « fondé sur un modèle » (Model-Based, hérité du $R-O$) et l’apprentissage « sans modèle » (Model-Free, hérité du $S-R$) au sein d’une même architecture computationnelle duale.
9. Les bases neurobiologiques : circuits des actions orientées vers un but et des habitudes
9.1 Le cortex préfrontal et le striatum dorsomedian dans le contrôle R-O
L’invention du protocole de dévaluation instrumentale par Colwill et Rescorla a fourni aux neurobiologistes l’outil moléculaire et anatomique parfait pour disséquer les bases neurales de la prise de décision. À partir des années 1990 et 2000, des équipes de neuroscientifiques comportementaux, notamment conduites par Bernard Balleine et Anthony Dickinson, ont utilisé ce paradigme couplé à des techniques de lésions cérébrales sélectives, d’inactivations pharmacologiques et d’optogénétique pour cartographier les réseaux neuronaux sous-tendant les actions orientées vers un but.
Ces travaux ont établi que le contrôle $R-O$ dépend de l’intégrité fonctionnelle d’une boucle cortico-striatale spécifique :
- Le cortex préfrontal prélimbique chez le rongeur (homologue fonctionnel partiel du cortex préfrontal dorsolatéral chez l’humain) : il est indispensable à l’acquisition et à l’encodage de la contingence causale unissant l’action à sa conséquence. Une lésion du cortex prélimbique avant l’entraînement rend l’animal incapable de réduire sélectivement sa réponse lors d’un test de dévaluation ; le rongeur devient immédiatement insensible à la valeur du but et se comporte comme un automate habituel.
- Le striatum dorsomedian (DMS), correspondant au noyau caudé chez les primates et l’être humain : il constitue le nœud sous-cortical critique d’intégration du signal $R-O$. Des micro-injections d’antagonistes des récepteurs glutamatergiques NMDA au sein du DMS empêchent l’apprentissage des contingences instrumentales, prouvant que la plasticité synaptique dans cette région striatale est le substrat direct de l’association action-but.
Ce circuit préfronto-striatal médian assure en continu l’évaluation prospective des conséquences des actions, calculant en temps réel si l’utilité espérée de l’acte justifie son déclenchement au vu des états motivationnels internes.
9.2 Le striatum dorsolatéral et la genèse des habitudes S-R
À l’inverse, l’automatisation progressive de l’action sous la forme d’une habitude motrice insensible à la dévaluation dépend d’une tout autre structure neurale : le striatum dorsolatéral (DLS), dont l’homologue chez les primates est le putamen sensorimoteur.
Lorsque l’entraînement instrumental est prolongé de façon intensive (surapprentissage sur plusieurs semaines), le contrôle de l’action migre progressivement du striatum dorsomedian vers le striatum dorsolatéral. Dans cette configuration, les neurones du DLS encodent l’enchaînement fluide des commandes motrices déclenchées par les stimuli environnementaux, sans plus tenir compte de la représentation du renforçateur. Si l’on applique le test de dévaluation à un animal surentraîné, celui-ci continue d’actionner le levier dévalué : l’habitude $S-R$ a pris le dessus sur l’intentionnalité $R-O$.
Fait fascinant découvert par Anthony Dickinson et ses collègues : si l’on inactive pharmacologiquement ou par optogénétique le striatum dorsolatéral chez un rongeur devenu totalement habituel, la sensibilité à la dévaluation réapparaît instantanément ! Ce résultat démontre que la trace cognitive $R-O$ ne disparaît jamais totalement ; elle demeure silencieusement encodée dans les circuits cérébraux, mais se trouve masquée ou inhibée par la dominance exécutive de l’habitude sensorimotrice du DLS. De plus, le cortex infralimbique joue le rôle d’interrupteur décisionnel suprême en consolidant et en stabilisant l’expression préférentielle des habitudes au détriment des actions dirigées vers un but.
9.3 L’amygdale basolatérale et le cortex orbitofrontal
Pour qu’une action soit efficacement orientée vers un but, le cerveau ne doit pas seulement savoir quelle conséquence est produite, il doit également mettre à jour la valeur affective et incitative de cette conséquence. Ce processus de simulation et de réévaluation hédonique repose sur le dialogue intime unissant l’amygdale basolatérale (BLA) et le cortex orbitofrontal (OFC).
L’amygdale basolatérale est cruciale pour l’encodage des propriétés sensorimotrices et motivationnelles spécifiques des récompenses. Des rongeurs dont la BLA est lésée peuvent apprendre des tâches instrumentales et manifester une aversion au goût normale lors d’un test de consommation libre, mais ils échouent lamentablement au test d’extinction instrumental : ils sont incapables de connecter l’état de malaise physique éprouvé dans leur cage avec la représentation interne de l’aliment sollicité par le manipulateur.
Le cortex orbitofrontal, quant à lui, fonctionne comme un simulateur mental d’états prospectifs non observables. Lors du test d’extinction, en l’absence de toute nourriture physique réelle, c’est l’OFC qui génère l’anticipation hallucinatoire, pour ainsi dire, de la valeur actuelle du résultat attendu. Des enregistrements électrophysiologiques cellulaires chez le rongeur et le primate révèlent que les neurones du cortex orbitofrontal déchargent spécifiquement pour signaler l’identité et la valeur subjective prédite du renforçateur au moment précis où l’animal prépare sa réponse motrice. Une déconnexion chirurgicale ou fonctionnelle de la voie unissant l’amygdale basolatérale au cortex orbitofrontal supprime immédiatement l’effet de dévaluation, transformant l’individu en un sujet incapable d’adapter prospectivement son comportement à la valeur de ses buts.
10. Implications épistémologiques pour les sciences cognitives et le comportement
10.1 La réhabilitation formelle de l’intentionnalité chez l’animal
Sur le plan philosophique et épistémologique, l’impact de l’expérience de dévaluation instrumentale de Colwill et Rescorla est inestimable. Durant des siècles, sous l’influence du dualisme cartésien de l’animal-machine puis du positivisme strict du béhaviorisme du début du XXe siècle, toute attribution d’intentionnalité, de croyance ou de but mental aux animaux non humains était dénoncée avec véhémence comme un péché d’anthropomorphisme naïf.
L’apport révolutionnaire de Colwill et Rescorla a été de formuler des critères opérationnels rigoureux permettant de définir scientifiquement l’intention sans recourir à l’introspection subjective invérifiable. En montrant qu’un comportement répond mathématiquement à deux conditions objectives nécessaires et suffisantes :
- L’action dépend de la contingence causale entre la réponse et l’apparition de l’événement ($R \rightarrow O$).
- L’action fluctue instantanément en fonction de la valeur assignée à cet événement ($O$), indépendamment de tout renforcement moteur immédiat.
Les chercheurs ont donné un contenu scientifique mesurable au concept philosophique d’action intentionnelle.
Grâce à cette démonstration, l’éthologie cognitive et la psychologie comparée ont pu asseoir leur légitimité épistémologique. L’esprit animal a cessé d’être une « boîte noire » impénétrable pour devenir un système de traitement de l’information structuré, doté de représentations symboliques du monde extérieur et capable d’agence prospective.
10.2 La convergence avec les sciences computationnelles
L’architecture issue des travaux de Colwill et Rescorla a trouvé un écho retentissant au sein des sciences computationnelles et de l’intelligence artificielle. Lors de l’élaboration des algorithmes modernes d’apprentissage par renforcement (« Reinforcement Learning »), les informaticiens et théoriciens des neurosciences computationnelles ont calqué leurs modèles sur cette dichotomie fondamentale entre habitudes et buts.
Cette convergence s’incarne parfaitement dans la distinction canonique entre deux grandes familles d’algorithmes :
- Les algorithmes sans modèle (« Model-Free ») : équivalents stricts du schéma $S-R$. L’agent se contente d’associer des valeurs scalaires globales à des paires état-action ($Q-learning$), sans mémoriser la carte des transitions environnementales. Ces systèmes sont extrêmement économiques en temps de calcul et rapides d’exécution, mais totalement rigides et incapables de s’adapter si la valeur finale change sans réexploration extensive.
- Les algorithmes fondés sur un modèle (« Model-Based ») : traduction computationnelle directe du contrôle $R-O$. L’agent maintient en mémoire un modèle explicite des transitions environnementales (quelle action mène à quel état) et calcule prospectivement par recherche arborescente (« tree search ») la valeur cumulée de ses choix. Ces systèmes offrent une flexibilité adaptative maximale, au prix d’un coût computationnel élevé en ressources de mémoire vive.
Le cerveau biologique des mammifères, tel qu’éclairé par les travaux de Colwill et Rescorla, résout élégamment le problème de la prise de décision en faisant coexister ces deux moteurs computationnels au sein d’une architecture hiérarchique : le système Model-Based guide les apprentissages initiaux et s’adapte aux changements critiques de l’environnement, puis passe progressivement le relais au système Model-Free pour automatiser les séquences d’actions stables, libérant ainsi des ressources préfrontales précieuses pour de nouveaux défis cognitifs.
10.3 La redéfinition du concept de renforcement
L’expérience de dévaluation instrumentale a également contraint la psychologie théorique à abandonner définitivement les théories homéostatiques simplistes du renforcement, dominantes au milieu du XXe siècle. Selon la célèbre théorie de la réduction de la pulsion (« drive reduction ») formulée par Clark Hull, un renforçateur n’était efficace que dans la mesure où il abaissait une tension biologique primaire (la faim, la soif, la douleur).
En démontrant que l’animal encode les propriétés qualitatives et sensorielles précises de la conséquence (son goût, son odeur, sa texture, son identité physique) plutôt qu’un gain homéostatique abstrait, Colwill et Rescorla ont imposé une conception cognitive et multidimensionnelle du renforcement. Le renforçateur n’est plus un liquide physiologique réparateur injecté dans le système nerveux : c’est un paquet informationnel riche (« informational event »), doté d’une identité sensorielle propre, qui s’insère dans un réseau sémantique causal.
Cette mutation conceptuelle a permis de décloisonner l’analyse de la motivation. Les théories modernes de la motivation incitative (« incentive salience ») développées par Terry Robinson et Kent Berridge, distinguant le fait de désirer une récompense (« wanting ») du fait de l’apprécier hédoniquement (« liking »), puisent directement leurs racines conceptuelles et méthodologiques dans la dissociation entre valeur du but et force de l’action rendue visible par le protocole de dévaluation instrumentale.
11. Applications cliniques : psychopathologie des compulsions et des addictions
11.1 Le trouble obsessionnel-compulsif (TOC) comme dysfonctionnement R-O
La découverte de la dualité entre action dirigée vers un but ($R-O$) et habitude motrice ($S-R$) a profondément révolutionné la psychiatrie biologique et la psychopathologie computationnelle contemporaines. L’application clinique la plus directe et la plus spectaculaire concerne la compréhension du trouble obsessionnel-compulsif (TOC).
Pendant longtemps, le TOC a été appréhendé comme une pathologie purement émotionnelle liée à une anxiété démesurée : le patient accomplissait des rituels compulsifs (comme le lavage répété des mains) dans le but explicite de neutraliser une obsession anxiogène interne (la peur de la contamination bactérienne). Or, l’adaptation du protocole de dévaluation instrumentale à des populations cliniques humaines – sous la direction de chercheurs comme Trevor Robbins et Claire Gillan – a jeté une lumière radicalement différente sur ce trouble.
Soumis à des tâches informatisées de choix instrumentaux où certaines récompenses sont ultérieurement dévaluées, les patients atteints de TOC manifestent une insensibilité pathologique précoce à la dévaluation. Même lorsqu’on leur montre explicitement qu’une action motrice ne rapporte plus aucun point ou déclenche un stimulus aversif, ces individus continuent frénétiquement d’actionner la touche de réponse correspondante. Le TOC est désormais conceptualisé non pas comme un trouble de la croyance anxieuse, mais comme un dérèglement structurel de la balance cortico-striatale : un déficit primaire du contrôle orienté vers un but médié par le cortex orbitofrontal et le noyau caudé, laissant s’exprimer de manière incontrôlable des boucles motrices automatiques sensorimotrices ($S-R$) ultra-rigides logées dans le putamen.
11.2 L’addiction aux substances et l’insensibilité au coût
Le paradigme de dévaluation instrumentale a fourni aux neurosciences de l’addiction une grille d’analyse d’une formidable puissance explicative pour décrypter le passage tragique de l’usage récréatif de drogues à la dépendance compulsive et incontrôlable.
Au début de l’exposition toxicologique, la prise de drogue constitue une action typiquement orientée vers un but ($R-O$) : l’individu recherche délibérément les effets psychotropes euphoriques ou anxiolytiques de la substance, qui possède une forte valeur incitative. Cependant, l’exposition répétée aux substances addictives – telles que la cocaïne, l’alcool, la nicotine ou les opioïdes – provoque des modifications neurochimiques profondes et accélérées au sein des circuits striataux. Par l’inondation massive de dopamine qu’elles déclenchent dans le noyau accumbens et le striatum dorsal, les drogues détournent les mécanismes de la plasticité synaptique et forcent une transition prématurée et anormale vers le contrôle par les habitudes ($S-R$).
Des rongeurs entraînés à s’auto-administrer de la cocaïne ou de l’alcool finissent par manifester une insensibilité absolue à la dévaluation de la drogue, que celle-ci soit dévaluée par l’ajout de substances amères (comme le denatonium/quinine), par l’association au chlorure de lithium ou par l’adjonction de chocs électriques punitifs appariés à la consommation. L’individu toxicodépendant ne consomme plus pour le plaisir attendu du produit : la commande motrice de consommation est devenue une habitude automatisée ultra-puissante, déclenchée de manière réflexe par la seule présence des stimuli contextuels (la vue d’une seringue, un lieu familier, un état de stress), en dépit des conséquences cataclysmiques évidentes sur sa santé, sa vie sociale et son avenir.
11.3 Pistes thérapeutiques issues du modèle de dévaluation
L’élucidation de ces circuits cérébraux par le truchement du paradigme de Colwill et Rescorla ouvre des perspectives thérapeutiques tout à fait novatrices pour la prise en charge de ces pathologies comportementales invalidantes. Comprendre qu’un comportement pathologique relève de la prise de contrôle indue du système des habitudes ($S-R$) invite à revoir les stratégies de réhabilitation cognitive.
Sur le plan psychothérapeutique, les thérapies comportementales et cognitives (TCC) de troisième vague développent des modules d’entraînement ciblant spécifiquement la réactivation du système dirigé vers un but. Les patients sont entraînés à restaurer la métacognition prospective et le contrôle exécutif préfrontal en ralentissant délibérément la décision motrice, brisant ainsi la chaîne balistique du déclenchement automatique de l’habitude sensorimotrice face aux stimuli déclencheurs.
Sur le plan neuro-technologique, ces modèles guident le ciblage spatial des techniques de neuromodulation non invasive. La stimulation magnétique transcrânienne répétitive (rTMS) ou la stimulation transcrânienne à courant continu (tDCS) appliquées sur le cortex préfrontal dorsolatéral ou le cortex orbitofrontal visent à restaurer le tonus synaptique du réseau $R-O$ défaillant. Dans les formes les plus sévères et réfractaires de TOC ou d’addiction, la stimulation cérébrale profonde (DBS) cible précisément les voies striatales et sous-thalamiques impliquées dans la compétition entre habitude et intentionnalité, cherchant à déverrouiller chirurgicalement le carcan de la compulsion motrice automatisée.
12. Postérité, réplications contemporaines et frontières de la recherche
12.1 Les prolongements contemporains par Anthony Dickinson et Bernard Balleine
L’héritage intellectuel initié par Julie Colwill et Robert Rescorla a trouvé son prolongement le plus systématique et le plus fécond dans les travaux conjoints menés par Anthony Dickinson à l’Université de Cambridge et Bernard Balleine à l’Université de Sydney et UCLA. Au cours des décennies 1990 et 2000, ces chercheurs ont transformé l’architecture méthodologique de 1985 en un programme de recherche complet sur la neurobiologie cognitive de la motivation.
Dickinson et Balleine ont notamment résolu une énigme fascinante issue du protocole de dévaluation : le rôle crucial de l’expérience directe de la valeur incitative. Ils ont démontré que pour qu’une modification physiologique interne (telle que le passage de la faim à la satiété) modifie le comportement instrumental lors du test d’extinction, l’animal doit impérativement avoir eu l’occasion préalable d’entrer en contact consommatoire direct avec l’aliment dans son nouvel état physiologique. L’animal ne devine pas abstraitement la nouvelle valeur de la récompense : il doit faire l’apprentissage expérientiel de son utilité gustative sous le nouvel état homéostatique (« incentive learning »), formalisant ainsi un pont élégant entre cognition computationnelle et physiologie viscérale.
Parallèlement, leurs équipes ont disséqué les mécanismes synaptiques fins au cœur du striatum dorsomedian, identifiant les cascades de signalisation intracellulaire dépendantes des récepteurs dopaminergiques D1 et D2, des récepteurs aux cannabinoïdes CB1 et de la plasticité synaptique à long terme (LTP et LTD) qui sous-tendent l’encodage et la flexibilité des associations $R-O$, hissant le paradigme de dévaluation au rang d’outil de référence mondial pour l’analyse moléculaire de la mémoire comportementale.
12.2 L’imagerie par résonance magnétique fonctionnelle (IRMf) chez l’humain
Avec l’avènement des technologies de neuro-imagerie non invasive au début des années 2000, le paradigme de dévaluation instrumentale a franchi avec succès les frontières inter-espèces pour être adapté directement au cerveau humain. Des chercheurs pionniers tels que John O’Doherty, Ray Dolan et Nathaniel Daw ont transcrit les protocoles de Colwill et Rescorla au format virtuel au sein des scanners d’imagerie par résonance magnétique fonctionnelle (IRMf).
Dans ces dispositifs humains, les volontaires apprennent à appuyer sur des boutons d’une manette pour obtenir des points convertibles en argent ou des stimuli alimentaires sensoriels réels (comme des micro-gorgées de jus d’orange, de chocolat ou de soupe délivrées directement dans la bouche par des tuyaux contrôlés par ordinateur). La dévaluation est induite en direct dans le scanner soit par satiété sensorielle spécifique (consommation du liquide jusqu’au dégoût), soit par des pertes de points monétaires.
Les données d’IRMf ont confirmé avec une clarté spectaculaire les modèles issus de l’expérimentation animale :
- Lorsque le sujet humain opère un choix guidé par la valeur actualisée du but ($R-O$), on observe une activation conjointe massive du cortex orbitofrontal médial et de la partie antérieure du noyau caudé.
- Lorsque le choix devient insensible à la dévaluation (émergence de l’habitude $S-R$ par répétition extensive ou charge cognitive concurrente), l’activité cérébrale se désengage de l’orbitofrontal pour se relocaliser préférentiellement dans le putamen sensorimoteur postérieur.
De surcroît, ces protocoles ont révélé l’existence d’une forte variabilité interindividuelle dans la propension à céder aux habitudes, cette variabilité étant directement corrélée à l’intégrité microstructurale des faisceaux de substance blanche reliant le cortex préfrontal au striatum.
12.3 Synthèse conceptuelle et statut durable des travaux de 1985
Plus de quatre décennies après sa parution, l’article de Julie Colwill et Robert Rescorla demeure l’un des piliers méthodologiques les plus cités et les plus vénérés de toute l’histoire des sciences du comportement. Sa force pérenne réside dans son dépouillement méthodologique absolu : une question philosophique séculaire tranchée non pas par des dissertations spéculatives abstraites, mais par une chorégraphie expérimentale parfaite, dont les données empiriques limpides ne laissent aucune prise à la contradiction.
En concevant le paradigme de dévaluation instrumentale, Colwill et Rescorla n’ont pas simplement infirmé une théorie associationniste étroite ; ils ont offert aux sciences de l’esprit une méthode scientifique irréfutable pour sonder les architectures représentationales internes de l’organisme. Ils ont prouvé que la cognition peut être mesurée avec la même exactitude mathématique et la même reproductibilité que les processus sensorimoteurs les plus élémentaires.
De la psychologie comparative des rongeurs à la neuro-imagerie humaine, de la modélisation computationnelle des réseaux neuronaux profonds à la clinique psychiatrique des compulsions, l’empreinte intellectuelle de cette expérience de 1985 demeure inaltérée. Julie Colwill et Robert Rescorla ont à jamais transformé notre conception de l’action vivante, en révélant que derrière la simplicité apparente d’un geste moteur se déploie toute la profondeur d’un esprit habité par la prédiction de son propre avenir.
Références
- Balleine, B. W., & Dickinson, A. (1998). Goal-directed instrumental action: Contingency and incentive learning and their cortical substrates. Neuropharmacology, 37(4-5), 407-419. https://doi.org/10.1016/s0028-3908(98)00033-1
- Berridge, K. C., & Robinson, T. E. (2003). Parsing reward: The conceptual separation of ‘wanting’ and ‘liking’. Trends in Neurosciences, 26(9), 507-513. https://doi.org/10.1016/S0166-2236(03)00233-9
- Colwill, R. M., & Rescorla, R. A. (1985). Post-conditioning devaluation of a reinforcer affects instrumental responding. Animal Learning & Behavior, 13(2), 128-136. https://doi.org/10.3758/BF03200050
- Colwill, R. M., & Rescorla, R. A. (1988). The role of the outcome in instrumental learning: An investigation of S-(R-O) relations. Journal of Experimental Psychology: Animal Behavior Processes, 14(2), 155-164. https://doi.org/10.1037/0097-7403.14.2.155
- Daw, N. D., Niv, Y., & Dayan, P. (2005). Uncertainty-based competition between eval(sub)systems in the rat striatum. Nature Neuroscience, 8(12), 1704-1711. https://doi.org/10.1038/nn1560
- Dickinson, A. (1985). Actions and habits: The development of behavioural autonomy. Philosophical Transactions of the Royal Society of London. B, Biological Sciences, 308(1135), 67-78. https://doi.org/10.1098/rstb.1985.0010
- Garcia, J., Ervin, F. R., & Koelling, R. A. (1966). Learning with prolonged delay of reinforcement. Psychonomic Science, 5(3), 121-122. https://doi.org/10.3758/BF03328311
- Gillan, C. M., Papmeyer, M., Morein-Zamir, S., Sahakian, B. J., Fineberg, N. A., Robbins, T. W., & de Wit, S. (2011). Disruption in the balance between goal-directed and habitual behavior in obsessive-compulsive disorder. American Journal of Psychiatry, 168(7), 718-726. https://doi.org/10.1176/appi.ajp.2011.10071062
- O’Doherty, J., Dayan, P., Schultz, J., Deichmann, R., Friston, K., & Dolan, R. J. (2004). Dissociable roles of ventral and dorsal striatum in instrumental conditioning. Science, 304(5669), 452-454. https://doi.org/10.1126/science.1094285
- Rescorla, R. A., & Wagner, A. R. (1972). A theory of Pavlovian conditioning: Variations in the effectiveness of reinforcement and nonreinforcement. In A. H. Black & W. F. Prokasy (Eds.), Classical Conditioning II: Current Research and Theory (pp. 64-99). Appleton-Century-Crofts.
- Thorndike, E. L. (1898). Animal intelligence: An experimental study of the associative processes in animals. The Psychological Review: Monograph Supplements, 2(4), i-109. https://doi.org/10.1037/h0092987
- Tolman, E. C. (1948). Cognitive maps in rats and men. Psychological Review, 55(4), 189-208. https://doi.org/10.1037/h0061626
- Valentin, V. V., Dickinson, A., & O’Doherty, J. P. (2007). Determining the neural substrates of goal-directed learning in the human brain. Journal of Neuroscience, 27(15), 4019-4026. https://doi.org/10.1523/JNEUROSCI.0564-07.2007
- Yin, H. H., & Knowlton, B. J. (2006). The role of the basal ganglia in habit formation. Nature Reviews Neuroscience, 7(6), 464-476. https://doi.org/10.1038/nrn1919