Modèle de Rescorla-Wagner du conditionnement classique – Robert A. Rescorla & Allan R. Wagner

L’histoire de la psychologie scientifique et de l’étude du comportement a été profondément marquée par la quête d’une formalisation mathématique des lois régissant la formation des associations mentales. Depuis les premières expériences systématiques d’Ivan Pavlov sur les réflexes conditionnels chez le chien, l’hypothèse prédominante reposait sur un principe séduisant par sa simplicité : la contiguïté spatio-temporelle. Selon cette vision classique, la simple présentation répétée et conjointe d’un stimulus neutre et d’un stimulus biologiquement significatif suffisait, de manière quasi mécanique, à sceller un lien associatif au sein du système nerveux. L’animal n’était perçu que comme un récepteur passif, enregistrant les co-occurrences environnementales sans que ne soient véritablement interrogées la valeur informative de ces événements ou la dynamique compétitive s’exerçant entre les multiples signaux qui composent la trame perceptive d’un organisme vivant.

Au tournant des années 1960 et 1970, cette conception mécaniste du conditionnement classique a été confrontée à une accumulation d’anomalies empiriques insolubles dans le cadre du béhaviorisme radical. Des phénomènes expérimentaux novateurs, tels que le masquage mis en évidence par Leon Kamin ou les effets de contingence statistique explorés par Robert A. Rescorla, ont démontré que la proximité temporelle entre deux événements ne constituait ni une condition suffisante, ni même le moteur fondamental de l’apprentissage. Il devint manifeste que les organismes vivants ne réagissent pas simplement à la répétition des faits, mais opèrent une véritable analyse prédictive de leur environnement. L’apprentissage requérait un élément de nouveauté épistémique : pour qu’une association se forge, l’organisme devait être confronté à un décalage entre ce qu’il anticipait et la réalité biologique qu’il expérimentait.

C’est dans ce contexte d’effervescence théorique et de transition vers le paradigme cognitif que parut, en 1972, un chapitre d’anthologie rédigé par Robert A. Rescorla et Allan R. Wagner au sein de l’ouvrage collectif Classical Conditioning II: Current Research and Theory. En formulant une équation différentielle d’une prodigieuse élégance, les deux chercheurs ont révolutionné la psychologie de l’apprentissage en introduisant le concept fondateur d’erreur de prédiction. Ce modèle, universellement désigné sous le nom de modèle de Rescorla-Wagner, a redéfini le conditionnement comme un processus d’ajustement algorithmique de la valeur associative des stimuli, fondé sur une capacité d’apprentissage finie et une compétition constante entre les indices environnementaux. Cinquante ans après sa parution, ce modèle demeure l’une des constructions théoriques les plus influentes des sciences cognitives, ayant anticipé avec une stupéfiante précision les découvertes neurobiologiques contemporaines sur le système dopaminergique et fourni les bases formelles de l’apprentissage par renforcement en intelligence artificielle.

1. Contexte historique et genèse théorique du modèle de Rescorla-Wagner

1.1 Les limites du behaviorisme pavlovien traditionnel

Durant la première moitié du XXe siècle, la théorie de l’apprentissage était dominée par les principes de la réflexologie pavlovienne et les formulations stimulus-réponse (S-R) issues des travaux de pionniers tels que John B. Watson, Edward Thorndike et, plus tard, Clark Hull. Au cœur de cette conception se trouvait le dogme de la contiguïté temporelle : l’idée selon laquelle la force d’une association dépendait quasi exclusivement du nombre de fois où le stimulus conditionnel (SC) et le stimulus inconditionnel (SI) apparaissaient de manière temporellement rapprochée. Si un son précédait immédiatement l’arrivée de nourriture ou l’administration d’un choc électrique, un lien d’association était supposé se tisser automatiquement dans le réseau sensoriel et moteur de l’animal. Cette approche reposait sur une vision continuiste et cumulative où chaque appariement SC-SI venait empiler une unité de force associative supplémentaire sur les précédentes, selon une trajectoire monotone et universelle.

Toutefois, cette conception mécanique s’est rapidement heurtée à des paradoxes empiriques majeurs. L’insuffisance de la simple co-occurrence spatio-temporelle est devenue patente lorsque les chercheurs ont constaté que des milliers d’appariements contigus pouvaient totalement échouer à produire un conditionnement si le contexte expérimental rendait le stimulus conditionnel informativement redondant ou superflu. La proximité temporelle apparaissait alors comme une condition facilitatrice, mais nullement déterminante. L’animal ne se comportait pas comme une cire vierge sur laquelle les stimuli s’imprimaient par simple frottement temporel, mais semblait réagir à la valeur informative globale portée par le signal.

Cette faille théorique a ouvert la voie à l’émergence des concepts de contingence statistique et de probabilité conditionnelle. Il est apparu nécessaire de distinguer la simple co-occurrence accidentelle de la véritable relation de dépendance probabiliste liant deux événements. Si un stimulus conditionnel est suivi du stimulus inconditionnel dans 80 % des cas, mais que ce même stimulus inconditionnel survient également de manière aléatoire en l’absence du stimulus conditionnel avec une fréquence identique, aucun apprentissage n’émerge, en dépit d’une contiguïté temporelle pourtant répétée. Face à ces observations, la psychologie scientifique s’est trouvée dans l’obligation d’abandonner les lois qualitatives et descriptives du réflexe simple pour entreprendre une refonte mathématique et formelle capable de modéliser comment les organismes intègrent, comparent et sélectionnent les flux d’informations statistiques de leur biotope.

1.2 La collaboration entre Robert A. Rescorla et Allan R. Wagner

L’émergence du modèle de Rescorla-Wagner découle de la rencontre féconde de deux des esprits les plus brillants de la psychologie expérimentale américaine à l’Université Yale. Robert A. Rescorla s’était déjà imposé comme un théoricien d’avant-garde grâce à ses travaux pionniers menés à la fin des années 1960 sur la contingence dans le conditionnement classique. Par ses fameuses expériences de 1967 et 1968, Rescorla avait brisé l’hégémonie de la contiguïté en concevant le protocole du « groupe de contrôle véritablement aléatoire » (truly random control group), démontrant sans équivoque que le conditionnement dépendait de la comparaison mathématique entre deux probabilités : la probabilité de survenue du SI en présence du SC, notée $P(SI|SC)$, et la probabilité de survenue du SI en son absence, notée $P(SI|\text{non}SC)$. Parallèlement, Rescorla avait réhabilité et approfondi l’étude de l’inhibition conditionnée, montrant que les stimuli pouvaient acquérir des propriétés inhibitrices actives et mesurables, signalant non pas la présence, mais l’absence programmée d’un événement biologique.

De son côté, Allan R. Wagner apportait une rigueur méthodologique exceptionnelle et une expertise reconnue dans l’analyse de la saillance des stimuli, des processus attentionnels et des architectures de traitement de l’information chez l’animal. Wagner s’intéressait aux mécanismes computationnels par lesquels les propriétés physiques des signaux sensoriels influencent la dynamique de la mémoire de travail et la force des représentations internes. Convaincu que l’apprentissage ne pouvait être compris sans modéliser la compétition active entre stimuli concurrents, il cherchait à formaliser les contraintes structurales limitant la quantité d’information qu’un organisme peut absorber lors d’un épisode de renforcement donné.

La synergie entre Rescorla et Wagner a permis d’unifier la dimension probabiliste de la contingence et la dynamique attentionnelle de la compétition sensorielle. Leur objectif commun était d’une ambition rare : formuler une règle algorithmique universelle, mathématiquement explicite et économe en paramètres, capable de rendre compte non seulement de l’acquisition élémentaire et de l’extinction, mais aussi des interactions hautement complexes observées lorsque plusieurs stimuli sont présentés de manière combinée. Ce dialogue intellectuel a donné naissance à une théorie où la force associative n’est plus une propriété isolée d’un couple de stimuli, mais le résultat d’un arbitrage global au sein d’un système à capacité limitée.

1.3 La rupture épistémologique de 1972 et le cognitivisme naissant

La publication en 1972 du chapitre intitulé « A Theory of Pavlovian Conditioning: Variations in the Effectiveness of Reinforcement and Nonreinforcement » dans le volume édité par A. H. Black et W. F. Prokasy a constitué un véritable séisme épistémologique. En pleine transition paradigmatique, alors que le béhaviorisme radical cédait progressivement le pas devant la révolution des sciences cognitives, la théorie de Rescorla et Wagner a jeté un pont magistral entre la rigueur expérimentale de l’expérimentation animale et les concepts émergents de représentation mentale et de calcul de l’information.

La rupture majeure résidait dans l’abandon définitif du schéma simpliste stimulus-réponse (S-R) au profit d’un cadre conceptuel fondé sur les notions d’attente cognitive (expectancy) et de représentation interne. Dans le modèle de Rescorla-Wagner, la réponse conditionnée n’est pas le produit d’une connexion mécanique directe entre un nerf afférent et un effecteur moteur, mais la manifestation comportementale d’un état interne de prédiction. L’organisme n’est plus assimilé à un automate réactif, mais envisagé comme un processeur actif d’informations probabilistes, un statisticien pragmatique qui évalue en permanence l’adéquation entre ses prévisions et la réalité empirique du monde extérieur.

L’accueil réservé au modèle par la communauté scientifique internationale a été immédiat et retentissant. Sa force de séduction résidait dans son extraordinaire pouvoir prédictif : à l’aide d’une formule algébrique unique et compacte, le modèle parvenait non seulement à déduire logiquement des phénomènes déjà observés mais mal compris, mais également à prédire des effets comportementaux contre-intuitifs qui n’avaient encore jamais été testés en laboratoire. Cette formulation mathématique a conféré à la psychologie de l’apprentissage un degré de maturité formelle comparable à celui des sciences physiques, établissant le modèle comme la référence canonique incontournable pour les décennies à venir.

2. Les fondements conceptuels : la notion de surprise et de prévisibilité

2.1 Le rôle central de l’erreur de prédiction

Le postulat cardinal sur lequel repose l’ensemble de l’édifice théorique de Rescorla et Wagner est d’une profonde intuition psychologique : l’apprentissage ne se produit que si l’organisme est surpris. En d’autres termes, un organisme n’apprend rien de nouveau face à un événement qu’il est déjà en mesure d’anticiper parfaitement. Si un stimulus inconditionnel (par exemple, une décharge électrique ou une goutte d’eau sucrée) survient de manière entièrement prévisible, son pouvoir de modifier les connexions associatives du système nerveux devient rigoureusement nul. L’efficacité d’un renforçateur ne dépend donc pas de ses propriétés intrinsèques immuables, mais du degré de disparité entre ce qui arrive et ce qui était attendu.

Cette dynamique est régie par la notion formelle d’erreur de prédiction, conceptualisée comme la différence algébrique entre l’intensité réelle du stimulus inconditionnel reçu par l’organisme (notée par la lettre grecque $lambda$, lambda) et la somme totale des attentes générées par l’ensemble des stimuli conditionnels présents lors de cet essai (notée $V_{total}$). Cette grandeur quantitative mesure le niveau d’écart entre réalité et représentation. Si l’issue expérimentale dépasse ce qui était anticipé ($\lambda > V_{total}$), l’erreur de prédiction est positive, signalant une surprise par excès : l’organisme apprend que le monde est plus généreux ou plus menaçant que prévu, ce qui renforce la valeur prédictive des indices présents.

Inversement, si l’événement attendu fait défaut ou se révèle d’une intensité inférieure aux prédictions accumulées ($lambda < V_{total}$), l’erreur de prédiction devient négative. Cette surprise par défaut indique à l’animal qu’il a surestimé la portée de ses indices, provoquant un ajustement à la baisse de leur valeur associative. Enfin, lorsque la réalité correspond exactement à l’attente cumulée ($lambda = V_{total}$), l’erreur s’annule totalement : l’état d’équilibre asymptotique est atteint, et l’apprentissage cesse, même si les présentations conjointes continuent indéfiniment. Ce principe de correction des erreurs constitue le moteur mécanique exclusif de toute modification de la force associative.

2.2 La valeur associative comme réserve cognitive finie

Le second pilier théorique fondamental du modèle est l’hypothèse audacieuse selon laquelle un stimulus inconditionnel donné ne possède qu’une capacité associative strictement limitée. Cette réserve associative finie, déterminée par la valeur asymptotique $lambda$, représente le plafond indépassable de force prédictive qu’un renforçateur spécifique peut soutenir dans l’organisme. La grandeur $lambda$ est directement liée aux caractéristiques physiques et biologiques du SI : une décharge électrique de forte intensité ou une concentration élevée de saccharose possédera une asymptote $lambda$ beaucoup plus élevée qu’un choc modéré ou une solution faiblement concentrée.

La conséquence théorique immédiate de ce postulat est l’émergence d’une compétition associative directe entre tous les indices environnementaux présents simultanément lors d’un essai de conditionnement. La valeur associative n’est pas allouée de façon indépendante ou illimitée à chaque stimulus individuel. Au contraire, elle est soumise à un principe de distribution à somme nulle ou partagée, fréquemment conceptualisé sous la métaphore d’un « gâteau associatif » de taille invariable.

Lorsqu’un ensemble composite de stimuli conditionnels (par exemple, une lumière associée à un son) annonce l’arrivée du renforçateur, la valeur prédictive globale $V_{total}$ ne peut en aucun cas excéder la valeur plafond $lambda$. Dès lors, si un stimulus conditionnel accapare une part prépondérante de cette force associative, il en prive mécaniquement les autres stimuli cooccurrents. Cette notion de ressource cognitive partagée et finie représente une rupture radicale avec les modèles antérieurs, qui supposaient que chaque stimulus forgeait son propre lien associatif avec le SI de manière close et isolée du reste du contexte sensoriel.

2.3 Traitement de l’information et saillance du stimulus

Bien que la dynamique d’apprentissage soit dictée par l’amplitude de l’erreur de prédiction et le partage de l’asymptote associative, la vitesse à laquelle les ajustements s’opèrent dépend intrinsèquement des propriétés perceptives des stimuli en jeu. Pour intégrer cette réalité psychophysique, Rescorla et Wagner ont introduit dans leur formalisme le concept de saillance du stimulus conditionnel, désigné par le paramètre scalaire $\alpha$ (alpha).

La saillance reflète l’intensité physique, la conspicuité sensorielle et la détectabilité biologique propre à un stimulus donné. Un flash lumineux stroboscopique intense ou un klaxon strident posséderont une valeur de saillance $\alpha$ nettement supérieure à celle d’une lueur diffuse ou d’un murmure sonore feutré. D’un point de vue computationnel, la saillance agit comme un multiplicateur de vitesse : elle ne modifie pas l’asymptote ultime de l’apprentissage (qui dépend uniquement de $lambda$), mais régule la fraction de l’erreur de prédiction qui est effectivement traitée et convertie en incrément associatif lors de chaque essai individuel.

Il importe de souligner une caractéristique architecturale majeure du modèle original de 1972 : le paramètre de saillance $\alpha$ y est considéré comme une constante fixe, prédéterminée par la constitution sensorielle du sujet et les caractéristiques physiques invariantes de l’indice. Le modèle postule une allocation attentionnelle relativement stable au fil des essais, opérant une séparation nette entre la détectabilité perceptive (codée par $\alpha$) et la pertinence conditionnelle ou prédictive (exprimée par la variable dynamique de force associative $V$). Cette séparation rigoureuse confère au formalisme sa simplicité mathématique, tout en constituant l’une de ses principales limites face aux modulations attentionnelles complexes induites par l’expérience passée.

3. Formalisation mathématique de l’équation de Rescorla-Wagner

3.1 Décomposition de l’équation fondamentale

L’ensemble de la théorie de Rescorla-Wagner se condense dans une équation différentielle aux différences finies, remarquable par sa clarté syntaxique et sa rigueur logique. Pour un stimulus conditionnel élémentaire $A$ présent lors d’un essai d’apprentissage donné, la modification de sa force associative, notée $\Delta V_A$, est formalisée comme suit :

$$\Delta V_A = \alpha_A \beta (\lambda – V_{total})$$

Chaque terme de cette formulation arithmétique joue un rôle fonctionnel hautement circonscrit dans le traitement computationnel de l’information :

• $\Delta V_A$ (Delta V de A) : Représente la variation nette de la force associative attachée au stimulus $A$ à l’issue de l’essai en cours. Cette valeur peut être positive (gain d’apprentissage, excitation), négative (perte de valeur associative, extinction ou inhibition) ou nulle (stabilité de l’état cognitif). La nouvelle force associative après l’essai sera calculée de manière itérative par la formule de mise à jour : $V_A^{(n+1)} = V_A^{(n)} + \Delta V_A$.
• $\alpha_A$ (Alpha de A) : Désigne le coefficient de saillance spécifique au stimulus conditionnel $A$, dépendant de ses propriétés sensorielles directes.
• $\beta$ (Bêta) : Représente le paramètre de taux d’apprentissage lié au stimulus inconditionnel (SI). Il reflète la capacité intrinsèque du renforçateur à impulser une modification mnésique (généralement différencié en $\beta_{renf}$ pour les essais avec présence du SI et $\beta_{non-renf}$ pour les essais sans SI).
• $lambda$ (Lambda) : Indique la valeur asymptotique maximale soutenable par le stimulus inconditionnel délivré lors de cet essai spécifique.
• $V_{total}$ (V total) : Constitue la somme arithmétique globale des valeurs associatives de l’ensemble des stimuli conditionnels physiquement présents lors de l’essai : $V_{total} = \sum_{i} V_i = V_A + V_B + dots + V_k$. C’est cette sommation linéaire qui matérialise la prédiction totale de l’organisme.
• $(\lambda – V_{total})$ : Matérialise l’erreur de prédiction nette. Il s’agit du différentiel computationnel direct entre la réalité biologique observée et l’attente anticipée agrégée.

3.2 Analyse détaillée des paramètres d’apprentissage

La cinétique temporelle des modifications comportementales est dictée par la dynamique conjointe des paramètres de taux d’apprentissage $\alpha_A$ et $\beta$. Par convention mathématique et pour garantir la convergence et la stabilité asymptotique du système, ces deux coefficients scalaires sont normalisés et restreints à un intervalle continu compris strictement entre 0 et 1 :

$$0 le \alpha_A le 1 \quad \text{et} \quad 0 le \beta le 1$$

Le produit scalaire direct $(\alpha_A \cdot \beta)$ constitue le véritable taux d’apprentissage composite du modèle. Si l’un ou l’autre de ces deux paramètres s’approche de la valeur 0, le produit s’effondre vers zéro, ce qui signifie que l’incrément $\Delta V_A$ sera quasiment nul lors de chaque présentation : l’apprentissage est alors extrêmement lent, voire totalement gelé. C’est typiquement ce qui se produit face à un stimulus conditionnel d’une imperceptibilité quasi totale (saillance $\alpha to 0$) ou face à un renforçateur d’une insignifiance biologique absolue (taux $\beta to 0$).

À l’inverse, lorsque le produit $(\alpha_A \cdot \beta)$ est élevé (par exemple proche de 0,5 ou supérieur), le système procède à des réajustements massifs dès les premières itérations, réduisant rapidement l’écart de prédiction. Il est fréquent dans la pratique expérimentale d’attribuer des valeurs distinctes à $\beta$ selon que le renforceur est administré ou omis. Par exemple, l’apprentissage en présence d’un choc électrique intense peut être caractérisé par un $\beta_{renf}$ de 0,40, tandis que l’omission de ce choc lors d’une phase d’extinction peut correspondre à un $\beta_{non-renf}$ plus modeste, comme 0,15, reflétant la dynamique asymétrique constatée empiriquement entre les vitesses d’acquisition et d’extinction du réflexe conditionné.

3.3 L’asymptote d’apprentissage et la saturation associative

Le paramètre $lambda$ incarne la cible téléologique vers laquelle tend l’état cognitif de l’organisme. Sa valeur est fixée de manière contingente à chaque essai d’apprentissage :

• Lorsqu’un stimulus inconditionnel d’intensité standard est administré lors de l’essai, $lambda$ prend une valeur positive déterminée, généralement arbitrairement fixée à 1 (ou 100) à des fins de normalisation mathématique dans les simulations de base ($lambda = 1,0$).
• Lorsqu’aucun stimulus inconditionnel n’est délivré (essais non renforcés, procédures d’extinction, présentations solitaires du SC), l’asymptote est invariablement fixée à zéro ($lambda = 0$).

La mécanique différentielle de l’équation entraîne une propriété fondamentale : la convergence asymptotique. Au fur et à mesure que les essais se répètent, la force associative cumulée $V_{total}$ progresse continuellement vers la valeur de $lambda$. Tant qu’il subsiste une différence non nulle entre $lambda$ et $V_{total}$, un incrément $\Delta V$ est calculé et appliqué. Toutefois, à mesure que $V_{total}$ se rapproche numériquement de $lambda$, la différence $(\lambda – V_{total})$ diminue mécaniquement en magnitude absolue, réduisant la taille des incréments futurs.

Le système atteint un état d’équilibre stationnaire robuste au moment précis où $V_{total} = \lambda$. Dès cet instant, l’erreur de prédiction s’annule rigoureusement :

$$\lambda – V_{total} = 0 implies \Delta V_A = \alpha_A \beta (0) = 0$$

Le processus d’apprentissage parvient ainsi à une saturation mathématique absolue. Même si l’animal subit des centaines d’essais d’appariement supplémentaires dans les mêmes conditions, les valeurs associatives n’évoluent plus d’un iota. La saturation associative ne traduit donc pas un épuisement biologique ou attentionnel du sujet, mais la perfection mathématique de la prévision cognitive désormais en adéquation avec la structure du monde extérieur.

4. Modélisation de l’acquisition élémentaire et de l’extinction

4.1 La dynamique de la courbe d’acquisition asymptotique

L’un des premiers triomphes formels du modèle de Rescorla-Wagner réside dans sa capacité à déduire analytiquement la forme exacte de la courbe d’acquisition observée en psychophysiologie depuis Pavlov. Lorsqu’un stimulus conditionnel neutre $A$ ($V_A = 0$ à l’instant initial $t=0$) est systématiquement apparié à un stimulus inconditionnel constant ($lambda = 1$), l’application successive de l’équation différentielle engendre une fonction exponentielle négative, caractérisée par une dynamique de rendements marginaux décroissants.

Considérons une simulation numérique canonique où $\alpha_A = 0,50$, $\beta = 0,50$ (soit un taux composite $\alpha_A \beta = 0,25$) et $lambda = 1,0$ :

• Essai 1 : Initialement, $V_A = 0$. L’erreur de prédiction est maximale : $(1,0 – 0) = 1,0$. Le gain associatif est alors : $\Delta V_A = 0,25 \times 1,0 = 0,25$. À l’issue de ce premier essai, la force associative s’établit à $V_A = 0,25$.
• Essai 2 : À l’entame du deuxième essai, $V_A = 0,25$. L’erreur de prédiction s’est réduite : $(1,0 – 0,25) = 0,75$. Le nouvel incrément est : $\Delta V_A = 0,25 \times 0,75 = 0,1875$. La force totale devient : $V_A = 0,25 + 0,1875 = 0,4375$.
• Essai 3 : L’erreur résiduelle est désormais de $(1,0 – 0,4375) = 0,5625$. Le gain est : $\Delta V_A = 0,25 \times 0,5625 \approx 0,1406$. La force atteint : $V_A \approx 0,5781$.
• Essais subséquents : Les incréments successifs suivent la suite décroissante $0,25 to 0,1875 to 0,1406 to 0,1055 to dots$ tendant asymptotiquement vers zéro.

Cette cinétique formalise mathématiquement pourquoi les premiers essais d’un protocole de conditionnement sont invariablement les plus efficients d’un point de vue comportemental. La progression est fulgurante lorsque l’inconnu est total, puis décélère progressivement à mesure que l’incertitude se dissipe. Cette prédiction du modèle colle avec une précision exemplaire aux courbes de conditionnement salivaire, de réponse électrodermale ou de suppression conditionnée mesurées chez une immense diversité de vertébrés et d’invertébrés.

4.2 Le processus d’extinction selon le formalisme mathématique

Dans la perspective du modèle de 1972, l’extinction comportementale n’est pas considérée comme l’installation mystérieuse d’un état passif, mais comme une phase d’apprentissage actif induite par un renversement de signe de l’erreur de prédiction. Lorsqu’un stimulus conditionnel $A$, préalablement conditionné jusqu’à son asymptote ($V_A \approx \lambda = 1,0$), est soudainement présenté seul, sans délivrance du stimulus inconditionnel, les paramètres environnementaux changent instantanément : la valeur assignée à $lambda$ s’effondre à zéro ($lambda = 0$).

L’introduction de ce paramètre nul dans l’équation engendre immédiatement une erreur de prédiction négative :

$$\Delta V_A = \alpha_A \beta_{non-renf} (0 – V_A) = – (\alpha_A \beta_{non-renf} \cdot V_A)$$

Puisque le terme $(\lambda – V_{total})$ est désormais négatif, la valeur de $\Delta V_A$ devient intrinsèquement négative, soustrayant de la force associative à chaque nouvelle présentation non renforcée. Si nous poursuivons la modélisation avec un taux d’apprentissage sans renforcement de $\alpha_A \beta_{non-renf} = 0,20$ à partir d’un niveau initial $V_A = 1,0$ :

• Essai d’extinction 1 : $\Delta V_A = 0,20 \times (0 – 1,0) = -0,20 implies V_A = 0,80$.
• Essai d’extinction 2 : $\Delta V_A = 0,20 \times (0 – 0,80) = -0,16 implies V_A = 0,64$.
• Essai d’extinction 3 : $\Delta V_A = 0,20 \times (0 – 0,64) = -0,128 implies V_A = 0,512$.

La courbe de décroissance de la réponse conditionnée épouse fidèlement une fonction de régression exponentielle inversée, glissant progressivement vers la ligne de base zéro. Toutefois, cette formulation révèle la conception ontologique sous-jacente propre au modèle originel : l’extinction y est modélisée comme un véritable désapprentissage (unlearning), une érosion arithmétique détruisant progressivement la trace associative forgée antérieurement, ramenant la force $V_A$ à son état de virginité associative initiale.

4.3 Les limites théoriques face aux phénomènes de résurgence

C’est précisément dans cette conception de l’extinction comme effacement synaptique ou associatif que réside l’une des failles structurelles les plus sévères du modèle de Rescorla-Wagner. L’accumulation des découvertes expérimentales à partir de la fin des années 1970 a irrévocablement prouvé que l’extinction n’élimine pas l’association originale, mais correspond à la formation d’un nouvel apprentissage d’inhibition transitoire ou à une modulation contextuelle de la trace mnésique primitive. Le formalisme d’origine est rigoureusement incapable de rendre compte de la triade classique des phénomènes de résurgence associative :

• La récupération spontanée : Lorsqu’un stimulus a été totalement éteint ($V_A = 0$) et que l’animal est remis dans sa cage d’élevage pendant plusieurs jours ou semaines, la simple réintroduction ultérieure du stimulus seul déclenche à nouveau une réponse conditionnée robuste. Dans le modèle de Rescorla-Wagner, si $V_A = 0$, aucune variable temporelle passive ne figure dans l’équation pour permettre à $V_A$ de remonter spontanément au-dessus de zéro sans essais de réapprentissage explicites ($lambda > 0$).
• Le renouvellement contextuel (Effet ABA) : Si le conditionnement initial s’effectue dans un contexte environnemental $A$, que l’extinction est menée à son terme dans un contexte distinct $B$, le simple fait de retester le stimulus dans le contexte d’origine $A$ fait réémerger instantanément la réponse conditionnée. Le modèle standard traite les contextes comme de simples stimuli élémentaires additifs, échouant à modéliser le rôle de « porte logique » ou de modulateur hiérarchique qu’exerce le contexte sur le sens d’un indice.
• La réinstallation rapide (Reinstatement) : L’administration d’un unique stimulus inconditionnel non signalé, délivré isolément dans l’environnement expérimental après extinction complète, suffit à restaurer immédiatement l’efficacité de déclenchement du stimulus conditionnel, phénomène formellement incompatible avec une valeur associative préalablement réduite à zéro.

Ces déficiences prédictives ont mis en évidence la nécessité de dépasser la notion de simple suppression quantitative pour appréhender la complexité mnésique des traces coexistantes en compétition dans le système nerveux.

5. Le phénomène de masquage ou de blocage

5.1 Le protocole expérimental fondateur de Leon Kamin (1969)

L’événement expérimental qui a précipité la chute du behaviorisme classique et impulsé la création du modèle de Rescorla-Wagner est la découverte du phénomène de blocage (blocking) par Leon Kamin en 1969. Kamin mit en place un protocole rigoureux en trois phases successives au sein d’un paradigme de suppression conditionnée chez le rat (réponse émotionnelle conditionnée) :

Le groupe expérimental (« Groupe Blocage ») était soumis à l’agencement suivant :

1. Phase 1 : Un stimulus conditionnel $A$ (par exemple, un bruit blanc) était apparié de manière répétée à un choc électrique inconditionnel ($A to SI$) jusqu’à ce qu’il déclenche une réponse de peur conditionnée maximale et stable.
2. Phase 2 : Le stimulus $A$ était désormais présenté simultanément avec un nouveau stimulus conditionnel neutre $B$ (par exemple, une vive lumière), formant un composé bimodal $AB$. Ce composé $AB$ était apparié au même choc électrique avec une contiguïté temporelle irréprochable ($AB to SI$).
3. Phase 3 (Test) : Le stimulus $B$ était présenté seul afin de quantifier la réponse conditionnée qu’il avait acquise au cours de la deuxième phase.

Parallèlement, un « Groupe Contrôle » ne subissait aucun entraînement lors de la Phase 1. Il était directement confronté à la Phase 2 (présentation du composé $AB to SI$) pendant un nombre d’essais strictement identique, avant d’être testé sur le stimulus $B$ en Phase 3.

Les résultats empiriques ont stupéfié les théoriciens de la contiguïté : alors que les animaux du groupe contrôle manifestaient une peur conditionnée intense lors de la présentation du stimulus lumineux $B$, les animaux du groupe expérimental ne présentaient pratiquement aucune réponse conditionnée face à ce même stimulus $B$. Pourtant, chez ces derniers, le stimulus $B$ avait été présenté en contiguïté temporelle parfaite avec le choc électrique lors de la Phase 2. L’apprentissage antérieur développé à l’égard de $A$ avait totalement « bloqué » ou « masqué » l’apprentissage relatif au nouvel indice $B$. Kamin formula alors son intuition fondamentale : pour que l’apprentissage s’établisse, il ne suffit pas que le stimulus soit contigu au choc, il faut impérativement qu’il apporte une information nouvelle et que l’organisme soit surpris par le renforçateur.

5.2 L’explication mathématique rigoureuse par le modèle

L’éclat intellectuel du modèle de Rescorla-Wagner réside dans le fait que le blocage de Kamin n’y est pas traité comme une exception ou un cas particulier nécessitant une règle ad hoc, mais émerge naturellement et avec une nécessité mathématique absolue de l’équation différentielle fondamentale.

Reprenons le déroulement du protocole à l’aune du formalisme algébrique :

Lors de la Phase 1 ($A to SI$) : Le stimulus $A$ est présenté seul de manière répétée avec le renforçateur ($lambda = 1,0$). Au terme de cette phase, comme nous l’avons analysé précédemment, la force associative $V_A$ converge vers l’asymptote maximale. À la fin de la Phase 1, on a donc :

$$V_A \approx \lambda = 1,0$$

Le nouveau stimulus $B$, n’ayant jamais été introduit dans l’arène expérimentale, possède une force associative strictement nulle :

$$V_B = 0$$

Lors de la Phase 2 ($AB to SI$) : Le composé bimodal $AB$ est présenté. Dès le tout premier essai de cette phase, le modèle procède au calcul de la prédiction totale de l’organisme en effectuant la somme arithmétique des indices en présence :

$$V_{total} = V_A + V_B = 1,0 + 0 = 1,0$$

Le choc électrique délivré possède toujours une asymptote $lambda = 1,0$. Le modèle calcule ensuite l’erreur de prédiction globale générée par l’apparition de ce stimulus inconditionnel :

$$\text{Erreur de prédiction} = \lambda – V_{total} = 1,0 – 1,0 = 0$$

Il ne subsiste rigoureusement aucune surprise : l’organisme s’attendait déjà à recevoir un renforçateur d’une intensité de 1,0 grâce à la présence de l’indice prédictif $A$, et il reçoit précisément un choc d’intensité 1,0. L’erreur de prédiction s’annule immédiatement. Calculons désormais l’incrément d’apprentissage que va enregistrer le stimulus surajouté $B$ :

$$\Delta V_B = \alpha_B \beta (\lambda – V_{total}) = \alpha_B \beta (0) = 0$$

La variation de la force associative de $B$ est rigoureusement nulle. À l’essai suivant, $V_B$ demeure à 0, $V_{total}$ reste à 1,0, et l’équation reproduit indéfiniment ce résultat nul au cours de tous les essais composés ultérieurs de la Phase 2. Lors du test en Phase 3, $V_B = 0$, expliquant sans faille l’absence totale de réponse comportementale chez l’animal. Le modèle démontre avec une limpidité implacable pourquoi l’information redondante est ignorée par le système computationnel.

5.3 Implications théoriques sur la compétition entre indices prédictifs

La formalisation du blocage par Rescorla et Wagner a bouleversé en profondeur l’ensemble des théories de l’apprentissage en scellant la primauté du principe de compétition associative. Il devint incontestable que les stimuli présents dans l’environnement entrent dans une lutte concurrentielle active pour s’approprier la valeur informative délivrée par le milieu. Cette découverte a établi que le cerveau fonctionne comme un système d’économie computationnelle, optimisant l’allocation de ses ressources mnésiques en rejetant les signaux qui n’améliorent pas la précision de ses prédictions.

Ce principe s’est révélé d’une portée paradigmatique universelle. Très rapidement, les psychologues cognitivistes ont démontré que le phénomène de blocage ne constituait pas une bizarrerie propre aux réflexes du rongeur, mais s’appliquait avec la même rigueur mathématique au jugement de causalité chez l’être humain, à l’apprentissage des catégories conceptuelles et aux mécanismes de détection de corrélations en psychologie sociale. Lorsqu’un être humain tente de déduire quel allergène alimentaire déclenche une réaction cutanée ou quel médicament est responsable de la guérison d’une pathologie, si un facteur causal $A$ est déjà solidement identifié, l’apparition conjointe d’un facteur $B$ est cognitivement bloquée, l’observateur n’attribuant aucun pouvoir causal à ce nouvel élément.

Dès lors, le blocage est devenu l’épreuve de référence absolue, le « test de résistance » auquel tout nouveau modèle d’apprentissage, qu’il soit biologique, connexionniste ou computationnel, doit impérativement se soumettre pour revendiquer la moindre validité théorique dans le champ des sciences cognitives.

6. Le phénomène d’ombrage et la saillance relative

6.1 Compétition associative entre stimuli simultanés

Alors que le masquage ou blocage étudie l’impact d’un conditionnement préalable asymétrique sur l’apprentissage ultérieur d’un nouveau stimulus, le phénomène d’ombrage (overshadowing) examine la dynamique de compétition qui s’instaure d’emblée entre plusieurs stimuli neutres présentés de manière conjointe dès le premier essai d’apprentissage, sans aucun entraînement historique préalable.

Dans un protocole d’ombrage élémentaire, un sujet est exposé à un composé associatif formé de deux stimuli distincts, par exemple une lumière ($A$) et un son ($B$), systématiquement suivis d’un renforçateur : $AB to SI$. Au fil des essais d’appariement, l’organisme développe une réponse conditionnée robuste face au composé bimodal $AB$. Cependant, lorsqu’on isole les composantes lors d’une phase de test individuel pour mesurer la réponse conditionnée déclenchée par $A$ seul ou par $B$ seul, on observe un résultat remarquable : la force de la réponse déclenchée par chaque élément pris isolément est systématiquement et nettement inférieure à celle qu’aurait suscitée ce même stimulus s’il avait été conditionné isolément avec le même nombre d’essais d’entraînement simple ($A to SI$).

L’équation de Rescorla-Wagner élucide instantanément cette observation par le partage mécanique de la capacité associative asymptotique. Puisque les deux stimuli sont présentés simultanément, l’apprentissage progresse jusqu’à ce que la prédiction totale atteigne la saturation imposée par le stimulus inconditionnel :

$$V_{total} = V_A + V_B to \lambda$$

Dans le cas théorique où les deux stimuli posséderaient des propriétés perceptives strictement équivalentes (saillances identiques $\alpha_A = \alpha_B$), la valeur associative maximale $lambda$ se trouverait scindée de façon rigoureusement égale entre les deux partenaires :

$$V_A = \frac{\lambda}{2} \quad \text{et} \quad V_B = \frac{\lambda}{2}$$

Ainsi, si $lambda = 1,0$, chaque stimulus ne culmine individuellement qu’à une valeur de 0,50. Présentés séparément au test, ils ne mobilisent que la moitié de la réserve prédictive globale, déclenchant des réponses comportementales atténuées. Chaque indice a inévitablement « ombragé » son alter ego en prélevant une partie du crédit associatif disponible.

6.2 Rôle de la saillance physique dans l’attribution associative

Dans la réalité écologique, les stimuli présents dans l’environnement d’un organisme ne présentent que très exceptionnellement des caractéristiques physiques ou perceptives équivalentes. La compétition associative devient alors asymétrique, régie par la saillance relative de chacun des protagonistes, codée formellement par les coefficients individuels $\alpha_A$ et $\alpha_B$.

Reprenons l’équation de mise à jour appliquée conjointement à chaque essai de conditionnement du composé bimodal $AB$ :

$$\Delta V_A = \alpha_A \beta (\lambda – V_{total}) \quad \text{et} \quad \Delta V_B = \alpha_B \beta (\lambda – V_{total})$$

Puisque le terme d’erreur $(\lambda – V_{total})$ et le paramètre du renforçateur $\beta$ sont rigoureusement identiques pour les deux composantes à chaque instant $t$, le rapport des incréments d’apprentissage est strictement proportionnel au rapport de leurs coefficients de saillance respectifs :

$$\frac{\Delta V_A}{\Delta V_B} = \frac{\alpha_A}{\alpha_B}$$

Si le stimulus $A$ correspond à une sirène assourdissante d’une intensité de 90 décibels ($\alpha_A = 0,60$) et que le stimulus $B$ n’est qu’une faible diode lumineuse à peine perceptible à la périphérie du champ visuel ($\alpha_B = 0,10$), le rapport de force s’établit à 6 contre 1 en faveur du son. À chaque présentation conjointe, la modification associative de $A$ sera six fois plus importante que celle de $B$.

Au fur et à mesure des itérations, $V_A$ grimpe à une vitesse vertigineuse et s’approprie la quasi-totalité de l’espace associatif disponible. Lorsque $V_{total}$ converge vers $lambda$, la répartition finale s’avère profondément déséquilibrée :

$$V_A = \frac{\alpha_A}{\alpha_A + \alpha_B} \lambda = \frac{0,60}{0,70} \lambda \approx 0,86 \lambda$$

$$V_B = \frac{\alpha_B}{\alpha_A + \alpha_B} \lambda = \frac{0,10}{0,70} \lambda \approx 0,14 \lambda$$

Le stimulus le plus saillant ($A$) a exercé un ombrage massif sur le stimulus faible ($B$), réduisant l’apprentissage de ce dernier à une portion congrue. Le génie du modèle est d’avoir formalisé ces disparités dramatiques de conditionnement par un calcul purement arithmétique, sans avoir besoin de postuler une quelconque distorsion sensorielle ou un masquage mécanique au niveau des organes récepteurs périphériques.

6.3 Différenciation conceptuelle entre masquage et ombrage

Bien que le masquage (blocage de Kamin) et l’ombrage aboutissent tous deux à une altération marquée de la force associative d’un stimulus cible au sein d’un composé, il convient d’opérer une distinction conceptuelle et temporelle rigoureuse entre ces deux processus paradigmatiques de la psychologie de l’apprentissage.

Le critère discriminant fondamental repose sur la dimension temporelle de l’expérience préalable :

• Le blocage repose impérativement sur une rupture chronologique et une antériorité d’apprentissage : il nécessite une phase préliminaire au cours de laquelle un stimulus d’arrière-plan $A$ a d’abord eu l’opportunité d’épuiser l’asymptote $lambda$ de manière solitaire. Le déficit d’apprentissage ultérieur sur l’élément ajouté $B$ provient d’une préemption de la prédictibilité : l’absence totale d’erreur de prédiction lors de la confrontation au composé rend le stimulus $B$ cognitivement inutile et redondant, quelle que soit la propre saillance physique intrinsèque de cet indice $B$.
• L’ombrage, à l’inverse, s’opère dans une absolue simultanéité d’introduction. Aucun des deux stimuli ne bénéficie d’une longueur d’avance historique ou d’un privilège mnésique quelconque. L’atténuation de la force associative résulte exclusivement d’une compétition thermodynamique directe pour la capture de la variance prédictive, arbitrée par la loi du plus fort sensoriel, c’est-à-dire par le gradient relatif des coefficients $\alpha$.

Dans l’ombrage, la somme des valeurs acquises par les éléments reflète fidèlement la valeur de l’asymptote globale, mais la répartition interne dépend de la physique du signal ; dans le blocage, la valeur globale est également égale à l’asymptote, mais la répartition est dictée par la primauté de l’histoire contingente. Cette clarification théorique a permis d’éclairer d’innombrables protocoles de psychophysique et d’étude de stimuli complexes multimodaux.

7. L’inhibition conditionnée et la valeur associative négative

7.1 Définition et conceptualisation de la valence négative

L’une des innovations épistémologiques les plus audacieuses apportées par Rescorla et Wagner a été d’assigner une signification mathématique opérationnelle et univoque au concept d’inhibition conditionnée. Alors que la tradition behavioriste peinait à définir l’inhibition autrement que comme une absence passive de comportement ou un blocage physiologique obscur, le modèle de 1972 l’a formalisée comme l’acquisition d’une force associative négative :

$$V < 0$$

Dans cette acception, un inhibiteur conditionnel n’est en aucun cas un stimulus neutre ($V = 0$). Un stimulus neutre est simplement ignoré par l’organisme car il ne véhicule aucune information sur l’état de l’environnement. Un inhibiteur conditionnel, quant à lui, est porteur d’une signification biologique de première importance : il agit comme un signal explicite annonciateur de l’absence d’un événement par ailleurs attendu. Il s’agit d’un vecteur d’apaisement ou de sécurité en contexte aversif (annonçant l’absence d’une menace imminente), ou d’un signal de frustration et de déception en contexte appétitif (annonçant la privation d’une récompense promise).

Le comportement manifeste de l’animal reflétant généralement un seuil minimal physique (par exemple, un chien ne peut pas saliver « moins que zéro », un rat ne peut pas afficher un niveau de pression de levier inférieur au repos absolu), la valeur associative négative reste fréquemment invisible sous la forme d’un comportement moteur direct. C’est ce qui rend l’inhibition conditionnée structurellement asymétrique à l’excitation conditionnée et exige la mise en œuvre de protocoles de diagnostic indirects extrêmement sophistiqués pour en révéler l’existence latente.

7.2 La procédure standard de conditionnement inhibiteur

La méthode canonique pour créer un inhibiteur conditionnel selon les prescriptions formelles du modèle repose sur une procédure alternée, entremêlant deux types d’essais distincts présentés de manière aléatoire au sein d’une même session expérimentale :

• Essais excitateurs ($A+$) : Le stimulus conditionnel $A$ est présenté seul et systématiquement suivi du stimulus inconditionnel, configurant une asymptote $lambda = 1,0$.
• Essais inhibiteurs composés ($AB-$) : Le stimulus $A$ est présenté simultanément avec le nouveau stimulus neutre $B$, mais cette configuration binaire n’est suivie d’aucun stimulus inconditionnel, ce qui impose une asymptote nulle : $lambda = 0$.

Analysons la dynamique computationnelle itérative de cette procédure :

Au fil des essais $A+$, la force associative de l’élément excitateur $V_A$ progresse vers l’asymptote positive, atteignant une valeur élevée : $V_A to 1,0$. Dès lors, lorsque le composé $AB$ fait son apparition lors d’un essai $AB-$, l’animal anticipe initialement la délivrance du renforçateur en raison de la présence prépondérante du signal $A$. La prédiction totale est positive :

$$V_{total} = V_A + V_B \approx 1,0 + 0 = 1,0$$

Or, cet essai n’est pas renforcé ($lambda = 0$). L’erreur de prédiction générée lors de cet épisode est donc intensément négative :

$$\text{Erreur} = \lambda – V_{total} = 0 – 1,0 = -1,0$$

Cette erreur de prédiction négative impose une réduction de la force associative de tous les stimuli présents lors de cet essai, y compris l’élément $B$ :

$$\Delta V_B = \alpha_B \beta_{non-renf} (0 – V_{total}) < 0$$

Puisque le stimulus $B$ partait d’un niveau d’apprentissage vierge ($V_B = 0$), l’application répétée d’un incrément strictement négatif $\Delta V_B$ précipite inéluctablement sa valeur associative dans le domaine des nombres négatifs :

$$V_B < 0$$

Le système converge vers un état de stabilité stationnaire lorsque les deux types d’essais trouvent un compromis computationnel. Les variations associatives cessent lorsque la moyenne des incréments sur les essais $A+$ compense exactement les décréments sur les essais $AB-$. À l’équilibre asymptotique théorique, sur les essais composés sans renforcement, la prédiction globale s’annule complètement :

$$V_{total} = V_A + V_B = 0 implies V_B = -V_A$$

Si le stimulus excitateur $A$ a atteint la valeur maximale autorisée par les essais renforcés ($V_A = \lambda = 1,0$), le stimulus $B$ acquiert une force associative négative symétrique parfaite :

$$V_B = -\lambda = -1,0$$

Le stimulus $B$ est devenu un inhibiteur conditionné pur, capable d’annuler cognitivement l’attente générée par le stimulus excitateur.

7.3 Protocoles empiriques de validation : sommation et retard

Face à la difficulté d’observer directement une valeur associative négative sur le plan moteur, Robert Rescorla a établi en 1969 une règle méthodologique impitoyable, connue sous le nom de « stratégie des deux tests », stipulant qu’un stimulus ne peut prétendre au statut authentique d’inhibiteur conditionné que s’il triomphe rigoureusement de deux épreuves expérimentales indépendantes : le test de sommation et le test de retard à l’acquisition.

1. Le test de sommation (Summation Test) :

Ce protocole met à l’épreuve l’universalité de la propriété négative du stimulus inhibiteur. On introduit un troisième stimulus, $C$, qui a été conditionné de manière totalement indépendante comme un puissant excitateur ($C to SI implies V_C \approx 1,0$). Lors de la phase de test, on confronte l’animal au composé inédit $CB$. Si l’élément $B$ est un véritable inhibiteur de valeur $V_B = -1,0$, l’équation de Rescorla-Wagner postule que la prédiction totale doit résulter de l’addition arithmétique de leurs valences :

$$V_{total} = V_C + V_B = 1,0 + (-1,0) = 0$$

Empiriquement, la présentation simultanée de l’inhibiteur $B$ supprime ou atténue drastiquement la réponse conditionnée habituellement déclenchée par l’excitateur $C$, apportant une confirmation irréfutable du fait que l’inhibition n’est pas attachée de manière étroite et exclusive au stimulus $A$ avec lequel elle a été entraînée, mais possède un pouvoir réducteur généralisé sur l’attente du renforçateur.

2. Le test de retard à l’acquisition (Retardation of Acquisition Test) :

Ce second test éprouve l’inertie opposée par la valence négative lorsqu’on tente de convertir l’inhibiteur en excitateur. On soumet le stimulus inhibiteur $B$ ($V_B = -1,0$) à un protocole standard d’acquisition renforcée ($B to SI$). Pour atteindre le niveau d’excitation conditionnée habituel ($V_B = 1,0$), le stimulus $B$ ne part pas de la ligne de base zéro comme un stimulus neutre ordinaire, mais doit d’abord combler son déficit associatif accumulé sous la ligne de flottaison : il doit passer de -1,0 à 0 avant de pouvoir progresser de 0 à +1,0. L’animal met ainsi un nombre d’essais considérablement plus élevé à manifester une réponse conditionnée à $B$ que s’il s’agissait d’un stimulus totalement nouveau. La réussite indissociable à ces deux épreuves constitue la validation empirique la plus éclatante des prédictions quantitatives de la théorie de 1972.

8. Phénomènes complexes : surconditionnement et conditionnement rétroactif

8.1 L’effet de surattente

La puissance prédictive d’une théorie scientifique s’évalue à sa capacité à anticiper des phénomènes non seulement méconnus, mais paraissant à première vue défier le sens commun. L’effet de surattente (overexpectation effect) représente sans doute l’une des déductions mathématiques les plus spectaculaires générées par le modèle de Rescorla-Wagner, qui a été confirmée empiriquement en laboratoire après avoir été théoriquement prédite sur le papier.

Imaginons le protocole suivant structuré en deux phases distinctes :

Phase 1 : Deux stimuli conditionnels différents, par exemple une lumière ($A$) et un son ($B$), sont conditionnés séparément, de manière exhaustive, auprès d’un même stimulus inconditionnel de valeur $lambda = 1,0$ :

• Des essais répétés $A to SI$ conduisent à la saturation : $V_A = 1,0$.
• Des essais répétés $B to SI$ conduisent également à la saturation : $V_B = 1,0$.

À l’issue de cette première phase, chaque stimulus déclenche individuellement une réponse conditionnée d’amplitude maximale.

Phase 2 : On regroupe désormais les deux stimuli pour former le composé $AB$, et on continue de renforcer ce composé par la délivrance du même stimulus inconditionnel unique d’intensité $lambda = 1,0$ ($AB to SI$). Que prédit le bon sens pavlovien traditionnel ? Il prédit que puisque les appariements avec le renforçateur se poursuivent de manière continue et contiguë, la réponse conditionnée ne peut que se maintenir ou se renforcer davantage.

Le calcul imposé par le modèle de Rescorla-Wagner aboutit à une conclusion diamétralement opposée :

Lors du premier essai composé de la Phase 2, le système calcule l’attente cumulée de l’organisme en sommant les forces acquises lors de la phase préliminaire :

$$V_{total} = V_A + V_B = 1,0 + 1,0 = 2,0$$

L’organisme s’attend à un événement biologique d’une magnitude gigantesque, équivalente à une double ration de nourriture ou un double choc électrique ($V_{total} = 2,0$). Or, l’expérimentateur ne délivre que l’habituel renforçateur unique d’intensité $lambda = 1,0$. L’erreur de prédiction qui éclate lors de cet essai renforcé est paradoxalement négative :

$$\text{Erreur} = \lambda – V_{total} = 1,0 – 2,0 = -1,0$$

Bien que le renforçateur soit bel et bien présent, l’issue se révèle très inférieure à l’attente démesurée créée par la sommation des signaux. Cette erreur négative oblige les valeurs associatives des deux stimuli à décroître :

$$\Delta V_A = \alpha_A \beta (-1,0) < 0 \quad \text{et} \quad \Delta V_B = \alpha_B \beta (-1,0) < 0$$

Au terme d’une série d’essais composés pourtant systématiquement renforcés, les forces associatives $V_A$ et $V_B$ régressent jusqu’à converger vers un nouvel équilibre où leur somme totale égale l’unique renforçateur offert : $V_A + V_B = 1,0$, soit $V_A = 0,50$ et $V_B = 0,50$. Testés individuellement après cette Phase 2, les stimuli déclenchent une réponse conditionnée deux fois plus faible qu’à la fin de la Phase 1. Cette érosion de la force associative par excès d’attente (surattente) a constitué un triomphe magistral pour l’algorithme de 1972.

8.2 La contingence négative et le contexte environnemental

L’une des percées théoriques permises par le modèle a été la réconciliation entre la théorie associative et les fameuses expériences de contingence de Rescorla (1968), grâce à l’introduction formelle du contexte environnemental comme stimulus conditionnel permanent à part entière.

Dans une chambre de conditionnement, l’animal n’est pas uniquement exposé aux signaux discrets pilotés par l’expérimentateur (sons, flashs) ; il est immergé en continu dans une matrice de stimuli d’arrière-plan stables : l’éclairage de la cage, l’odeur du désinfectant, la texture métallique de la grille sur le sol, le bruit continu des ventilateurs. Rescorla et Wagner ont formalisé ces indices ambiants comme un stimulus conditionnel contextuel perpétuel, souvent désigné sous la notation $CX$.

Dès lors, lorsqu’un protocole expérimental délivre des renforcements « non signalés » (des chocs électriques survenant de manière aléatoire en l’absence de tout signal discret), ces renforcements ne tombent pas dans un vide associatif : ils surviennent en présence du contexte $CX$. Par conséquent, le contexte subit des incréments d’apprentissage répétés :

$$\Delta V_{CX} = \alpha_{CX} \beta (\lambda – V_{CX})$$

Au fil des sessions, la force associative du contexte grimpe et s’approche de l’asymptote : $V_{CX} to \lambda$.

Que se passe-t-il désormais lorsque l’expérimentateur tente de conditionner un signal discret $A$ (un son) au sein de cet environnement saturé en renforcements imprévisibles ? Chaque fois que le son $A$ résonne, il apparaît inévitablement en composé avec le contexte actif ($A + CX to SI$). Le calcul de la prédiction totale s’établit instantanément comme :

$$V_{total} = V_A + V_{CX}$$

Puisque le contexte $CX$ a déjà accumulé une force prédictive massive ($V_{CX} \approx \lambda$), l’erreur de prédiction lors de l’apparition du signal $A$ est d’emblée laminée :

$$\text{Erreur} = \lambda – (V_A + V_{CX}) \approx \lambda – \lambda = 0$$

Le contexte environnemental a totalement bloqué l’apprentissage du stimulus discret, exactement selon le mécanisme du masquage de Kamin. Le modèle résout ainsi avec une élégance lumineuse l’énigme de la contingence : une corrélation statistique nulle entre un stimulus et un événement biologique n’empêche pas l’apprentissage en vertu d’un mystérieux calcul abstrait de probabilités globales dans le cerveau de l’animal, mais par le truchement d’une compétition associative locale bien réelle, où le contexte physique sert d’éponge associative et bloque le conditionnement des indices redondants.

8.3 Réponses paradoxales face à des stimuli composés

Bien que le modèle de Rescorla-Wagner fournisse une grille de lecture d’une efficacité redoutable pour la majorité des interactions composées, l’application stricte de l’hypothèse de sommation linéaire ($V_{total} = \sum V_i$) l’a conduit à buter sur une série de comportements paradoxaux documentés par la littérature expérimentale ultérieure.

Parmi ces anomalies figurent les phénomènes de facilitation conditionnelle (occasion setting), décrits avec acuité par Rescorla lui-même au cours des années 1980. Dans de nombreux protocoles complexes, un stimulus ne se contente pas d’ajouter algébriquement sa propre force associative à un autre indice, mais semble jouer le rôle d’un modulateur hiérarchique : il informe l’organisme des conditions sous lesquelles une seconde association est valide ou suspendue. Ce rôle d’« aiguilleur » contextuel ne se laisse pas réduire à une simple opération d’addition scalaire dans l’espace euclidien unidimensionnel du modèle original.

De surcroît, les effets de contraste comportemental induits par des variations brutales ou imprévisibles de l’erreur de prédiction révèlent fréquemment des dynamiques de surréaction émotionnelle ou attentionnelle qui excèdent le cadre strict de l’ajustement stationnaire trial-by-trial. Ces résultats ont ouvert une brèche épistémologique profonde, forçant les théoriciens à questionner l’axiome fondamental d’une représentation purement élémentaire et atomique des stimuli dans les architectures cognitives.

9. Limites empiriques et critiques épistémologiques du modèle

9.1 L’inhibition latente et la pré-exposition au stimulus conditionnel

La première mise en échec irréfutable de la formulation canonique de Rescorla-Wagner réside dans son incapacité structurelle à rendre compte du phénomène universel d’inhibition latente, mis en lumière par Robert Lubow dès 1959. Le protocole de l’inhibition latente comporte deux étapes transparentes :

• Phase 1 : Un stimulus conditionnel neutre $A$ est présenté de manière isolée et répétée à l’animal, sans jamais être suivi du moindre renforçateur ($A-$).
• Phase 2 : Ce même stimulus $A$ est désormais soumis à un conditionnement classique standard avec appariement au stimulus inconditionnel ($A to SI$).

Empiriquement, l’animal pré-exposé manifeste un ralentissement considérable et prolongé de la vitesse d’acquisition par comparaison avec un sujet témoin pour qui le stimulus $A$ est totalement nouveau. L’organisme a appris à classer ce signal comme insignifiant.

Tentons de simuler la Phase 1 à travers l’équation de Rescorla-Wagner :

Lors des présentations isolées de la Phase 1, le stimulus $A$ est neutre, donc sa force associative de départ est nulle : $V_A = 0$. Puisqu’il n’y a aucun renforçateur, l’asymptote est nulle : $lambda = 0$. L’erreur de prédiction est donc :

$$\text{Erreur} = \lambda – V_A = 0 – 0 = 0$$

L’incrément associatif calculé par le modèle est invariablement nul :

$$\Delta V_A = \alpha_A \beta (0) = 0$$

Pour le modèle de 1972, rien ne se passe et rien ne peut se passer. À la fin de la Phase 1, la force associative $V_A$ est strictement égale à 0, exactement comme au début de l’expérience. Lorsque débute la Phase 2 ($A to SI$), le modèle aborde l’apprentissage avec les mêmes conditions initiales que pour un stimulus vierge de toute histoire ($V_A = 0, \lambda = 1,0$). Le modèle prédit donc une courbe d’acquisition absolument identique entre un stimulus familier et un stimulus nouveau.

Cette cécité computationnelle découle directement du choix de considérer le paramètre de saillance $\alpha_A$ comme une constante immuable. Le modèle ne dispose d’aucun mécanisme interne permettant de dégrader la saillance ou l’attention portée à un stimulus lorsque celui-ci s’avère systématiquement inutile. Cette lacune a constitué le point de départ de toutes les théories attentionnelles rivales des décennies suivantes.

9.2 La réévaluation rétrospective sans exposition directe

Un autre axiome dogmatique au cœur de l’équation de Rescorla-Wagner stipule qu’un stimulus absent ne peut subir aucune modification de sa valeur associative. L’indice $i$ ne peut voir sa force $V_i$ évoluer que si et seulement si son coefficient de saillance est activé par sa présence physique au cours de l’essai ($\alpha_i > 0$). Or, des découvertes expérimentales majeures ont réduit cet axiome à néant en documentant des phénomènes de réévaluation rétrospective chez le rongeur comme chez l’être humain.

L’illustration la plus percutante est celle du déblocage rétroactif (backward blocking) ou de la récupération après ombrage sans exposition directe :

1. Lors d’une première phase, un composé de deux stimuli est apparié au renforçateur : $AB to SI$. Conformément au partage associatif, les deux stimuli accumulent une force modérée, par exemple $V_A = 0,50$ et $V_B = 0,50$.
2. Lors d’une seconde phase, l’expérimentateur présente le stimulus $A$ strictement seul, suivi du renforçateur : $A to SI$. Le stimulus $B$ n’est jamais présenté lors de cette phase, restant confiné dans l’ombre. Grâce à ces essais, $V_A$ progresse vers l’asymptote maximale ($V_A to 1,0$).
3. Phase de test : On teste le stimulus $B$ seul.

Selon le modèle de Rescorla-Wagner, puisque le stimulus $B$ était physiquement absent durant la deuxième phase ($\alpha_B = 0$), son incrément associatif était rigoureusement nul : $\Delta V_B = 0$. Sa valeur devrait donc être restée intacte à 0,50. Or, le test comportemental révèle que la force associative de $B$ a spectaculairement chuté, s’effondrant vers zéro !

En apprenant dans la Phase 2 que le stimulus $A$ était en réalité capable d’expliquer à lui seul la totalité du renforçateur, l’organisme a opéré une inférence rétrospective « hors-ligne » (offline) au sein de sa mémoire : il a réévalué le statut de $B$ en son absence physique, déduisant que sa présence lors de la Phase 1 n’était qu’une coïncidence non causale. Cet apprentissage inférentiel sans présence sensorielle directe constitue une violation frontale de la règle d’ajustement essai-par-essai du modèle de 1972.

9.3 Le problème de la configuration perceptive et de l’apprentissage non linéaire

La troisième faiblesse paradigmatique du modèle touche à sa nature ontologique profondément élémentariste et réductionniste. L’équation repose sur une sommation linéaire des parties ($V_{total} = \sum V_i$), assumant qu’un ensemble complexe de stimuli n’est rien d’autre que la juxtaposition additive de ses composantes isolées. Cette approche atomique subit un échec cuisant face aux tâches d’apprentissage dites « non linéaires », dont le prototype logique est le problème du Ou Exclusif (XOR) ou de la bi-discrimination conditionnelle (biconditioning).

Considérons une matrice expérimentale impliquant quatre stimuli distincts $A, B, C, D$ combinés selon le schéma suivant :

• Les composés $AB$ et $CD$ sont renforcés : $AB to SI$ ($lambda = 1$) et $CD to SI$ ($lambda = 1$).
• Les composés $AC$ et $BD$ ne sont pas renforcés : $AC to \text{rien}$ ($lambda = 0$) et $BD to \text{rien}$ ($lambda = 0$).

Des animaux de laboratoire (notamment le pigeon et le rat) sont parfaitement capables de résoudre cette discrimination complexe et d’apprendre avec succès à répondre vigoureusement face à $AB$ et $CD$, tout en s’abstenant de répondre face à $AC$ et $BD$. Qu’en est-il du modèle de Rescorla-Wagner ?

L’équation tente de résoudre un système d’inéquations linéaires insolubles :

• Pour $AB$ : $V_A + V_B to 1$
• Pour $CD$ : $V_C + V_D to 1$
• Pour $AC$ : $V_A + V_C to 0$
• Pour $BD$ : $V_B + V_D to 0$

Si l’on additionne les deux équations des essais renforcés, on obtient :

$$(V_A + V_B) + (V_C + V_D) = 1 + 1 = 2$$

Si l’on réordonne les mêmes termes arithmétiques pour regrouper les paires non renforcées, on constate que :

$$(V_A + V_C) + (V_B + V_D) = 0 + 0 = 0$$

On aboutit à l’absurdité mathématique insoluble où la même somme scalaire doit être simultanément égale à 2 et à 0 ($2 = 0$). L’équation de Rescorla-Wagner se verrouille dans une instabilité chronique et s’avère intrinsèquement incapable de converger vers la solution comportementale. Pour résoudre cette énigme, il est indispensable de faire appel aux principes de la psychologie de la Gestalt, en admettant que le composé $AB$ ne correspond pas à l’addition aveugle de $A$ et de $B$, mais engendre une unité perceptive configurationnelle unique, dotée de propriétés synthétiques émergentes.

10. Modèles alternatifs et évolutions théoriques post-Rescorla-Wagner

10.1 Les modèles attentionnels dynamiques de Mackintosh et de Pearce-Hall

Face aux apories insurmontables du modèle de 1972 concernant la constance du paramètre de saillance et l’échec de l’inhibition latente, la psychologie théorique a vu naître deux modèles attentionnels dynamiques rivaux qui ont enrichi notre compréhension de la cognition animale.

En 1975, Nicholas J. Mackintosh a proposé une théorie révolutionnaire fondée sur l’attention sélective adaptative. Selon Mackintosh, les organismes n’allouent pas une attention fixe à leur environnement : l’attention portée à un stimulus augmente si celui-ci se révèle être un meilleur prédicteur du renforçateur que tous les autres indices concurrents, et diminue dans le cas inverse. Dans son modèle, le paramètre de saillance $\alpha$ devient une variable dynamique mise à jour essai par essai :

$$\Delta \alpha_A > 0 \quad \text{si} \quad |\lambda – V_A| < |\lambda - V_{total}|$$

Le modèle de Mackintosh résout avec une virtuosité insolente l’inhibition latente : lors des essais de pré-exposition isolée, le stimulus n’étant corrélé à aucun événement d’intérêt, son pouvoir prédictif est nul, ce qui entraîne une chute continue de son paramètre attentionnel ($\alpha_A to 0$). Lorsque débute le conditionnement ultérieur, l’animal est devenu aveugle à cet indice, ce qui explique le retard d’apprentissage sans avoir recours à une modification de la valeur associative $V$.

À l’opposé diamétral de la vision de Mackintosh, John M. Pearce et Geoffrey Hall ont formulé en 1980 un modèle attentionnel alternatif tout aussi brillant. Selon la théorie de Pearce-Hall, l’attention ne se focalise pas sur les prédicteurs certains, mais au contraire sur les stimuli dont les conséquences sont incertaines :

$$\alpha_A^{(n)} propto |\lambda – V_{total}^{(n-1)}|$$

Pour Pearce et Hall, l’organisme n’a aucun intérêt cognitif à gaspiller ses ressources attentionnelles sur un indice dont la prédiction est déjà parfaitement établie. Dès qu’un événement devient pleinement maîtrisé et prévisible, la saillance $\alpha$ s’effondre pour permettre à l’animal de réorienter son appareil sensoriel vers les indices du biotope qui demeurent instables et méritent une exploration accrue. Ces deux approches, loin de s’exclure mutuellement, capturent deux modes fonctionnels distincts de l’attention (sélection pour l’action chez Mackintosh versus exploration de la nouveauté chez Pearce-Hall), venant pallier le déficit d’adaptabilité du paramètre $\alpha$ de Rescorla et Wagner.

10.2 Le modèle SOP (Sometimes-Opponent Process) d’Allan Wagner

Conscient des limites temporelles et computationnelles de son modèle initial de 1972, Allan Wagner a développé à partir de 1981 une évolution théorique d’une sophistication architecturale colossale : le modèle SOP (Sometimes-Opponent Process). SOP a été spécifiquement conçu pour injecter la dynamique du temps réel, de la neurophysiologie synaptique et de la persistance mnésique à court terme au sein du formalisme associatif.

Dans l’architecture SOP, chaque stimulus (conditionnel ou inconditionnel) est représenté sur le plan neural par une assemblée finie d’éléments de mémoire (nœuds computationnels) qui oscillent en permanence entre trois états d’activation distincts :

• L’état de repos inactif ($I$ – Inactive) : Les unités mnésiques ne sont pas stimulées.
• L’état d’activation primaire focalisé ($A_1$) : Lorsque le stimulus survient physiquement dans l’environnement, une fraction des éléments passe brusquement de l’état $I$ à l’état $A_1$. Cet état correspond au traitement perceptif de haute intensité et à la mémoire de travail immédiate. Les éléments ne peuvent rester en $A_1$ que de manière transitoire.
• L’état d’activation secondaire périphérique ($A_2$) : Depuis l’état $A_1$, les éléments se désactivent naturellement en glissant vers un état réfractaire d’activation périphérique nommé $A_2$, avant de retourner lentement vers le repos $I$. Les représentations activées indirectement par le truchement de connexions associatives sont directement déposées dans cet état $A_2$.

La règle d’or de SOP stipule qu’une association excitatrice ne peut se forger que si et seulement si les éléments du stimulus conditionnel et les éléments du stimulus inconditionnel résident simultanément dans l’état de traitement prioritaire $A_1$. Si les éléments du SC sont en $A_1$ alors que ceux du SI ont déjà glissé en $A_2$ ou sont convoqués indirectement en $A_2$, une association inhibitrice s’établit. SOP a permis d’expliquer avec une précision d’orfèvre les réponses préparatoires opposées (comme l’hypoalgésie conditionnée versus l’hyperalgésie), les intervalles inter-stimuli fins et les mécanismes intimes de la mémoire de travail.

10.3 Approches configurationnelles et modèles computationnels bayésiens

Pour surmonter l’impasse du Ou Exclusif et de l’apprentissage non linéaire, John M. Pearce a introduit en 1987 son célèbre modèle de généralisation configurationnelle. Délaissant définitivement l’hypothèse d’une sommation aveugle de composants isolés, Pearce a postulé qu’un composé associatif multi-stimuli est traité par le système nerveux comme une configuration perceptive holistique singulière. Chaque ensemble (par exemple $AB$) active une représentation synthétique unitaire qui développe sa propre force associative globale $V_{AB}$.

L’apprentissage acquis à l’égard de ce composé ne se transfère aux éléments isolés ou à d’autres paires que par le filtre d’un coefficient de similarité perceptive global (mesuré par l’indice de Jaccard sur les fractions d’éléments partagés). L’approche de Pearce a permis de résoudre avec une insolente aisance les discriminations non linéaires, ouvrant la voie à une vision gestaltiste computationnelle du conditionnement.

Au cours des deux dernières décennies, la théorie associative a franchi un nouveau palier d’abstraction épistémologique avec l’avènement des modèles computationnels bayésiens du cerveau et la théorie du codage prédictif (notamment popularisée par Karl Friston). Sous cette perspective mathématique moderne, le modèle de Rescorla-Wagner est désormais formellement interprété comme une implémentation simplifiée d’un algorithme d’estimation optimale connu sous le nom de filtre de Kalman.

Dans un filtre de Kalman, le cerveau ne se contente pas de prédire la moyenne ponctuelle d’un événement, mais modélise en continu l’incertitude épistémique (la variance statistique) qui règne sur son environnement et sur la fiabilité sensorielle de ses propres capteurs. L’erreur de prédiction n’est plus un scalaire brut, mais est pondérée dynamiquement par la précision (l’inverse de la variance attendue) :

$$\text{Incrément} propto \frac{\sigma_{environnement}^2}{\sigma_{environnement}^2 + \sigma_{bruit}^2} \times (\text{Erreur de prédiction})$$

Cette convergence saisissante entre les intuitions nées au laboratoire de psychologie expérimentale de Yale en 1972 et les mathématiques probabilistes les plus avancées démontre l’universalité des lois de la mise à jour cognitive régissant les systèmes intelligents.

11. Corrélats neurobiologiques et résonance dans les neurosciences computationnelles

11.1 Le système dopaminergique mésolimbique et l’erreur de prédiction

Pendant un quart de siècle après sa formulation, le modèle de Rescorla-Wagner a été célébré comme une remarquable construction abstraite, une métaphore mathématique fonctionnelle dont l’ancrage matériel au sein des réseaux neuronaux du cerveau demeurait une énigme totale. Cette séparation entre le logiciel cognitif et le matériel biologique s’est brutalement dissipée à la fin des années 1990, lorsque les neurosciences intégratives ont révélé que le cerveau des vertébrés hébergeait en son sein un mécanisme électrophysiologique implémentant avec une exactitude quasi chirurgicale l’algorithme formulé par Rescorla et Wagner.

Ce substrat neurobiologique a été identifié au cœur des circuits de la récompense et de la motivation, plus précisément au niveau des neurones dopaminergiques localisés dans l’aire tegmentale ventrale (ATV) et la substance noire pars compacta (SNc). Ces cellules projettent massivement leurs axones vers des structures sous-corticales et corticales stratégiques, au premier rang desquelles figurent le noyau accumbens (striatum ventral) et le cortex préfrontal ventromédian.

Ces neurones dopaminergiques manifestent un taux de décharge tonique basal modéré (quelques potentiels d’action par seconde). Or, lorsqu’un événement biologiquement favorable survient, ces cellules répondent par une modulation d’activité phasique ultrarapide (bouffées de décharges ou pauses de décharge transitoires). Les neurobiologistes ont découvert avec stupeur que cette activité phasique ne code absolument pas l’intensité physique de la récompense perçue, mais code rigoureusement la variable mathématique de l’erreur de prédiction de la récompense :

$$\text{Décharge dopaminergique} propto (\lambda – V_{total})$$

Lorsque la récompense dépasse l’attente, une libération massive de dopamine inonde les épines dendritiques du striatum, provoquant une plasticité synaptique (potentialisation à long terme, LTP) qui renforce les connexions issues des neurones corticaux codant le stimulus conditionnel. Lorsque l’issue est décevante, la dopamine chute sous sa ligne de base tonique, favorisant une dépression synaptique (LTD). La dopamine est la signature moléculaire vivante de la surprise.

11.2 Les travaux pionniers de Wolfram Schultz

La preuve expérimentale décisive de cette correspondance fonctionnelle a été apportée par les travaux historiques menés par le neurophysiologiste Wolfram Schultz et ses collaborateurs à l’Université de Cambridge, immortalisés dans leur publication fondatrice de 1997 dans la revue Science. En enregistrant par microélectrodes l’activité unitaire de neurones dopaminergiques chez des primates non humains éveillés au cours de tâches de conditionnement opérant et classique, Schultz a documenté une triade de réponses électrophysiologiques qui calque fidèlement les axiomes de Rescorla et Wagner :

1. Récompense inattendue (Erreur positive : $lambda > 0$, $V = 0$) : Au début de l’apprentissage, la délivrance soudaine et imprévisible d’une goutte de jus de fruit déclenche une décharge phasique intense des neurones dopaminergiques. La surprise est totale, l’erreur de prédiction est maximale.
2. Récompense pleinement prédite (Convergence asymptotique : $\lambda = V_{total}$) : Après des centaines d’appariements où un son ($SC$) précède de manière immuable l’arrivée du jus de fruit, la décharge dopaminergique lors de la réception de la boisson s’éteint complètement ! La récompense ne suscite plus aucun tir neuronal car elle est parfaitement prédite. En revanche, l’activation phasique a migré temporellement : ce sont désormais les neurones réagissant à l’apparition du son qui déchargent vigoureusement. Le signal prédictif a capté la valeur associative.
3. Omission de la récompense attendue (Erreur négative : $lambda = 0$, $V > 0$) : Si le stimulus conditionnel résonne (créant une forte attente $V$), mais que l’expérimentateur omet délibérément de délivrer la goutte de jus à l’instant précis où elle devait tomber, les neurones dopaminergiques cessent immédiatement de décharger, manifestant une baisse d’activité silencieuse (une dépression transitoire sous le niveau basal).

Le couronnement de cette démonstration a eu lieu lorsque les équipes de neurobiologie ont testé le protocole du blocage de Kamin sous enregistrement cellulaire : lorsqu’un nouveau stimulus $B$ est présenté conjointement à un stimulus $A$ déjà pré-entraîné, les neurones dopaminergiques ne manifestent strictement aucune décharge en réponse à l’apparition de la récompense. L’absence d’activation électrophysiologique confirme que l’information redondante ne génère aucune libération de neurotransmetteur, validant l’équation différentielle de Rescorla-Wagner jusqu’au cœur de l’intimité cellulaire du cerveau.

11.3 Intégration dans l’apprentissage par renforcement et les algorithmes TD

L’onde de choc provoquée par l’équation de Rescorla-Wagner ne s’est pas arrêtée aux frontières de la biologie et de la psychologie ; elle a constitué le catalyseur direct de la révolution computationnelle de l’intelligence artificielle contemporaine par le biais de l’apprentissage par renforcement (Reinforcement Learning).

Au début des années 1980, les informaticiens Richard S. Sutton et Andrew G. Barto ont entrepris de lever la contrainte majeure du modèle de Rescorla-Wagner : sa nature statique et discrète en « essai par essai ». Dans la vie d’un agent autonome (qu’il soit un animal chassant dans la savane ou un robot explorant un labyrinthe), le monde ne se découpe pas en essais nets et étanches, mais se déploie dans une continuité temporelle fluide, où des actions s’enchaînent à chaque instant $t$. Sutton et Barto ont alors formulé l’algorithme d’apprentissage par différence temporelle (Temporal Difference Learning ou TD($lambda$)), qui constitue la généralisation en temps continu du modèle de Rescorla-Wagner.

Dans l’algorithme TD, l’erreur de prédiction classique $(lambda – V)$ est remplacée par l’erreur de différence temporelle $\delta_t$, calculée à chaque instant infinitésimal :

$$\delta_t = r_{t+1} + \gamma V(s_{t+1}) – V(s_t)$$

Où $r_{t+1}$ représente la récompense immédiate reçue, $\gamma$ est un facteur d’actualisation temporelle (escompte pour le futur), et $V(s_{t+1}) – V(s_t)$ mesure le changement de prédiction entre deux états consécutifs. Ce formalisme TD a prouvé qu’il implémentait exactement le comportement des cellules dopaminergiques observé par Schultz.

Aujourd’hui, les architectures les plus triomphantes de l’intelligence artificielle moderne, à l’image des réseaux de neurones profonds de DeepMind (tels que DQN apprenant à maîtriser les jeux vidéo Atari ou AlphaGo terrassant les champions du monde de Go), intègrent en leur for intérieur des modules de mise à jour par différence temporelle qui dérivent en droite ligne de l’intuition fondatrice posée par Robert Rescorla et Allan Wagner en 1972.

12. Applications cliniques, psychopathologiques et comportementales

12.1 Étiologie et thérapies d’exposition des troubles anxieux et phobies

L’impact translationnel du modèle de Rescorla-Wagner en psychiatrie clinique et en psychopathologie expérimentale a été d’une fécondité inestimable, redéfinissant de fond en comble notre compréhension et notre traitement des troubles anxieux, du trouble panique et de l’état de stress post-traumatique (ESPT).

Sous l’angle associatif, une phobie ou un traumatisme ne traduit pas une faiblesse psychologique diffuse, mais un hyper-conditionnement aversif surpuissant, où des signaux contextuels ou sensoriels discrets ont été couplés à une expérience biologique terrifiante, atteignant une valeur associative excitatrice cataclysmique ($V_{danger} gg 0$). Pendant des décennies, les thérapies comportementales d’exposition reposaient sur l’hypothèse simpliste de l’habituation : on pensait que le patient devait simplement rester confronté passivement à l’objet phobogène jusqu’à ce que son système nerveux s’épuise physiologiquement et que la peur « s’éteigne ».

Les travaux révolutionnaires de la psychologue clinicienne Michelle Craske et de ses collaborateurs, fondés sur l’architecture computationnelle de Rescorla-Wagner, ont balayé cette vision archaïque pour formuler le paradigme de l’apprentissage inhibiteur (Inhibitory Learning Framework). L’extinction n’étant pas un désapprentissage, l’objectif d’une séance d’exposition thérapeutique n’est pas de faire baisser le niveau d’anxiété ressenti pendant la séance, mais de maximiser l’erreur de prédiction :

• Pour forger un lien inhibiteur puissant de sécurité ($V_{securite} < 0$) capable de rivaliser avec la trace mnésique traumatique, l'expérience clinique doit générer la plus grande surprise cognitive possible.
• Le thérapeute aide le patient à formuler une attente catastrophiste précise (par exemple : « Si j’entre dans cet ascenseur bondé, je vais perdre connaissance et étouffer »).
• L’exposition est alors conçue comme une expérience de vérification : le patient s’expose à la situation en bloquant tous ses comportements de sécurité habituels. Lorsqu’il constate qu’il n’étouffe pas et ne s’évanouit pas ($\lambda_{catastrophe} = 0$), le différentiel entre l’attente terrifiante et l’issue neutre produit une erreur de prédiction colossale, déclenchant un incrément d’inhibition maximal qui verrouille la rechute.

12.2 Mécanismes de rechute et sensibilisation dans les addictions

L’addictologie contemporaine s’appuie massivement sur les principes du modèle de Rescorla-Wagner pour déchiffrer l’un des fléaux les plus dévastateurs de la dépendance aux substances : la survenue brutale du craving compulsif et les taux vertigineux de rechute observés chez les patients après des périodes d’abstinence prolongée.

La consommation chronique de drogues (cocaïne, héroïne, alcool, nicotine) détourne le système dopaminergique mésolimbique. Alors qu’une récompense naturelle cesse de générer de la dopamine dès qu’elle devient prévisible, les agents pharmacologiques forcent chimiquement la libération massive de dopamine au niveau synaptique, court-circuitant le rétrocontrôle biologique. Sur le plan computationnel, c’est comme si l’erreur de prédiction ne pouvait jamais s’annuler : chaque prise de substance simule un signal artificiel persistant proclamant que « l’événement a été infiniment plus grandiose que prévu ».

Ce dysfonctionnement induit une sur-attribution de saillance incitative et une force associative gigantesque aux innombrables stimuli environnementaux associés aux épisodes de consommation : une seringue, un sachet en plastique, un bar particulier, des compagnons de défonce, et par-dessus tout, le contexte global ($V_{CX}$). Lorsque le patient sevré retourne dans son quartier d’origine, la confrontation aux composés résiduels mobilise instantanément la somme arithmétique $V_{total}$, déclenchant des réponses conditionnées opposées (syndrome de sevrage conditionné) et un désir irrépressible de drogue.

La compréhension du modèle permet de concevoir des protocoles d’extinction contextuelle multi-cibles en clinique : pour briser les risques de renouvellement contextuel (effet ABA), les programmes modernes immergent les patients dans des thérapies par réalité virtuelle reproduisant une grande diversité de contextes écologiques afin de saturer l’inhibition conditionnée et d’immuniser les réseaux neuronaux contre les rechutes.

12.3 Aversion gustative conditionnée et apprentissage évaluatif

Le champ d’application du modèle s’étend également à des mécanismes de survie archaïques, au premier rang desquels figure le phénomène d’aversion gustative conditionnée, documenté pour la première fois par John Garcia (l’effet Garcia). Lorsqu’un animal ingère une substance sapide particulière et qu’il subit plusieurs heures plus tard un violent malaise gastrique induit par une toxine ou des radiations, il développe une aversion féroce et tenace à l’égard de cette saveur spécifique, refusant catégoriquement d’en consommer à nouveau.

Bien que l’aversion gustative présente des singularités évolutives évidentes (notamment la tolérance à des délais temporels s’étirant sur plusieurs heures, dérogeant aux contiguïtés millimétriques habituelles), les règles de compétition associative du modèle de Rescorla-Wagner y règnent sans partage. Cette propriété a trouvé une application clinique directe d’une extraordinaire ingéniosité dans les services d’oncologie pédiatrique :

• Les enfants soumis à des chimiothérapies anticancéreuses lourdes souffrent fréquemment de nausées intenses et débilitantes consécutives aux perfusions cytotoxiques.
• Leur cerveau associe alors spontanément ces malaises gastriques aux aliments réguliers et sains qu’ils ont consommés lors de leurs repas quotidiens à l’hôpital. Les jeunes patients développent rapidement une aversion généralisée pour la nourriture, entraînant une dénutrition sévère qui hypothèque leurs chances de rémission.
• En appliquant les principes de l’ombrage et du blocage de Rescorla-Wagner, les équipes soignantes introduisent délibérément un bonbon ou une friandise dotée d’une saveur insolite, artificielle et hautement saillante (par exemple, un bonbon à la saveur de menthe poivrée ou de racine exotique, baptisé l’aliment bouc émissaire) immédiatement avant l’administration de la chimiothérapie nauséogéne.
• Possédant un coefficient de saillance $\alpha$ très supérieur aux saveurs banales des repas usuels, l’aliment bouc émissaire capte la quasi-totalité de l’asymptote associative aversive $lambda$, ombrageant et bloquant efficacement l’association aversive avec les nutriments réguliers. L’appétit vital de l’enfant pour son alimentation quotidienne se trouve ainsi intégralement préservé.

Enfin, en psychologie sociale contemporaine et en marketing comportemental, l’équation de 1972 sert de socle pour décrypter le conditionnement évaluatif : la manière dont nos jugements de valeur, nos préférences esthétiques et nos attitudes inconscientes envers des marques, des objets ou des groupes sociaux se structurent par la mise en relation avec des indices de valence affective positive ou négative. Qu’il s’agisse de concevoir une campagne publicitaire exploitant l’ombrage sensoriel ou d’analyser la formation des préjugés implicites, le modèle de Rescorla-Wagner continue de s’affirmer comme une matrice conceptuelle indispensable, témoignant de la pérennité historique et du génie visionnaire de Robert A. Rescorla et Allan R. Wagner.

Références

Black, A. H., & Prokasy, W. F. (Eds.). (1972). Classical conditioning II: Current research and theory. Appleton-Century-Crofts.

Craske, M. G., Treanor, M., Conway, C. C., Zbozinek, T., & Vervliet, B. (2014). Maximizing exposure therapy: An inhibitory learning approach. Behaviour Research and Therapy, 58, 10–23. https://doi.org/10.1016/j.brat.2014.04.006

Garcia, J., & Koelling, R. A. (1966). Relation of cue to consequence in avoidance learning. Psychonomic Science, 4(3), 123–124. https://doi.org/10.3758/BF03342209

Kamin, L. J. (1969). Predictability, surprise, attention, and conditioning. In B. A. Campbell & R. M. Church (Eds.), Punishment and aversive behavior (pp. 279–296). Appleton-Century-Crofts.

Lubow, R. E., & Moore, A. U. (1959). Latent inhibition: The effect of nonreinforced pre-exposure to the conditioned stimulus. Journal of Comparative and Physiological Psychology, 52(4), 415–419. https://doi.org/10.1037/h0046700

Mackintosh, N. J. (1975). A theory of attention: Variations in the associability of stimuli with reinforcement. Psychological Review, 82(4), 276–298. https://doi.org/10.1037/h0076778

Pavlov, I. P. (1927). Conditioned reflexes: An investigation of the physiological activity of the cerebral cortex (G. V. Anrep, Trans.). Oxford University Press.

Pearce, J. M. (1987). A model for stimulus generalization in Pavlovian conditioning. Psychological Review, 94(1), 61–73. https://doi.org/10.1037/0033-295X.94.1.61

Pearce, J. M., & Hall, G. (1980). A model for Pavlovian learning: Variations in the effectiveness of conditioned but not of unconditioned stimuli. Psychological Review, 87(6), 532–552. https://doi.org/10.1037/0033-295X.87.6.532

Rescorla, R. A. (1967). Pavlovian conditioning and its proper control procedures. Psychological Review, 74(1), 71–80. https://doi.org/10.1037/h0024109

Rescorla, R. A. (1968). Probability of shock in the presence and absence of CS in fear conditioning. Journal of Comparative and Physiological Psychology, 66(1), 1–5. https://doi.org/10.1037/h0025984

Rescorla, R. A. (1969). Pavlovian conditioned inhibition. Psychological Bulletin, 72(2), 77–94. https://doi.org/10.1037/h0027760

Rescorla, R. A., & Wagner, A. R. (1972). A theory of Pavlovian conditioning: Variations in the effectiveness of reinforcement and nonreinforcement. In A. H. Black & W. F. Prokasy (Eds.), Classical conditioning II: Current research and theory (pp. 64–99). Appleton-Century-Crofts.

Schultz, W., Dayan, P., & Montague, P. R. (1997). A neural substrate of prediction and reward. Science, 275(5306), 1593–1599. https://doi.org/10.1126/science.275.5306.1593

Sutton, R. S., & Barto, A. G. (1998). Reinforcement learning: An introduction. MIT Press.

Wagner, A. R. (1981). SOP: A model of automatic memory processing in animal behavior. In N. E. Spear & R. R. Miller (Eds.), Information processing in animals: Memory mechanisms (pp. 5–47). Lawrence Erlbaum Associates.