Au sein de l’histoire de la psychologie expérimentale et des théories de l’apprentissage animal, peu d’énigmes ont autant ébranlé l’édifice béhavioriste classique que le paradoxe du renforcement partiel. Selon les préceptes cardinaux formulés par Clark Hull et raffinés par Kenneth Spence, la force d’une habitude motrice découle directement du nombre d’associations récompensées entre un stimulus environnemental et une réponse motrice. Dès lors, l’observation selon laquelle des organismes soumis à un programme d’apprentissage intermittent — où la récompense n’est délivrée que de manière discontinue — manifestent une persistance comportementale considérablement plus tenace face à l’extinction que des sujets systématiquement récompensés représentait une anomalie théorique fondamentale, défiant les lois quantitatives fondamentales du renforcement continu.
Face à cette impasse conceptuelle, les années 1950 et 1960 virent émerger des tentatives majeures de conciliation théorique, dominées au premier chef par le modèle motivationnel et émotionnel d’Abram Amsel, qui postulait l’intervention d’une frustration primaire conditionnée. C’est dans ce climat intellectuel d’intense effervescence néo-béhavioriste qu’Egidio John Capaldi introduisit une rupture paradigmatique d’une profonde élégance analytique : la théorie séquentielle de l’apprentissage instrumental. Plutôt que de recourir à des construits d’ordre affectif ou pulsionnel difficilement quantifiables, Capaldi réorienta le problème vers une analyse minutieuse de la dimension temporelle, combinatoire et mémorielle des essais d’entraînement successifs.
En formulant l’hypothèse selon laquelle les conséquences immédiates d’un essai antérieur — qu’il s’agisse de l’obtention d’une boulette de nourriture ou de son absence — laissent une trace mnésique interne agissant comme un stimulus intéroceptif distinct lors de l’essai suivant, Capaldi a transformé l’étude du conditionnement instrumental en une véritable science du traitement séquentiel de l’information. Cet article explore de manière approfondie l’architecture conceptuelle, les démonstrations empiriques, les formulations mathématiques et la postérité contemporaine de cette théorie monumentale, dont la rigueur méthodologique a posé les premiers jalons de la cognition animale moderne et de l’étude de la mémoire de travail.
1. Introduction et contexte épistémologique de la théorie séquentielle d’E.J. Capaldi
1.1 L’émergence du néo-béhaviorisme et la crise des modèles associationnistes classiques
L’hégémonie du paradigme stimulus-réponse (S-R), incarnée au milieu du XXe siècle par les formalisations mathématiques de Clark Hull dans ses Principles of Behavior (1943) et prolongée par Kenneth Spence, reposait sur une conception cumulative de la force de l’habitude (notée sHr). Dans ce schéma mécaniste, chaque présentation conjointe d’un stimulus conditionné et d’une réponse instrumentale suivie d’une réduction du besoin biologique venait incrémenter de manière monotone la force du lien associatif. L’extinction, corollairement, était envisagée comme l’accumulation d’une inhibition réactive (Ir) et d’une inhibition conditionnée (sIr), agissant comme des forces suppressives antagonistes venant éteindre le potentiel de réaction.
Cependant, cette mécanique théorique s’est heurtée à une série d’anomalies expérimentales non résolues. La plus critique demeurait la persistance paradoxale du comportement lorsque le lien S-R n’avait été renforcé que de façon intermittente au cours de l’acquisition. Si la force de l’habitude est une fonction strictement croissante du nombre d’essais récompensés, comment expliquer qu’un animal ayant reçu cinquante récompenses réparties sur cent essais puisse courir plus vite et persister deux à trois fois plus longtemps en phase d’extinction qu’un congénère ayant reçu cent récompenses sur cent essais consécutifs ? Les tentatives de sauvetage du modèle hullien par l’introduction d’hypothèses ad hoc ont rapidement montré leurs limites formelles, générant une crise de confiance dans les postulats associationnistes moléculaires.
Pour dépasser ce blocage sans pour autant sombrer dans un mentalisme incontrôlé rejeté par la communauté scientifique de l’époque, la psychologie expérimentale se devait d’intégrer des variables intermédiaires non observables directement, tout en les ancrant rigoureusement dans des conditions environnementales objectives et mesurables. La question centrale n’était plus seulement de quantifier le volume absolu d’entrées et de sorties comportementales, mais de déterminer comment l’histoire séquentielle immédiate modifie l’état interne de l’organisme, transformant les événements passés en signaux directeurs pour les actions futures.
1.2 La rupture théorique opérée par E.J. Capaldi dans les années 1960
Au début des années 1960, Egidio John Capaldi publia une série d’articles séminaux qui prirent le contre-pied des interprétations dominantes de l’époque. Rejetant les explications purement émotionnelles — en particulier la théorie de la frustration d’Abram Amsel, qui postulait l’existence d’une réaction inconditionnelle de déception affective agissant comme une pulsion —, Capaldi opéra une révolution copernicienne en déplaçant le centre de gravité théorique de l’affect vers la cognition mnésique.
Selon Capaldi, la persistance observée chez l’animal ne procède pas d’une tentative désespérée de surmonter un choc émotionnel aversif, mais relève d’un mécanisme de reconnaissance d’indices et de continuité d’information. L’animal en situation d’apprentissage n’est pas un réacteur passif à des décharges pulsionnelles ; il agit comme un système de traitement séquentiel capable d’encoder les états résiduels de ses expériences antérieures immédiates et de les utiliser comme des repères discriminatifs stables dans son environnement temporel.
L’ambition déclarée de Capaldi consistait à bâtir une théorie strictement prédictive, mathématisable et exempte de toute spéculation mentaliste vague. En formalisant l’influence des suites ordonnées d’essais, il a cherché à démontrer que la structure mathématique interne des séquences expérimentales — c’est-à-dire l’agencement micrométrique des succès et des échecs dans le temps — détermine à elle seule, avec une précision chirurgicale, le profil d’acquisition, la vitesse de course et la trajectoire temporelle de l’extinction comportementale.
1.3 Objectifs fondamentaux et cadre conceptuel de la théorie séquentielle
L’objectif épistémologique premier de la théorie séquentielle est de formuler un compte-rendu unifié et parcimonieux de l’apprentissage instrumental, capable d’expliquer simultanément la performance sous renforcement continu (CRF, Continuous Reinforcement), sous renforcement partiel (PRF, Partial Reinforcement) et lors de la phase subséquente d’extinction expérimentale, sans faire appel à des processus explicatifs divergents pour chacun de ces régimes.
Le cadre conceptuel repose sur le postulat central selon lequel l’issue d’un essai (présence ou absence de renforcement) génère un stimulus interne spécifique d’après-effet qui survit à l’essai lui-même. Dès lors, le véritable complexe de stimuli qui contrôle la réponse motrice de l’animal au début d’un essai $n$ n’est pas uniquement constitué des stimuli externes de l’appareil expérimental (comme les parois de l’allée ou la boîte de départ), mais comprend de manière constitutive la trace interne de l’essai $n-1$, voire des essais $n-2$ et $n-3$.
En modélisant mathématiquement l’impact de cet ordre séquentiel précis, Capaldi est parvenu à définir les conditions nécessaires et suffisantes pour que la réponse motrice s’associe conditionnellement à la mémoire interne de la non-récompense. Lorsque cette association se produit, l’absence de nourriture cesse d’opérer comme un signal d’arrêt ou d’inhibition pour se métamorphoser en un signal d’amorce invitant l’organisme à poursuivre sa réponse motrice avec une vigueur décuplée.
2. Les fondements conceptuels : Notions d’essais récompensés (R) et non récompensés (N)
2.1 Définition opérationnelle des événements R et N dans le protocole instrumental
Dans l’appareil méthodologique standardisé développé par Capaldi — principalement l’allée droite de course (straight runway) —, chaque unité d’apprentissage est strictement segmentée en essais discrets. Un essai récompensé, noté conventionnellement R (pour Rewarded), se définit de manière opérationnelle par le placement de l’animal dans la boîte de départ, l’ouverture de la porte à guillotine, la course le long de l’allée, et l’accès final à une coupelle contenant une quantité mesurée de nourriture dans la boîte de but, que le rongeur consomme avant d’être retiré de l’appareil.
À l’opposé, un essai non récompensé, noté N (pour Nonrewarded), suit une procédure motrice initialement identique : l’animal est introduit dans l’allée et s’élance vers la boîte de but, mais trouve cette dernière rigoureusement vide. L’omission de la récompense peut être planifiée selon un calendrier prédéterminé ou survenir de manière inattendue lors des transitions d’extinction. L’animal est confiné dans cette boîte de but vide pendant une durée contrôlée — généralement 15 à 30 secondes —, ce qui lui permet d’enregistrer sensoriellement l’absence d’aliment.
La rigueur de cette standardisation expérimentale est primordiale. Chaque paramètre physique — intensité de la lumière, rugosité du sol, température ambiante, vitesse d’ouverture des portes — est maintenu constant afin que la seule variable discriminante réside dans l’occurrence de l’événement R ou de l’événement N. Cette épuration méthodologique garantit que les variations comportementales enregistrées ne peuvent être imputées qu’à la dynamique séquentielle des états de renforcement.
2.2 La genèse des après-effets : De l’événement physique à la trace interne
La pierre angulaire de l’édifice conceptuel de Capaldi réside dans le concept d’après-effet (aftereffect). Lors de la survenue d’un événement physique d’ingestion (R) ou de non-obtention (N), l’organisme subit une modification physiologique et neurosensorielle immédiate. Or, cette stimulation ne disparaît pas instantanément lors du retrait de l’animal de la boîte de but ; elle subsiste dans le système nerveux sous la forme d’un état rémanent persistant pendant l’intervalle inter-essais.
Il convient de souligner ici la distinction épistémologique cruciale opérée par Capaldi entre l’événement environnemental brut et sa représentation interne. L’événement physique N est une absence objective de matière nutritive dans la coupelle ; l’après-effet de N, en revanche, est une trace positive, un état biologique et psychologique actif. L’absence matérielle d’une stimulation externe se traduit donc paradoxalement au niveau interne par la présence d’un signal neurosensoriel spécifique.
Cet après-effet de non-récompense fonctionne dès lors comme un stimulus intéroceptif à part entière. Doté d’une identité sensorielle propre, il possède des propriétés d’intensité, de discriminabilité et de conditionnabilité strictement équivalentes à celles d’un stimulus auditif ou visuel classique. L’animal ne réagit pas à un « vide » conceptuel, mais à la trace active et identifiable laissée dans son réseau neural par l’expérience de la privation récente.
2.3 La transition du stimulus externe au stimulus séquentiel interne
Dans les modèles de conditionnement antérieurs, l’initiation de la réponse motrice dans une allée droite était censée se trouver sous le contrôle exclusif des composantes physiques de l’appareil : la couleur des parois, l’odeur ambiante ou la sensation kinesthésique de l’ouverture de la porte de départ. Capaldi propose une réévaluation radicale de cette architecture de contrôle en postulant que ces stimuli externes constituent un arrière-plan environnemental constant et invariant, incapable à lui seul d’expliquer les modulations dynamiques du comportement d’un essai à l’autre.
Le contrôle effectif de la locomotion s’opère en réalité par l’agrégation indissociable des stimuli externes et des stimuli séquentiels internes. Le complexe stimulant effectif guidant l’organisme au moment précis où la porte de départ s’abaisse à l’essai $n$ est une configuration composite combinant les caractéristiques de l’allée ($S^A$) et la trace rémanente active issue de l’essai $n-1$. L’animal apprend donc à répondre non pas à « l’allée », mais à « l’allée occupée par une trace spécifique ».
Ce mécanisme repose sur l’opération d’une mémoire de travail primitive mais remarquablement fonctionnelle chez le rongeur. Ce système de mémoire à court terme a pour vocation de maintenir active l’information relative à l’issue de l’essai précédent à travers l’intervalle inter-essais (ITI). La chronologie expérimentale s’internalise ainsi sous la forme d’une chaîne d’états d’activation successifs, où chaque essai est perçu, interprété et exécuté à la lumière immédiate de celui qui l’a précédé.
3. La dynamique des traces mnésiques et des stimuli séquentiels ($S^N$ et $S^R$)
3.1 Caractérisation et propriétés intrinsèques du stimulus séquentiel de non-récompense ($S^N$)
Le stimulus séquentiel de non-récompense, désigné formellement par le symbole $S^N$, représente la trace intéroceptive engendrée par la non-délivrance d’une récompense attendue. D’un point de vue psychophysiologique, Capaldi conçoit $S^N$ comme un profil de décharge neuronale spécifique, initié par l’exploration infructueuse de la boîte de but et le constat sensoriel de l’absence de nourriture. Loin d’être une simple négation logique, $S^N$ possède une texture sensorielle distinctive au sein du répertoire intéroceptif de l’animal.
L’intensité de cette trace interne $S^N$ n’est pas fixe ; elle varie en proportion directe de la valeur et de l’ampleur de la récompense qui était jusque-là anticipée par le sujet. Plus l’attente de nourriture était solide et quantitativement élevée, plus la trace interne consécutive à son omission présente une amplitude initiale marquée. Ce stimulus intéroceptif possède une saillance biologique élevée, ce qui en fait un candidat privilégié pour entrer dans des relations associatives prédictives avec les comportements qui lui succèdent immédiatement.
La propriété la plus fondamentale de $S^N$ réside dans sa capacité à fonctionner comme un stimulus d’amorce conditionnel (conditioned prime). Si le protocole expérimental est agencé de manière à ce qu’un essai N soit systématiquement suivi d’un essai R, la réponse instrumentale émise sous la présence de $S^N$ se trouve immédiatement renforcée par la nourriture obtenue lors de ce second essai. De fait, $S^N$ acquiert la propriété de déclencher la course : l’organisme apprend que l’état interne de non-récompense est le signal avant-coureur le plus fiable d’un succès imminent.
3.2 La trace de récompense ($S^R$) et sa complémentarité avec $S^N$
Symétriquement à $S^N$, Capaldi postule l’existence d’une trace mnésique de récompense, désignée par $S^R$. Ce stimulus séquentiel trouve son origine dans l’expérience gustative, masticatoire et post-ingestive immédiate issue de la consommation de la boulette de nourriture lors de l’essai précédent. L’ingestion alimentaire produit un état interne caractéristique combinant des afférences gustatives résiduelles, des rétroactions salivaires et un état autonome d’apaisement parasympathique.
Néanmoins, les propriétés fonctionnelles de $S^R$ diffèrent sensiblement de celles de $S^N$. En règle générale, $S^R$ présente une persistance temporelle souvent plus stable, mais sa saillance discriminative peut s’estomper plus rapidement en raison de la satiété progressive au fil de la multiplication des essais d’entraînement. Dans un programme de renforcement continu conventionnel (tous les essais étant récompensés : R-R-R-R), la quasi-totalité des courses s’effectue sous le contrôle exclusif de la trace $S^R$. La réponse instrumentale devient alors intimement et exclusivement liée à cet état intéroceptif particulier.
Dans les architectures d’essais discontinus propres au renforcement partiel (par exemple, des séquences de type R-N-R-N-N-R), l’environnement intéroceptif de l’animal oscille perpétuellement entre les états $S^R$ et $S^N$. Cette alternance dynamique crée un paysage de stimuli hautement complexe où l’animal doit apprendre à moduler son comportement d’approche en fonction du jeu croisé et compétitif entre la trace de satiété récente ($S^R$) et la trace de manque récent ($S^N$).
3.3 Dynamique temporelle et influence de l’intervalle inter-essais (ITI)
Une dimension fondamentale de la théorie séquentielle réside dans la prise en compte explicite de la dimension temporelle séparant deux essais successifs, conventionnellement nommée intervalle inter-essais (ou ITI pour Intertrial Interval). Comme toute trace biologique ou mnésique à court terme, les signaux internes $S^N$ et $S^R$ subissent une érosion spontanée au fil du temps. Capaldi modélise cette dégradation par une courbe d’affaiblissement temporel continue, où la netteté et l’intensité du stimulus s’atténuent au fur et à mesure que les secondes et les minutes s’écoulent.
Cette décroissance mnésique a des répercussions empiriques directes sur la discriminabilité des stimuli séquentiels. Lorsque l’intervalle inter-essais est particulièrement court (par exemple, entre 10 et 30 secondes), l’essai suivant débute alors que la trace $S^N$ est encore vigoureuse, vive et facilement différentiable de l’état de repos ou de la trace $S^R$. Dans ces conditions d’espacement temporel serré, les lois de l’association séquentielle opèrent avec une efficience maximale, et le contrôle du comportement par $S^N$ s’établit avec une remarquable rapidité.
À l’inverse, à mesure que l’ITI s’allonge pour atteindre plusieurs dizaines de minutes, la trace $S^N$ tend à s’étioler, subissant un nivellement qui la rapproche du niveau d’activation de base. Il s’ensuit une perte de son pouvoir prédictif direct lors de l’essai ultérieur. Cette sensibilité temporelle a constitué l’un des premiers terrains d’épreuve expérimentaux majeurs de la théorie de Capaldi, fournissant des prédictions précises sur l’effondrement prévisible des effets d’ordre séquentiel lorsque les délais temporels dépassent la fenêtre de rétention active de l’animal.
4. L’analyse mathématique et formelle de la variable N-Length (longueur de la série N)
4.1 Le concept structural de série continue de non-renforcements
L’une des contributions les plus originales et influentes de Capaldi à la théorie de l’apprentissage réside dans l’identification et la formalisation de la variable N-Length (longueur de la série N). Par définition, la N-Length quantifie le nombre ininterrompu d’essais non récompensés consécutifs qui précèdent immédiatement un essai récompensé dans le déroulement d’une session d’entraînement instrumental.
Il importe de distinguer formellement les architectures à N-Length unitaire des structures à N-Lengths variables et complexes. Considérons, à titre d’illustration, la séquence suivante composée de huit essais :
- R – N – R – N – N – R – N – N – N – R
Dans cette séquence, la première occurrence non récompensée forme une série de longueur 1 (un seul N précédant un R) ; la seconde occurrence constitue une N-Length de valeur 2 (deux N consécutifs avant un R) ; enfin, la troisième série représente une N-Length de valeur 3. Capaldi désigne ces transitions critiques sous la forme générale $N^i \rightarrow R$, où l’exposant $i$ caractérise précisément la profondeur séquentielle de la chaîne d’omissions avant l’avènement du renforcement restaurateur.
Cette métrique structurale met en lumière le fait que deux programmes de renforcement présentant rigoureusement le même pourcentage global de récompense (par exemple 50 %) peuvent posséder des microstructures séquentielles radicalement divergentes. Un programme alterné simple (R-N-R-N-R-N) n’exploite exclusivement que des N-Lengths de 1, alors qu’un programme groupé (R-R-R-N-N-N-R) mobilise une N-Length de 3. Pour la théorie séquentielle, ces deux régimes d’entraînement induisent des états internes et des mécanismes d’extinction totalement dissemblables.
4.2 Modélisation du conditionnement cumulatif de la réponse sous contrôle de $S^N$
L’analyse formelle de Capaldi postule qu’au fur et à mesure qu’un animal traverse une chaîne continue d’essais non récompensés, la nature exacte du stimulus interne subit une transformation dynamique progressive. L’état mnésique après un seul essai sans nourriture est noté $S^{N1}$ ; si un second essai sans nourriture survient consécutivement, la trace issue du premier essai est intégrée et modifiée par la seconde omission, générant un état interne distinct noté $S^{N2}$, et ainsi de suite jusqu’à $S^{Np}$.
L’équation d’association gouvernant l’apprentissage stipule que la force associative (notée $V$) développée entre la trace modifiée $S^{Np}$ et la réponse motrice instrumentale ($A$) s’accroît à chaque fois qu’une transition vers la récompense se réalise :
$$\Delta V(S^{Np} \rightarrow A) = \alpha \cdot \beta \cdot (\lambda – V_{total})$$
Où $lambda$ représente l’asymptote de conditionnement déterminée par l’amplitude de la récompense R, et $\alpha$ et $\beta$ des paramètres d’apprentissage dépendants respectivement de la saillance de la trace $S^{Np}$ et de l’efficacité du renforçateur. Cette formalisation implique que la réponse motrice ne se lie pas à une entité abstraite, mais se conditionne sélectivement à l’état séquentiel exact correspondant au rang d’omission atteint par la chaîne.
Grâce aux principes de la généralisation du stimulus, la force associative conditionnée sur une chaîne de longueur $p$ irradie partiellement sur les états adjacents le long d’un gradient de similarité mnésique. Par conséquent, l’entraînement sur une chaîne étendue confère à l’organisme une force de réponse globale qui s’exprime à travers l’ensemble des maillons de la chaîne séquentielle.
4.3 Impact quantitatif de la longueur maximale des séries N sur la résistance comportementale
La déduction théorique majeure qui émerge de cette modélisation réside dans la relation mathématique directe liant la valeur maximale de la série de non-renforcements vécue pendant l’entraînement (la Maximum N-Length) et la résistance du comportement face à l’extinction ultérieure. Selon Capaldi, plus la séquence maximale d’essais N précédant un essai R a été longue au cours de l’acquisition, plus la persistance de l’animal dans l’allée droite lors de la phase d’extinction sera élevée.
Ce phénomène s’explique par le fait qu’une séquence d’entraînement intégrant des chaînes d’omissions étendues conditionne la réponse motrice à des états intéroceptifs d’ordre élevé ($S^{N1}, S^{N2}, dots, S^{N\max}$). Lors de l’amorce de la phase d’extinction — qui n’est rien d’autre qu’une séquence indéfiniment prolongée d’essais non récompensés —, l’animal se retrouve confronté à des configurations mnésiques auxquelles il a déjà appris à répondre vigoureusement en vue d’obtenir un renfort différé.
Les plans expérimentaux factoriels minutieusement conduits par Capaldi et ses collaborateurs ont systématiquement confirmé cette loi quantitative. Toutefois, les données révèlent également l’existence d’un effet de saturation mnésique : au-delà d’un seuil critique (généralement situé autour de $N=4$ ou $N=5$ chez le rat dans des conditions de laboratoire standard), les capacités de résolution discriminative de la mémoire de travail animale atteignent leurs limites structurales, conduisant à un plafonnement asymptotique du gain de résistance comportementale.
5. L’effet de renforcement partiel (PREE) réinterprété par Capaldi
5.1 Le paradoxe historique de l’effet de renforcement partiel (Partial Reinforcement Extinction Effect)
L’effet de renforcement partiel à l’extinction (couramment désigné sous l’acronyme anglophone PREE pour Partial Reinforcement Extinction Effect) constitue sans conteste l’un des phénomènes les plus abondamment documentés mais les plus controversés de l’histoire des sciences du comportement. Enoncé simplement, le phénomène démontre que des animaux entraînés sous un régime d’extinction persistent considérablement plus longtemps dans leur réponse motrice s’ils n’ont été récompensés que lors d’une fraction de leurs essais d’apprentissage, comparativement à des sujets ayant bénéficié d’une récompense continue à 100 %.
Ce résultat entre en contradiction frontale avec le sens commun dérivé de la loi de l’effet formulée par Edward Thorndike. Si le renforcement agit comme un ciment scellant l’empreinte de la réponse, alors une habitude nourrie par 100 consolidations positives devrait mathématiquement présenter une cohésion structurelle double de celle forgée par 50 associations équivalentes. La fragilité paradoxale du conditionnement continu (CRF) face à l’interruption des gains constituait une véritable aporie pour les fondateurs du béhaviorisme classique.
La théorie formelle de Clark Hull s’avérait incapable de rendre compte du PREE sans recourir à des acrobaties conceptuelles insatisfaisantes. Hull postulait que le potentiel d’action net ($sEr$) dépendait directement de la force de l’habitude ($sHr$). Or, les animaux en régime partiel recevant moins d’unités de renforcement absolu, leur niveau d’habitude devait théoriquement être inférieur ou au mieux égal à celui du groupe continu. L’inversion expérimentale constatée en phase d’extinction mettait en péril la validité universelle du système hullien.
5.2 Confrontation critique : Théorie séquentielle vs Théorie de la frustration d’Abram Amsel
Face à la défaillance des explications associationnistes naïves, le modèle dominant des années 1950 était la théorie de la frustration développée par Abram Amsel. Ce dernier suggérait que l’omission inattendue d’une récompense attendue déclenche une réaction inconditionnelle de frustration primaire ($R_F$), dotée de propriétés aversives analogues à une douleur physique. Au fil des essais d’apprentissage partiel, cette réaction émotionnelle s’associerait aux stimuli de l’allée, générant une frustration anticipée conditionnée ($r_F – s_F$). La persistance lors de l’extinction découlerait ainsi d’un conditionnement contre-émotionnel : l’animal apprendrait à courir en dépit de son angoisse de déception, la réponse d’approche s’étant greffée sur le signal de frustration interne.
La théorie séquentielle de Capaldi écarte radicalement cette dépendance envers un construit affectif intermédiaire. Pour Capaldi, il est inutile et épistémologiquement superflu de postuler l’intervention d’une détresse émotionnelle ou d’un conflit aversif pour rendre compte du PREE. La persistance n’est pas le fruit d’un courage psychologique ou d’une résilience affective acquise contre la déception ; elle procède exclusivement d’un mécanisme de transfert associatif et de contrôle perceptivo-mnésique.
Cette distinction confère à la théorie séquentielle un avantage majeur en termes de parcimonie scientifique (rasoir d’Ockham). Là où la théorie d’Amsel requiert l’existence d’une cascade complexe de construits hypothétiques invérifiables directement ($R_F$, $S_F$, $r_F$, $s_F$), Capaldi n’utilise qu’un seul principe général : la trace mnésique immédiate d’un événement physique possède les mêmes propriétés physiques et associatives que n’importe quel stimulus neutre de l’environnement.
5.3 Démonstrations empiriques en faveur de l’explication séquentielle du PREE
Afin de départager ces deux conceptions rivales, Capaldi mit sur pied des protocoles expérimentaux d’une rigueur exemplaire, parvenant à dissocier les effets purement émotionnels de l’agencement temporel des essais. Dans une expérience canonique demeurée célèbre, Capaldi a comparé deux groupes de rats recevant rigoureusement le même nombre absolu d’essais récompensés et non récompensés (donc un niveau global identique de frustration accumulée), mais soumis à des séquences internes divergentes.
Le premier groupe expérimentait les essais N regroupés en début de protocole ou dissociés des essais R ultérieurs, empêchant la constitution de la transition $S^N \rightarrow R$. Le second groupe bénéficiait de ces mêmes essais N disséminés de manière à ce qu’ils soient immédiatement suivis d’un essai récompensé. Les résultats expérimentaux ont balayé l’hypothèse purement émotionnelle : seul le groupe ayant vécu l’appariement précis entre la trace interne de l’échec et la récompense ultérieure manifestait une résistance accrue à l’extinction. La simple exposition à l’omission n’immunise pas l’animal contre l’extinction ; seule compte l’association directe de sa trace mnésique avec le renforçateur.
Plus probant encore, Capaldi a démontré qu’il était possible d’induire artificiellement un puissant effet de résistance à l’extinction chez des animaux soumis à un programme continu (100 % récompensé) en injectant expérimentalement des stimuli discriminatifs externes distincts (tels que des odeurs ou des indices visuels spécifiques) préalablement couplés à l’absence de nourriture. En manipulant directement ces signaux mimant la présence de $S^N$, Capaldi a apporté la preuve décisive que le moteur du PREE réside dans l’identité du complexe stimulant et non dans un quelconque ajustement affectif global.
6. Les protocoles expérimentaux classiques et les allées droites de course
6.1 Le paradigme méthodologique de l’allée droite (Straight Runway)
Le déploiement empirique de la théorie séquentielle s’est enraciné dans l’utilisation méthodique de l’allée droite de course, un dispositif expérimental conçu pour transformer un flux moteur complexe en une série de variables continues hautement quantifiables. L’infrastructure technique se compose canoniquement de trois compartiments alignés : une boîte de départ pourvue d’une porte escamotable télécommandée, une longue section de course rectiligne (généralement comprise entre un mètre cinquante et deux mètres de longueur) et une boîte de but renfermant le dispositif d’alimentation.
Afin de neutraliser toute source de variabilité parasitaire, les allées développées par Capaldi bénéficiaient d’une isolation acoustique poussée et de systèmes de ventilation à flux laminaire constant. Ces dispositifs visaient notamment à dissiper les traces olfactives résiduelles (marquages urinaires ou phéromones de stress déposées par les passages de sujets antérieurs), éliminant ainsi les indices exogènes incontrôlés susceptibles d’orienter la course de l’animal.
L’instrumentation électronique de l’allée constituait le joyau de ce dispositif de mesure. Des faisceaux de cellules photoélectriques infrarouges, disposés à des intervalles géométriques précis sur toute l’étendue du trajet, étaient connectés à des chronomètres millimétriques automatisés. Cette configuration permettait d’enregistrer de manière désagrégée trois segments temporels essentiels :
- La latence d’amorce ou temps de départ (temps mis par le rongeur pour franchir le premier faisceau à la sortie de la boîte initiale) ;
- La vitesse pure de course le long de la section intermédiaire de l’allée ;
- Le temps d’approche terminal et d’entrée dans la boîte de but.
6.2 La typologie des programmes de renforcement séquentiels
L’exploitation fine de l’allée droite de course a permis à Capaldi d’élaborer une taxonomie rigoureuse des programmes d’entraînement séquentiels, en manipulant minutieusement l’ordre d’apparition des renforcements. L’architecture la plus élémentaire est le programme à alternance simple, schématisé par la trame périodique :
- R – N – R – N – R – N – R – N
Ce protocole s’oppose directement aux programmes pseudo-aléatoires, au sein desquels la distribution globale des récompenses (par exemple 50 %) est préservée, mais où la succession immédiate des événements R et N est rendue mathématiquement imprévisible pour l’organisme.
Un autre axe de recherche fondamental concerne la comparaison systématique entre programmes massés et programmes dispersés. Dans un régime massé, les événements d’omission sont concentrés au sein de blocs continus denses (comme dans la suite $NNNRRR$), obligeant l’organisme à traverser des chaînes $N$-Length très profondes mais peu fréquentes. Dans un régime dispersé (tel que $NRNRNR$), les occurrences non récompensées sont disséminées de manière unitaire le long de l’expérience.
Le contrôle méthodologique exigeait que l’ensemble de ces groupes expérimentaux reçoivent une exposition globale rigoureusement équilibrée : même temps passé dans l’appareil, même nombre total de boulettes ingérées, même niveau de privation alimentaire relative (maintenue classiquement à 85 % du poids corporel libre). Toute divergence constatée dans les vitesses de course ne pouvait ainsi provenir que de l’agencement structural interne du programme séquentiel.
6.3 Protocoles de mesure lors de la phase d’extinction
L’épreuve de vérité de la théorie séquentielle se déroule lors de la phase d’extinction expérimentale. Durant cette étape critique, la coupelle de la boîte de but demeure désespérément vide lors de chaque essai consécutif. Les animaux sont soumis à un nombre standardisé d’essais d’extinction (couramment entre 30 et 60 essais répartis sur plusieurs sessions), chaque passage faisant l’objet d’un enregistrement chronométrique complet.
Le protocole requiert la définition d’un critère opérationnel de cessation de la réponse : si l’animal refuse de quitter la boîte de départ ou n’atteint pas la boîte de but au terme d’une période plafond prédéfinie (généralement 60 à 90 secondes), l’essai est interrompu manuellement, et la latence maximale est consignée. L’analyse des dynamiques d’allongement progressif des temps de parcours permet de tracer la courbe de décroissance fonctionnelle de la réponse pour chaque animal.
Les données collectées en allée droite révèlent une dissociation hautement informative entre les différents segments spatiaux de l’appareil. Chez les animaux entraînés en renforcement continu (CRF), l’extinction se traduit initialement par un ralentissement marqué et précoce au niveau de la boîte de but, qui contamine rapidement l’allée centrale puis la latence de départ. En revanche, chez les animaux partiellement renforcés disposant d’un conditionnement sur $S^N$, la vitesse dans la section médiane de course demeure spectaculairement élevée pendant des dizaines d’essais, témoignant d’une vigueur locomotrice entretenue par la trace séquentielle d’omission elle-même.
7. Les séquences d’apprentissage à transitions spécifiques (Patterns de récompense)
7.1 La dynamique différentielle des transitions N-R et R-N
L’un des postulats directeurs de la théorie de Capaldi est que tous les essais d’un programme d’entraînement n’ont pas la même valeur fonctionnelle. Il existe une asymétrie structurale profonde entre la transition N-R et la transition R-N. La transition N-R représente l’événement séquentiel fondamental sans lequel aucune résistance accrue à l’extinction ne peut émerger : c’est l’instant précis où la réponse instrumentale émise sous l’influence de la trace interne $S^N$ se trouve validée et récompensée par la délivrance de nourriture.
À l’opposé, la transition R-N opère selon une cinétique inverse. Lors d’un essai récompensé, l’animal est imprégné de la trace $S^R$. Si l’essai suivant est non récompensé (R-N), la réponse motrice sous l’emprise de $S^R$ subit une absence de confirmation, ce qui introduit une rupture dans la chaîne séquentielle. Loin de renforcer la persistance, l’essai R-N fonctionne comme une amorce négative pour les comportements associés à $S^R$.
Cette distinction met en évidence l’asymétrie fonctionnelle entre ces deux formes de transition. Alors que les transitions R-N créent les conditions environnementales indispensables pour générer ultérieurement une trace $S^N$, seules les liaisons concrètes unissant $S^N$ à l’arrivée finale de nourriture lors de la transition N-R fixent durablement l’immunisation comportementale contre l’abandon ultérieur.
7.2 L’apprentissage de régularités séquentielles et l’alternance discriminative
L’une des démonstrations les plus saisissantes de la pertinence de la théorie séquentielle concerne la capacité des rongeurs à moduler leur allure de course selon la prévisibilité d’un programme à alternance régulière simple (R-N-R-N-R-N). Si la théorie béhavioriste classique avait raison — considérant que l’animal fait simplement la moyenne statistique globale des renforcements —, la vitesse de course devrait converger vers une valeur moyenne intermédiaire sur l’ensemble des essais.
La réalité expérimentale documentée par Capaldi est radicalement différente : après un entraînement suffisant sur un schéma R-N régulier, les rats développent une vitesse rapide et vigoureuse lors de chaque essai récompensé R, et adoptent une démarche lente, hésitante, voire s’arrêtent complètement lors de chaque essai non récompensé N. L’animal manifeste ainsi un comportement discriminatif parfait, anticipant avec une exactitude troublante l’issue de l’essai en cours avant même d’avoir franchi l’allée.
Ce phénomène s’éclaire lumineusement par le prisme de la théorie séquentielle :
- Après un essai récompensé (R), l’animal entame l’essai suivant sous la trace $S^R$. Comme cet essai est systématiquement non récompensé, $S^R$ devient un signal prédictif conditionné de non-renforcement, incitant l’animal à ralentir ;
- Inversement, après un essai non récompensé (N), l’organisme s’élance sous l’influence de $S^N$. Cet essai étant immanquablement suivi de nourriture, la trace $S^N$ agit comme un puissant déclencheur de course rapide.
L’animal utilise ainsi ses propres états de mémoire interne comme des repères discriminatifs immédiats guidant ses décisions locomotrices.
7.3 Le nombre absolu versus le ratio de transitions N-R
Cette formalisation soulève la question empirique de savoir si la persistance du comportement dépend du ratio relatif de renforcement (le pourcentage global d’essais récompensés) ou du nombre absolu de transitions $S^N \rightarrow R$ traversées au cours de la genèse de l’habitude. Pour tester cette hypothèse, Capaldi a mis au point des protocoles dissociant la fréquence arithmétique globale de la densité de transition.
Les résultats expérimentaux ont apporté une confirmation décisive à la théorie séquentielle : deux groupes d’animaux soumis à un ratio identique de renforcement partiel (par exemple 50 %) manifestent des profils d’extinction radicalement hétérogènes selon le décompte absolu de leurs transitions séquentielles clés. Un groupe n’ayant connu que cinq transitions $N \rightarrow R$ s’éteint avec une rapidité déconcertante, tandis qu’un groupe ayant traversé cinquante transitions $N \rightarrow R$ fait preuve d’une ténacité extrême lors de l’extinction.
Ces observations ont permis à Capaldi d’énoncer de véritables lois d’échelle : la résistance à l’extinction n’est pas déterminée par la proportion de renforcement, mais par le cumul quantitatif des appariements effectifs entre la trace $S^N$ et la récompense. Chaque franchissement réussi d’une transition N-R dépose une incrémentation de force associative, établissant mathématiquement la trajectoire future de persévérance de l’organisme face à la raréfaction des ressources.
8. La résistance à l’extinction : Mécanismes d’association conditionnelle
8.1 L’amorce de l’extinction comme prolongement structurel des séries N
La théorie séquentielle propose une réinterprétation magistrale de la nature même de la phase d’extinction. Pour la majorité des théoriciens classiques, l’extinction représentait une situation de rupture brutale, un changement de paradigme imposant l’intervention de mécanismes suppressifs inédits destinés à briser l’habitude motrice. Pour Capaldi, il n’existe aucune discontinuité qualitative entre l’entraînement et l’extinction : l’amorce de l’extinction constitue tout simplement le prolongement structural direct d’une chaîne N.
Dès lors que le premier essai d’extinction survient, la non-délivrance de nourriture génère instantanément chez l’animal l’état interne $S^{N1}$. Au second essai sans récompense, cet état se transforme en $S^{N2}$, puis en $S^{N3}$ au troisième, déroulant avec une rigueur implacable la séquence intéroceptive des indices d’omission. Pour un animal préalablement entraîné sous renforcement partiel, ces stimuli internes ne constituent nullement une anomalie désorientante ou un signal de détresse aversive : ils incarnent des signaux familiers, régulièrement expérimentés au cours des jours précédents.
Cette identité fonctionnelle engendre chez le sujet une continuité perceptive et mémorielle absolue. Face aux premiers refus de nourriture, l’animal sous renforcement intermittent ne perçoit pas la fin de l’expérience, mais reconnaît la texture familière d’une séquence de non-récompenses temporaires. Il continue donc de courir avec une ardeur inentamée, guidé par l’attente associative que l’état $S^N$, comme cela s’est invariablement produit par le passé, finira par déboucher sur un essai R restaurateur.
8.2 Le mécanisme de généralisation du stimulus conditionnel lors de l’extinction
L’application du principe de généralisation du stimulus permet de comprendre comment la réponse motrice se maintient lorsque la chaîne d’extinction s’allonge au-delà de ce que l’animal a expérimenté en entraînement. Supposons qu’au cours de l’acquisition, la série maximale d’omissions consécutives ait été de trois ($N-Length = 3$), conditionnant la réponse aux stimuli internes $S^{N1}, S^{N2}$ et $S^{N3}$. Lorsque la phase d’extinction atteint le quatrième ($S^{N4}$), cinquième ($S^{N5}$) et sixième essai sans renfort, comment la course peut-elle subsister ?
La réponse formulée par Capaldi repose sur la diffusion de la force associative le long d’un gradient de généralisation séquentielle. Bien que $S^{N4}$ et $S^{N5}$ soient des configurations physiques légèrement distinctes de $S^{N3}$, leur parenté intéroceptive demeure exceptionnellement étroite. La force motrice conditionnée sur les premières longueurs de chaîne déborde et se transfère spontanément sur les longueurs immédiatement supérieures :
$$V(S^{N+k}) = V(S^{N\max}) \cdot e^{-d \cdot k}$$
Où $d$ représente le coefficient de décroissance de la similarité interne et $k$ la distance séquentielle séparant l’état présent de l’état d’entraînement le plus proche. La persistance comportementale dépend directement de la pente de ce gradient de généralisation : plus l’entraînement a mobilisé des séquences variées, plus la pente est douce, permettant à la réponse motrice de subsister à travers des dizaines d’essais d’extinction sans s’effondrer.
L’extinction finale n’intervient dès lors que lorsque la chaîne continue d’omissions atteint une profondeur telle que la trace interne résultante ($S^{N+k}$) sort définitivement de l’aire de généralisation des stimuli conditionnés pendant l’apprentissage. Privé de son stimulus d’amorce interne par l’épuisement de la similarité mnésique, le comportement de course finit par s’éteindre de manière graduelle et ordonnée.
8.3 L’effondrement rapide des groupes à renforcement continu (CRF)
À la lumière de cette mécanique de généralisation, l’effondrement spectaculaire et précoce des animaux soumis à un entraînement à renforcement continu (CRF) trouve une explication théorique d’une rare élégance. Chez ces sujets, la nourriture a été distribuée à chaque passage sans exception. Par conséquent, au cours de leur histoire d’apprentissage, la réponse motrice a été exclusivement conditionnée en présence du complexe réunissant l’appareil externe et la trace de récompense : $[S^A + S^R] \rightarrow A$.
À aucun moment de leur ontogenèse expérimentale ces animaux n’ont eu l’occasion d’émettre la réponse de course sous le contrôle du stimulus de non-récompense $S^N$. Dès le deuxième essai de la phase d’extinction, l’organisme est plongé pour la première fois de son existence dans un état intéroceptif radicalement inédit : la trace $S^{N1}$. Pour ce sujet, l’absence de nourriture n’opère pas comme un indice familier d’effort à poursuivre, mais induit une modification environnementale et interne brutale.
L’extinction chez l’animal continuellement renforcé ne doit donc pas être comprise comme un mécanisme complexe d’oubli ou une lente destruction de l’habitude par inhibition réactive, mais comme une spectaculaire défaillance de généralisation du stimulus. L’animal cesse de courir non pas parce que sa motivation motrice s’est évaporée, mais parce que le complexe de stimuli qui déclenchait mécaniquement son habitude a disparu de son champ de perception interne, cédant la place à un stimulus ($S^N$) qui ne possède aucune valence motrice acquise.
9. Variations des grandeurs de récompense et effets d’amplitude séquentielle
9.1 L’interaction entre magnitude du renforcement et traces d’après-effet
La puissance d’une théorie scientifique s’évalue à sa capacité à intégrer des variables quantitatives continues au sein de son architecture de base. Capaldi a étendu avec succès sa théorie séquentielle à l’étude des variations de la grandeur de la récompense (Reward Magnitude). Dans ce cadre élargi, l’expérience d’un renforçateur n’est plus binaire (présence ou absence), mais se décline selon une échelle d’amplitudes générant des traces intéroceptives différentielles hautement spécifiques.
Une récompense substantielle (par exemple, dix boulettes de nourriture de 45 mg) génère une trace post-ingestive d’une densité sensorielle majeure, notée $S^{R_g}$ (pour récompense grande), tandis qu’une récompense minime (une seule boulette) induit une trace atténuée, désignée par $S^{R_p}$ (pour récompense petite). L’animal encode ainsi avec une extrême fidélité l’ampleur exacte des événements de renforcement passés sous la forme d’états d’activation internes d’intensités calibrées.
Cette différentiation qualitative introduit une interaction directe entre magnitude et omission. L’intensité de la trace de non-récompense $S^N$ consécutive à un essai infructueux est une fonction directe de l’amplitude du renforçateur délivré à l’essai précédent. La non-obtention d’une nourriture abondante produit une trace d’omission ($S^{N(R_g)}$) d’une saillance et d’une netteté intéroceptive bien supérieures à l’omission consécutive à une portion minuscule ($S^{N(R_p)}$), conférant à la cinétique séquentielle une granularité descriptive d’une grande richesse prédictive.
9.2 L’effet de contraste négatif successif revisité par la théorie séquentielle
L’analyse des amplitudes variables a permis à Capaldi d’apporter un éclairage novateur sur le célèbre phénomène de contraste négatif successif, mis en évidence initialement par Leo Crespi en 1942. Lorsqu’un groupe de rats entraîné à courir pour une récompense volumineuse est soudainement basculé vers une récompense modeste, sa vitesse de course ne s’ajuste pas simplement au niveau de base des animaux habitués à cette petite quantité : elle plonge temporairement bien en-dessous de ce niveau, manifestant un phénomène de dépression comportementale spectaculaire.
Alors que la tradition psychologique interprétait ce creux comportemental comme la manifestation d’une crise émotionnelle d’amertume ou d’élan dépressif suscité par la spoliation, Capaldi en propose une modélisation purement séquentielle et associative. Le passage d’une grande à une petite récompense génère un stimulus interne de réduction, fonctionnellement équivalent à une trace de non-récompense partielle. Ce stimulus d’amenuisement n’ayant jamais été couplé antérieurement à une réponse motrice efficace, l’animal subit une perte brutale de contrôle de stimulus analogue à celle observée au début de l’extinction.
Les données empiriques recueillies par Capaldi ont démontré que si l’on prend soin d’exposer préalablement l’animal, au cours de son apprentissage initial, à des transitions séquentielles où de petites portions succèdent de manière imprévisible à de larges rations, l’effet d’effondrement de Crespi disparaît intégralement lors du basculement final. Cette invalidation des explications homéostatiques classiques confirme que le contraste négatif dépend des régularités séquentielles apprises bien plus que d’une simple réaction de déception affective.
9.3 Les transitions de magnitude (Grand-Petit vs Petit-Grand) et la résistance à l’extinction
En manipulant systématiquement l’ordre de présentation des différentes magnitudes de nourriture au sein de programmes d’entraînement discontinus, Capaldi a mis au jour des lois d’ordonnancement remarquables. L’exposition à des alternances de type Grand – Petit (où un essai riche est immédiatement suivi d’un essai pauvre qui débouche sur une nouvelle valorisation motrice) confère à l’animal une immunisation comportementale contre l’extinction strictement identique à celle conférée par un protocole de renforcement partiel classique.
La transition Grand $\rightarrow$ Petit fonctionne comme un analogue structurel de la transition $N \rightarrow R$ :
- L’essai à forte récompense installe une attente élevée ;
- L’essai à faible amplitude produit un décrément brutal qui engendre un stimulus d’insatisfaction relative ($S^P$) ;
- La réaffirmation de la réponse lors de l’essai suivant sous la présence de cette trace $S^P$ associe la poursuite de l’effort au stimulus de gain restreint.
À l’inverse, l’exposition à des séquences inverses de type Petit – Grand ne produit aucun surcroît d’endurance face à l’extinction, confirmant le rôle pivot des transitions de décrément dans la genèse de la persistance. Capaldi est ainsi parvenu à unifier mathématiquement au sein d’un formalisme théorique singulier l’ensemble des phénomènes liés à la présence, à l’absence et aux gradients continus de volume des renforçateurs instrumentaux.
10. Portée cognitive et précurseur des modèles de mémoire de travail animale
10.1 La trace $S^N$ comme précurseur théorique de la mémoire de travail (Working Memory)
Rétrospectivement, l’introduction par Capaldi du stimulus séquentiel $S^N$ représente un tournant historique dans l’évolution des sciences cognitives : elle constitue l’un des premiers précurseurs formalisés du concept moderne de mémoire de travail animale (animal working memory). Avant les travaux fondateurs de David Olton sur le labyrinthe radial et les propositions théoriques de Werner Honig, la théorie séquentielle attribuait déjà à l’animal la capacité de conserver activement une représentation fonctionnelle d’un événement passé récent pour orienter une prise de décision motrice immédiate.
Capaldi a opéré le passage d’une vision passive de la trace mnésique — simple empreinte physique s’estompant mécaniquement sur une surface réceptrice — à une conception active de l’information retenue en mémoire. La trace $S^N$ n’est pas subie par le système ; elle est exploitée comme un indice d’amorce interne par l’organisme, transformant une mémoire rétrospective (l’enregistrement de ce qui vient d’advenir à l’essai $n-1$) en un guide prospectif pour l’action (la programmation motrice de l’essai $n$).
Cette conceptualisation a ouvert la voie à une redéfinition de l’intelligence des rongeurs de laboratoire. Loin d’être des automates réflexes réagissant aveuglément aux seules coordonnées physiques immédiates de leur biotope artificiel, les rats se sont révélés capables d’intégrer des régularités d’intervalles et d’états d’information distribués dans le temps, préfigurant les investigations contemporaines sur les fonctions exécutives et le contrôle de l’attention chez l’animal non humain.
10.2 Du néo-béhaviorisme S-R strict au codage informationnel représentatif
Bien que Capaldi se soit toujours réclamé de la filiation méthodologique du néo-béhaviorisme — refusant les conjectures mentalistes non ancrées dans des observables physiques —, son œuvre théorique a agi comme un cheval de Troie au sein du paradigme S-R strict. En contraignant l’appareil associationniste à intégrer des constructs internes représentatifs dotés d’une telle complexité combinatoire, la théorie séquentielle a démontré les insuffisances structurelles d’un associationnisme strictement périphérique.
Cette approche a démontré qu’il était scientifiquement possible d’aborder la question des états mentaux, de la mémoire et de la temporalité interne sans concéder le moindre pouce de rigueur expérimentale et sans sombrer dans les travers de l’introspectionnisme spéculatif. L’objectivation rigoureuse des traces mnésiques par la manipulation minutieuse de leurs antécédents environnementaux et de leurs conséquences comportementales a constitué une preuve de concept méthodologique irréfutable pour toute une génération de psychologues comparatifs.
Capaldi a ainsi largement contribué à dépasser l’anti-mentalisme dogmatique de B.F. Skinner sans rien abandonner de l’impératif de réfutabilité empirique. La théorie séquentielle s’affirme comme une passerelle épistémologique majeure entre les schémas mécanicistes de l’époque hullienne et la psychologie cognitive du traitement de l’information qui allait s’imposer à la fin du XXe siècle.
10.3 Implications pour l’étude de l’encodage séquentiel et des règles d’apprentissage complexes
Au-delà de la résolution du problème du PREE, les investigations de Capaldi ont dévoilé que les animaux fonctionnent en véritables processeurs statistiques de régularités temporelles et d’événements discrets. Dans une série remarquable de travaux ultérieurs consacrés à l’apprentissage de patterns numériques, Capaldi a démontré que les rats sont capables d’apprendre des règles combinatoires abstraites, telles que la reconnaissance d’un essai non récompensé annonçant invariablement la fin d’une série ordonnée de gains monétaires décroissants.
Ces observations ont jeté des ponts méthodologiques solides avec les théories du chunking mnésique formulées par Herbert Simon et George Miller en psychologie cognitive humaine. Face à des séquences d’essais touffues, le rongeur regroupe les occurrences sous la forme d’unités de sens cohérentes (« bloc d’essais R », « transition d’omission »), réduisant ainsi la charge cognitive requise pour maintenir l’information active au fil des intervalles inter-essais.
Ces découvertes ont également trouvé de profondes résonances dans les recherches contemporaines sur la mémoire épisodique chez l’animal. La capacité d’un rat à répondre de façon discriminative selon qu’il a vécu la séquence R-N ou la séquence N-R implique une rétention fine non seulement du « quoi » (nourriture ou absence de nourriture), mais également du « quand » et de « dans quel ordre » l’événement est survenu dans l’allée droite, socle constitutif de tout enregistrement épisodique du réel.
11. Débats critiques, controverses et confrontations théoriques
11.1 Le duel théorique Amsel-Capaldi : Débat épistémologique majeur des années 1960-1970
L’affrontement entre la théorie séquentielle de Capaldi et la théorie de la frustration d’Abram Amsel a constitué le débat épistémologique le plus stimulant de la psychologie expérimentale anglo-saxonne au cours des décennies 1960 et 1970. Les revues canoniques comme la Psychological Review devinrent l’arène de joutes théoriques d’une haute précision intellectuelle, où chaque camp s’employait à concevoir le protocole décisif susceptible d’invalider irrévocablement la théorie adverse.
L’un des terrains d’affrontement privilégiés de cette controverse fut l’utilisation de molécules psychoactives, en particulier les premières benzodiazépines comme le chlordiazépoxide (Librium) ou l’amobarbital sodique. Amsel et ses partisans soutenaient que si l’on administrait un anxiolytique puissant durant l’extinction, l’effet émotionnel de frustration primaire ($R_F$) se trouverait chimiquement anéanti, ce qui devait immédiatement pulvériser la persistance comportementale acquise sous renforcement partiel.
Bien que certaines expériences pharmacologiques aient semblé initialement soutenir Amsel, les réplications minutieuses conduites par Capaldi ont démontré que ces agents pharmacologiques agissaient souvent en altérant les capacités d’encodage et de récupération mnésique des traces internes plutôt qu’en supprimant un affect ciblé. Progressivement, la communauté scientifique a reconnu l’existence d’une complémentarité fonctionnelle plutôt que d’une exclusion mutuelle : si la frustration émotionnelle d’Amsel module l’amplitude du comportement lors des premières confrontations au manque, le mécanisme séquentiel de Capaldi en régule l’architecture computationnelle et la dynamique associative de fond.
11.2 La controverse relative aux longs intervalles inter-essais (24 heures et plus)
L’objection la plus redoutable formulée à l’encontre de la théorie séquentielle concernait la persistance du PREE lorsque les essais d’entraînement sont espacés d’intervalles temporels massifs, typiquement 24 heures. Les détracteurs de Capaldi affirmaient avec force qu’il était biologiquement insoutenable de prétendre qu’une simple trace intéroceptive transitoire ($S^N$) puisse subsister de manière ininterrompue et active dans le système nerveux d’un rat pendant un jour complet, alors même que l’animal retourne dans sa cage d’élevage, s’alimente, dort et interagit avec ses congénères.
Face à ce défi expérimental majeur, Capaldi a apporté une réponse théorique fondamentale qui a élargi le champ de son modèle : la transition du concept de trace active à court terme vers celui de récupération mnésique indicée à long terme. Lorsque l’intervalle inter-essais est de 24 heures, l’état $S^N$ ne flotte pas indéfiniment en mémoire de travail ; il est encodé et consolidé au sein de la mémoire de référence à long terme, associé de manière indicée au contexte expérimental global de l’appareil.
Lorsqu’au terme des 24 heures de délai l’animal est réintroduit dans la boîte de départ de l’allée droite, les signaux contextuels externes déclenchent la réactivation automatique de la trace résiduelle consolidée de la veille :
- L’appareil réactive la mémoire de l’issue de l’essai antérieur ;
- Le stimulus séquentiel interne $S^N$ est ainsi reconstruit et restauré à l’état actif dans l’espace de traitement de l’organisme ;
- Le contrôle de la réponse motrice par cette trace séquentielle s’opère alors avec la même efficacité que lors d’un protocole à intervalle court.
Des expériences à ITI de 24 heures spécialement calibrées ont définitivement validé la pérennité de ce mécanisme d’amorçage contextuel.
11.3 Limites explicatives et adaptations nécessaires face aux tâches non spatiales
En dépit de sa rigueur et de ses triomphes prédictifs incontestés, la théorie séquentielle n’a pas échappé à certaines limites structurelles inhérentes à ses choix méthodologiques initiaux. Le modèle a été conçu, calibré et perfectionné au sein de protocoles à essais discrets hautement spatialisés, incarnés par l’allée droite de course. La transposition directe de ces principes formels à des environnements de conditionnement opérant libre (tels que la boîte de Skinner standard où l’animal appuie sur un levier à son propre rythme) s’est avérée considérablement plus ardue.
Dans une boîte opérante à flux libre (free operant), le comportement ne se découpe pas en essais nettement délimités par l’ouverture et la fermeture de portes guillotine. L’animal enchaîne les pressions sur le levier de façon continue, rendant la formalisation univoque des états $S^N$ et $S^R$ hautement tributaire d’arbitrages de découpage temporel artificiels. L’évaluation de ce qui constitue précisément une séquence d’omission dans un débit moteur ininterrompu a posé des difficultés de modélisation notables.
Pour surmonter cet obstacle, les successeurs de Capaldi ont dû introduire des aménagements paramétriques sophistiqués, substituant aux décomptes d’essais discrets des gradients de densité temporelle et des fenêtres de cumul d’intervalles inter-réponses (IRI, Inter-Response Intervals). Si ces développements ont confirmé la pertinence de l’approche séquentielle pour les flux d’actions continus, ils ont mis en lumière le tribut méthodologique payé par la théorie à son ancrage historique originel dans les dispositifs compartimentés.
12. Synthèse, héritage et applications contemporaines de la théorie séquentielle
12.1 La contribution historique durable d’E.J. Capaldi à la psychologie expérimentale
La contribution historique d’Egidio John Capaldi s’inscrit au panthéon des sciences comportementales par le biais d’un impératif méthodologique qui s’est imposé à la discipline tout entière : la prise en compte obligatoire de l’ordre exact et de la structure séquentielle des événements environnementaux. Avant ses publications de 1966 et 1967, les chercheurs agrégeaient couramment les taux de renforcement en pourcentages statistiques globaux, postulant implicitement que le cerveau animal réalise une moyenne arithmétique indifférente à la combinatoire des distributions temporelles.
Capaldi a pulvérisé cette vision simpliste en démontrant avec une clarté mathématique irréfutable que la microstructure d’un programme d’apprentissage possède un pouvoir prédictif infiniment supérieur à sa macrostructure statistique. Il a transformé la vision ontologique du renforçateur : la récompense n’est plus seulement une colle associationniste servant à ancrer passivement une réponse dans le système nerveux ; elle est avant tout un événement générant un flux de stimuli séquentiels hautement informatifs régissant la cognition de l’organisme.
En imposant l’analyse séquentielle au rang des variables indépendantes fondamentales au même titre que l’intensité du stimulus, le délai ou la magnitude de l’amorce, Capaldi a contraint la psychologie expérimentale à élever ses standards formels, posant les bases méthodologiques sur lesquelles s’appuient aujourd’hui encore les neurosciences cognitives de la décision.
12.2 Résonances dans les neurosciences comportementales et les circuits hippocampiques
L’avènement des techniques de neurophysiologie contemporaine a apporté une confirmation biologique spectaculaire aux intuitions théoriques de Capaldi, en révélant les substrats neuraux précis dédiés au maintien des traces séquentielles $S^N$ et $S^R$. De multiples investigations ont démontré que le maintien de la trace d’omission au fil de l’intervalle inter-essais dépend de l’intégrité fonctionnelle des réseaux hippocampiques et du cortex préfrontal médial chez le rongeur.
Les lésions ciblées de l’hippocampe dorsal produisent chez l’animal un tableau comportemental fascinant, qui semble calqué sur les prédictions négatives de la théorie séquentielle : les rats hippocampo-lésés deviennent totalement incapables d’apprendre des régularités d’alternance discriminative (R-N-R-N) et voient l’effet de renforcement partiel à l’extinction (PREE) s’évaporer complètement lors de sessions à longs intervalles inter-essais. L’animal lésé conserve la capacité d’apprendre la réponse motrice d’approche brute, mais a perdu le support neural lui permettant d’encoder la trace séquentielle interne de l’essai antérieur.
Plus remarquable encore, la découverte récente par Howard Eichenbaum et ses successeurs des cellules de temps (time cells) au sein de la formation hippocampique fournit le mécanisme biophysique exact postulé par Capaldi : des populations de neurones spécifiques s’activent de manière séquentielle et décalée dans le temps au cours de l’intervalle inter-essais, préservant et modulant activement l’identité du stimulus d’après-effet ($S^N$ ou $S^R$) jusqu’à l’initiation du comportement d’approche subséquent.
12.3 Applications contemporaines : Modélisation décisionnelle, addiction et persévérance
La théorie séquentielle déploie aujourd’hui une fécondité explicative majeure dans des domaines appliqués d’une grande acuité sociétale et technologique. En premier lieu, elle éclaire d’une lumière crue les mécanismes d’asservissement cognitif à l’œuvre dans les jeux de hasard et d’argent, en particulier sur les machines à sous et les plateformes de paris en ligne contemporaines. Ces systèmes sont délibérément calibrés selon des micro-séquences d’essais perdants entrecoupés de victoires différées, reproduisant avec une fidélité clinique les conditions matricielles de la variable N-Length de Capaldi.
Le joueur compulsif n’est pas simplement sous l’emprise d’un désir abstrait de gain ; son comportement de mise motrice a été directement associé et amorcé par l’état intéroceptif même de la perte récente. L’échec financier répété ne constitue plus pour son système cognitif un signal d’arrêt, mais opère comme un stimulus $S^N$ acquis déclenchant impérativement la continuation compulsive de l’engagement ludique face au dispositif.
Dans le domaine de l’intelligence artificielle et de l’apprentissage par renforcement (Reinforcement Learning), les algorithmes modernes inspirés des travaux séquentiels ont intégré des mécanismes d’éligibilité et de mémoire de trace (eligibility traces, algorithmes de type $TD(lambda)$ et réseaux récurrents à mémoire LSTM) pour résoudre le problème de l’assignation temporelle du crédit temporel. Ces agents computationnels n’évaluent pas les récompenses isolément, mais apprennent à associer des politiques d’action précises aux états mnésiques rémanents de leurs échecs algorithmiques antérieurs immédiats.
Enfin, en psychologie humaine appliquée à la résilience et à la performance, la théorie séquentielle livre les clés fondamentales de la tolérance à l’échec et de la persévérance face à l’adversité. Elle démontre que la véritable détermination — ce trait de caractère valorisé sous le terme d’acharnement constructif — ne s’éduque pas dans l’illusion d’un succès continu et ininterrompu, mais s’enracine dans l’expérience méthodique et progressive de transitions ordonnées où l’effort a été délibérément associé à la reconquête constructive sur le manque.
Références
- Amsel, A. (1958). The role of frustrative nonreward in noncontinuous reward situations. Psychological Bulletin, 55(2), 102–119. https://psycnet.apa.org/record/1958-05244-001
- Amsel, A. (1962). Frustrative nonreward in partial reinforcement and discrimination learning: Some recent history and a theoretical extension. Psychological Review, 69(4), 306–328. https://psycnet.apa.org/record/1963-00918-001
- Amsel, A. (1992). Frustration theory: An analysis of dispositional learning and emotional malleability. Cambridge University Press.
- Capaldi, E. J. (1966). Partial reinforcement: A hypothesis of sequential effects. Psychological Review, 73(5), 459–477. https://psycnet.apa.org/record/1966-12791-001
- Capaldi, E. J. (1967). A sequential hypothesis of instrumental learning. In K. W. Spence & J. T. Spence (Eds.), The Psychology of Learning and Motivation (Vol. 1, pp. 67–156). Academic Press. https://psycnet.apa.org/record/1967-07409-001
- Capaldi, E. J. (1971). Memory and learning: A sequential viewpoint. In W. K. Honig & P. H. R. James (Eds.), Animal Memory (pp. 111–154). Academic Press.
- Capaldi, E. J. (1994). The sequential view: From animal memory to human counting. Psychonomic Bulletin & Review, 1(2), 156–181.
- Crespi, L. P. (1942). Quantitative variation of incentive and performance in the white rat. The American Journal of Psychology, 55(4), 467–517. https://psycnet.apa.org/record/1943-01053-001
- Eichenbaum, H. (2014). Time cells in the hippocampus: A new dimension for mapping memories. Nature Reviews Neuroscience, 15(11), 732–744. https://www.nature.com/articles/nrn3827
- Honig, W. K. (1978). Studies of working memory in the pigeon. In S. H. Hulse, H. Fowler, & W. K. Honig (Eds.), Cognitive Processes in Animal Behavior (pp. 211–248). Lawrence Erlbaum Associates. https://psycnet.apa.org/record/1978-20888-001
- Hull, C. L. (1943). Principles of behavior: An introduction to behavior theory. Appleton-Century-Crofts. https://psycnet.apa.org/record/1943-03875-000
- Rescorla, R. A., & Wagner, A. R. (1972). A theory of Pavlovian conditioning: Variations in the effectiveness of reinforcement and nonreinforcement. In A. H. Black & W. F. Prokasy (Eds.), Classical Conditioning II: Current Research and Theory (pp. 64–99). Appleton-Century-Crofts.
- Skinner, B. F. (1938). The behavior of organisms: An experimental analysis. Appleton-Century. https://psycnet.apa.org/record/1938-02844-000
- Spence, K. W. (1956). Behavior theory and conditioning. Yale University Press.
- Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction (2nd ed.). MIT Press. https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf