L’histoire de la psychologie scientifique et des sciences du comportement a été profondément marquée par la parution, en 1957, d’un volume monumental de plus de sept cents pages intitulé Schedules of Reinforcement, coécrit par Burrhus Frederic Skinner et Charles B. Ferster. Fruit de plus de cinq années d’expérimentations ininterrompues au sein des laboratoires sous-terrains de l’Université Harvard, cet ouvrage a transformé la compréhension des dynamiques comportementales chez les organismes vivants. En rompant définitivement avec les modèles explicatifs spéculatifs, mentalistes ou purement neurophysiologiques de leur époque, Skinner et Ferster ont mis au jour une cinétique d’une précision mathématique insoupçonnée : la dépendance structurelle du débit comportemental envers la distribution temporelle et numérique des renforcements.
Avant ces travaux empiriques colossaux, l’analyse expérimentale du comportement appréhendait généralement l’apprentissage comme l’établissement binaire ou linéaire d’une liaison associative entre un stimulus et une réponse, selon les paradigmes hérités d’Ivan Pavlov et d’Edward Thorndike. Or, Skinner et Ferster ont démontré que la clé fondamentale de la régulation de l’action ne réside pas seulement dans la nature du stimulus ou dans la contiguïté immédiate d’une conséquence, mais bien dans le programme de renforcement (schedule of reinforcement), c’est-à-dire la règle formelle prescrivant les conditions d’occurrence, d’intervalle de temps ou de dénombrement requises pour qu’une réponse opérante soit suivie d’un événement renforçant.
Cette recherche s’est appuyée sur un dispositif technologique révolutionnaire conçu et perfectionné par Ferster : l’enregistreur cumulatif. Cet instrument électromécanique a permis d’inscrire l’analyse du comportement dans une dimension temporelle continue, révélant des états stationnaires, des phases transitoires, des accélérations et des ruptures d’une régularité stupéfiante à travers les espèces. Ce traité exhaustif explore la genèse théorique, la matérialité expérimentale, les caractéristiques cinétiques des programmes fondamentaux, ainsi que les résonances contemporaines d’une œuvre ayant refondé la psychologie comme science physique et fonctionnelle du comportement des organismes.
1. Contexte historique et émergence de la collaboration entre B.F. Skinner et Charles Ferster
1.1 La transition du béhaviorisme watsonien à l’analyse expérimentale du comportement
L’émergence des travaux de B.F. Skinner s’inscrit au sein d’une crise épistémologique majeure de la psychologie américaine de la première moitié du vingtième siècle. Si le béhaviorisme méthodologique initié par John B. Watson en 1913 avait réussi à exclure les concepts introspectifs au profit de l’étude exclusive des stimuli et des réponses observables, il demeurait tributaire d’un schéma mécaniste linéaire hérité de la réflexologie pavlovienne. Dans ce modèle répondant, le comportement est conçu comme une réaction élicitée de manière invariable par un événement antécédent discret. Dès la publication de son ouvrage fondamental The Behavior of Organisms en 1938, Skinner identifie les limites structurelles de ce paradigme : la majorité des conduites adaptatives spontanées d’un organisme ne sont pas provoquées par des stimuli environnementaux identifiables, mais sont émises par le sujet avant d’être sélectionnées par leurs conséquences environnementales.
Cette distinction séminale entre comportement répondant (conditionnement classique) et comportement opérant constitue une révision radicale de la loi de l’effet initialement formulée par Edward Thorndike. Là où Thorndike postulait un état de satisfaction subjective interne renforçant le lien neuronal entre la situation et l’acte, Skinner débarrasse la loi de toute référence hédoniste ou mentaliste. Le renforcement devient une opération purement fonctionnelle : un stimulus est qualifié de renforçateur si et seulement si sa présentation contingente à une réponse a pour effet d’accroître ou de maintenir la fréquence d’occurrence future de cette classe de réponses. Cette reformulation impose une exigence méthodologique absolue : mesurer la variable dépendante fondamentale de l’organisme, à savoir son taux de réponse (ou débit d’émission), sans recourir à des construits hypothétiques intermédiaires tels que l’intention, le désir, la volonté ou la pulsion.
L’intégration de ces principes au sein du béhaviorisme radical postule que l’organisme est un système biologique unifié dont l’ensemble des activités, y compris les événements privés (pensées, sensations intéroceptives), relève des mêmes lois physiques que les comportements moteurs publics. L’analyse expérimentale du comportement (EAB) s’affranchit ainsi des réductionnismes physiologiques prématurés de son époque, en affirmant que l’explication causale du comportement réside dans l’histoire des interactions physiques entre l’organisme individuel et son environnement passé et présent.
1.2 La rencontre et la dynamique de recherche entre Skinner et Charles Ferster
Au début des années 1950, après avoir enseigné à l’Université de l’Indiana et réintégré le département de psychologie de l’Université Harvard, B.F. Skinner se heurte à un défi pratique d’envergure. S’il a conceptualisé avec brio les fondements de la contingence opérante, ses données empiriques reposent encore sur des observations fragmentaires, souvent limitées à des rongeurs et à des périodes d’essais discontinues. C’est dans ce contexte que Charles B. Ferster, jeune chercheur doté d’une rigueur méthodologique exceptionnelle et d’un génie mécanique remarquable, rejoint le laboratoire de Harvard. Leur rencontre marque le point de départ d’une symbiose intellectuelle et expérimentale sans équivalent dans l’histoire des sciences comportementales.
La dynamique de recherche entre les deux hommes repose sur une complémentarité absolue. Skinner fournit l’armature philosophique, l’audace conceptuelle et une intuition aiguë des lois générales du comportement. De son côté, Ferster apporte une maîtrise technique méticuleuse de l’électromécanique, une discipline d’enregistrement sans faille et une capacité hors norme à concevoir des circuits automatisés complexes capables de fonctionner sans discontinuer pendant des dizaines d’heures. Ferster systématise les procédures, élimine les sources de variabilité expérimentale et met en place des protocoles d’une sévérité inédite.
Ensemble, ils s’engagent dans un programme d’expérimentation massive qui durera plus de cinq ans. Loin des échantillons réduits de la psychologie traditionnelle de laboratoire, leur programme accumule des millions d’émissions de réponses individuelles enregistrées seconde par seconde chez des organismes soumis à une diversité vertigineuse d’arrangements environnementaux. L’ambition déclarée n’est rien de moins que l’établissement d’une table périodique des contingences environnementales, cartographiant de manière exhaustive comment toute variation paramétrique du temps et du nombre de réponses façonne la morphologie temporelle de l’action.
1.3 Le contexte scientifique de l’après-guerre et l’essor de la cybernétique
Le travail de Skinner et Ferster prend racine dans le climat intellectuel effervescent des années qui ont suivi la Seconde Guerre mondiale. Cette période est marquée par l’émergence conjointe de la cybernétique initiée par Norbert Wiener, de la théorie mathématique de la communication de Claude Shannon et du développement des premiers systèmes automatisés d’asservissement. La notion de boucle de rétroaction (feedback loop) imprègne profondément la pensée scientifique : un système est désormais perçu comme une entité dont les sorties (outputs) rétroagissent sur ses entrées (inputs) pour réguler dynamiquement son état ultérieur.
L’analyse opérante constitue précisément l’expression comportementale de ce modèle d’asservissement cybernétique. Contrairement au schéma stimulus-réponse passif et unidirectionnel du modèle watsonien, l’opérant skinnérien modifie matériellement son environnement physique, et la modification résultante rétroagit sur l’organisme pour déterminer la cinétique des émissions futures. Skinner et Ferster partagent avec les cybernéticiens l’idéal d’un déterminisme rigoureux, formalisable et prédictif, applicable sans rupture ontologique aux systèmes machiniques comme aux organismes vivants.
Toutefois, Skinner et Ferster maintiennent une position méthodologique ferme qui les distingue des théoriciens de l’information : ils rejettent catégoriquement la modélisation mathématique abstraite découplée de l’observation brute, tout autant que les extrapolations neurophysiologiques spéculatives. À une époque où le système nerveux central demeure largement inaccessible aux instruments de mesure in vivo, postuler des connexions synaptiques hypothétiques relève selon eux d’une fuite en avant explicative. La science du comportement doit être une science autonome de plein droit, dédiée à l’identification de relations fonctionnelles invariantes entre variables indépendantes environnementales et variables dépendantes comportementales.
2. Fondements conceptuels du conditionnement opérant et de la chambre de conditionnement
2.1 Définition formelle de l’opérant et de la contingence à trois termes
Le cadre théorique au cœur de l’entreprise de Ferster et Skinner repose sur une unité d’analyse fondamentale : la contingence à trois termes (three-term contingency). Cette structure relationnelle formalise l’interaction dynamique entre un organisme et son milieu à travers trois pôles indissociables :
- Le stimulus discriminatif ($S^D$) : un événement environnemental antécédent qui ne déclenche pas directement la réponse, mais signale l’accessibilité de la conséquence renforçante si la réponse appropriée est produite. Le $S^D$ acquiert sa fonction de contrôle par une histoire de renforcement différentiel en sa présence, par opposition au stimulus delta ($S^\Delta$) en présence duquel la réponse n’est pas renforcée.
- La réponse opérante ($R$) : non pas un mouvement physique singulier, mais une classe fonctionnelle de réponses regroupant toutes les variations topographiques du comportement qui produisent le même effet modificateur sur l’environnement.
- Le stimulus renforçateur ($S^R$) : l’événement environnemental conséquent qui survient de manière contingente à l’émission de la réponse et dont l’effet rétroactif immédiat est de moduler la probabilité future d’apparition de la classe de réponses considérée.
Il est impératif de souligner la distinction taxinomique rigoureuse établie par Skinner entre les différentes modalités d’action des conséquences. Le renforcement est dit positif ($S^{R+}$) lorsqu’il consiste en la présentation d’un stimulus augmentant le débit de réponse, et négatif ($S^{R-}$) lorsqu’il consiste en l’interruption ou l’évitement d’un stimulus aversif, produisant un accroissement similaire du taux de réponse. À l’inverse, la punition (positive par administration d’un stimulus aversif, ou négative par retrait d’un stimulus appétitif) induit une suppression ou une baisse de la fréquence d’émission comportementale.
2.2 L’architecture technique de la boîte de Skinner (Operant Conditioning Chamber)
Pour soumettre la contingence à trois termes à une investigation expérimentale irréprochable, Skinner a conçu l’operant conditioning chamber, vulgarisée sous l’appellation de « boîte de Skinner ». L’enceinte expérimentale n’est pas un simple réceptacle d’observation : c’est un système de haute précision d’isolation sensorielle et de contrôle micro-environnemental. Construite en matériaux denses, dotée d’une double paroi pour garantir une isolation acoustique parfaite contre les bruits extérieurs du laboratoire, elle est ventilée par des turbines d’extraction régulées générant un léger bruit blanc continu masquant toute interférence sonore parasite. La température et l’éclairage y sont rigoureusement standardisés.
À l’intérieur de la chambre, l’interface comportementale est d’une grande sobriété géométrique afin d’éliminer toute dispersion motrice. Pour les rongeurs, l’appareil comporte un levier métallique rétractable fixé à une paroi, relié à un micro-rupteur calibré nécessitant une force mécanique spécifique pour fermer un circuit électrique. Pour les pigeons, le manipulateur standardisé est une clé de frappe circulaire (response key) en plastique translucide, montée sur ressort et illuminée par l’arrière au moyen de projecteurs miniaturisés capables d’afficher des couleurs ou des motifs géométriques distincts.
La délivrance du stimulus renforçateur est entièrement mécanisée. Elle repose sur des distributeurs d’aliments de haute précision, capables de faire monter dans une ouverture circulaire une mangeoire garnie de graines pendant un intervalle chronométré au dixième de seconde (typiquement 3 à 4 secondes), tout en coupant l’éclairage général et en illuminant spécifiquement l’auget de nourriture. L’ensemble des opérations logiques d’enregistrement, de chronométrie, de comptage des réponses et d’activation des moteurs est assuré par une matrice d’armoires électromécaniques composées de relais téléphoniques, de compteurs à impulsions et de commutateurs rotatifs de type stepping relays.
2.3 Le choix méthodologique du pigeon (Columba livia) comme modèle expérimental
Bien que les premiers travaux de Skinner aient été menés sur des rats albinos, la quasi-totalité des expériences fondatrices répertoriées dans Schedules of Reinforcement utilise le pigeon domestique (Columba livia). Cette sélection n’est nullement accidentelle ; elle repose sur des déterminants anatomiques, éthologiques et méthodologiques rigoureux mis en avant par Skinner et Ferster.
En premier lieu, le système visuel du pigeon présente une acuité spatiale, une discrimination chromatique et une sensibilité aux patrons géométriques incomparablement supérieures à celles du rongeur nocturne. Cela permet une manipulation extrêmement fine des stimuli discriminatifs ($S^D$) affichés sur la clé de frappe. En deuxième lieu, la réponse de picotement (pecking response) constitue un acte moteur discret, stéréotypé, rapide (quelques millisecondes) et d’une topographie remarquablement constante. Cette brièveté permet l’émission de débits de réponses spectaculaires — pouvant dépasser dix frappes par seconde — sans épuisement biomécanique prématuré.
En troisième lieu, le pigeon fait preuve d’une exceptionnelle longévité en laboratoire (quinze à vingt ans) et d’une résilience physiologique remarquable face au confinement expérimental quotidien. Les oiseaux sont maintenus à un poids de privation standardisé, calculé typiquement à 80 % de leur poids corporel ad libitum. Cette privation alimentaire contrôlée stabilise l’opération de motivation (motivating operation) au fil des mois, transformant les granules alimentaires en un renforçateur primaire d’une efficacité constante. Enfin, l’usage d’une espèce aviaire évite les dérives anthropomorphiques des observateurs humains : le comportement du pigeon sous contrôle de contingences complexes force l’expérimentateur à chercher les causes de l’action dans les arrangements spatio-temporels objectifs plutôt que dans des états psychologiques subjectifs projetés.
3. Dispositif instrumenté et révolution de l’enregistreur cumulatif de Ferster
3.1 Mécanisme et fonctionnement physique de l’enregistreur cumulatif
L’avancée majeure qui a rendu possible l’élaboration de la science des programmes de renforcement est indissociable de l’invention et du perfectionnement par Charles Ferster de l’enregistreur cumulatif (cumulative recorder). Cet instrument électromécanique, fabriqué par la firme Ralph Gerbrands Co. selon les spécifications précises du laboratoire de Harvard, a constitué l’outil d’inscription graphique par excellence de l’analyse expérimentale du comportement.
Le principe cinématique de l’enregistreur repose sur deux axes orthogonaux fonctionnant en synergie continue :
- L’axe du temps (abscisse) : un rouleau de papier millimétré est entraîné horizontalement à une vitesse rigoureusement uniforme par un moteur électrique synchrone de haute précision. La vitesse de défilement est modulable par engrenages (par exemple, 30 centimètres par heure).
- L’axe des réponses (ordonnée) : une plume encrée repose sur la surface du papier. Chaque fermeture du contact électrique de la clé de frappe par l’animal envoie une impulsion à un solénoïde qui actionne une roue à cliquet. Ce mécanisme fait progresser la plume d’un incrément vertical fixe (une fraction infinitésimale de millimètre) vers le haut du rouleau à chaque réponse émise.
Lorsque la plume atteint la limite supérieure de la course du papier (souvent calibrée pour 500 ou 1000 réponses cumulées), un relais déclenche un débrayage instantané : la plume redescend par gravité ou par ressort jusqu’au bord inférieur (mécanisme de reset) en moins d’un dixième de seconde, avant de recommencer son ascension incrémentale. En outre, le stylet est pourvu d’un système de déflexion latérale ou diagonale vers le bas activé par l’ouverture de la mangeoire, ce qui inscrit un trait oblique caractéristique (pip ou marqueur d’événement) indiquant la délivrance précise du stimulus renforçateur.
3.2 Lecture et interprétation mathématique des courbes cumulatives
La courbe cumulative issue de ce mécanisme offre une lisibilité cinétique directe de l’activité de l’organisme. Mathématiquement, la courbe trace l’intégrale temporelle du comportement :
$$C(t) = \int_{0}^{t} R(u) , du$$
où $R(u)$ représente le débit de réponse instantané. Par conséquent, la pente locale de la tangente en tout point de la courbe ($\frac{dC}{dt}$) est rigoureusement égale au taux de réponse instantané de l’organisme.
Une pente verticale théorique représenterait un débit infini, tandis qu’une ligne parfaitement horizontale traduit un arrêt total du comportement ($R(t) = 0$), désigné sous le terme de pause. Une pente ascendante uniforme reflète un débit stable et invariant. Une courbure concave vers le haut signale une accélération progressive du comportement au fil du temps, tandis qu’une courbure convexe vers le bas dénote une décélération ou un épuisement comportemental. L’expérimentateur n’a besoin d’aucun calcul intermédiaire pour appréhender l’effet d’une manipulation de variable : la morphologie géométrique de la trace graphique donne à voir, en temps réel et de façon synoptique, l’état dynamique du système opérant.
3.3 La rupture épistémologique induite par la mesure en temps réel
L’introduction de l’enregistreur cumulatif a provoqué une rupture fondamentale avec la méthodologie statistique prédominante dans les sciences sociales et biomédicales. Jusqu’alors, la psychologie dépendait d’échantillonnages discrets, de mesures discrètes par essais successifs (par exemple, le temps mis pour sortir d’un labyrinthe) et du calcul de moyennes arithmétiques inter-sujets soumises aux tests d’inférence statistique développés par Ronald Fisher.
Skinner et Ferster ont récusé l’usage de la statistique inférentielle pour appréhender les lois fondamentales du comportement. Selon eux, faire la moyenne des courbes d’apprentissage de dix organismes distincts aboutit à un artefact mathématique ne décrivant la cinétique d’aucun organisme réel. Le comportement est un processus continu, dynamique et individuel. L’analyse opérante promeut donc le dispositif sur sujet unique (single-subject design), où chaque animal constitue son propre contrôle expérimental.
L’observation continue en temps réel permet de révéler des phénomènes transitoires fins, des micro-pauses et des états d’équilibre stationnaire qui sont irrémédiablement masqués ou lissés par les moyennes de groupe. La validité scientifique ne repose pas sur la taille de l’échantillon d’animaux ($N$), mais sur l’extrême rigueur du contrôle environnemental qui garantit la reproductibilité parfaite des patterns comportementaux intra-sujet et inter-espèces. L’archive graphique accumulée par Ferster — constituée de milliers de mètres de tracés cumulatifs — est devenue la preuve empirique matérielle de lois comportementales universelles comparables aux lois de la mécanique classique.
4. Le programme à proportion fixe (Fixed Ratio – FR) : Cinétique et dynamique du débit
4.1 Définition structurelle et paramètres d’application
Le programme à proportion fixe, désigné sous l’acronyme FR (Fixed Ratio), formalise une contingence numérique rigide : l’organisme doit émettre un nombre entier invariant, noté $n$, de réponses opérantes pour déclencher la présentation d’un unique stimulus renforçateur. Dans la notation standardisée introduite par Ferster et Skinner, un programme où chaque réponse produit un renforcement est désigné comme un FR 1 (historiquement qualifié de renforcement continu ou CRF pour Continuous Reinforcement). Les programmes FR intermittents sont notés selon leur exigence quantitative : FR 20, FR 50, FR 120, etc.
L’accès à des ratios élevés ne peut s’effectuer de manière abrupte sans provoquer une dégradation immédiate du comportement. Il exige une procédure d’étirement progressif du ratio (stretching the ratio) : l’animal est d’abord stabilisé sous un ratio faible (par exemple FR 5), puis l’exigence numérique est graduellement augmentée (FR 10, FR 25, FR 50, FR 100). Ce protocole permet d’observer l’ajustement adaptatif de l’organisme à des densités de renforcement décroissantes par unité de travail moteur.
Sur le plan fonctionnel, le programme FR possède une propriété déterminante : il est totalement indépendant du temps chronologique. Le renforcement dépend exclusivement du travail mécanique fourni. Par conséquent, plus l’organisme émet ses réponses à une cadence élevée, plus vite il accède à la conséquence appétitive. Le programme FR exerce donc une pression sélective directe en faveur de la maximisation du débit de réponse.
4.2 La topographie comportementale : Le profil « Arrêt-Départ » (Pause-and-Run)
L’analyse des enregistrements cumulatifs sous programme à proportion fixe révèle une cinétique universelle et hautement caractéristique, universellement décrite sous l’expression anglo-saxonne de patron pause-and-run (arrêt-départ). Loin de travailler à un rythme modéré et constant, l’organisme alterne rigoureusement entre deux états comportementaux mutuellement exclusifs :
- La pause post-renforcement (Post-Reinforcement Pause – PRP) : immédiatement après la consommation de la nourriture, le tracé cumulatif affiche une ligne parfaitement horizontale. L’animal ne produit aucune réponse opérante. La durée de cette pause n’est pas aléatoire : elle est une fonction croissante directe de la magnitude du ratio exigé ($n$). Un animal sous FR 20 marquera une pause de quelques secondes, tandis que sous FR 150, la pause pourra s’étendre sur plusieurs minutes.
- La course terminale (The Run) : dès que l’organisme interrompt sa pause et émet la première réponse du cycle suivant, on assiste à une transition quasi instantanée vers un débit de réponse extrêmement élevé, constant et ininterrompu, jusqu’à l’obtention du renforçateur suivant.
Ce profil démontre l’absence d’états intermédiaires : sous ratio fixe, le sujet travaille à son régime physiologique maximal ou s’arrête totalement. Des analyses théoriques ultérieures ont suggéré que la pause post-renforcement est en réalité une pause pré-ratio : sa durée reflète la distance temporelle et mécanique séparant l’organisme du prochain renforcement, le début du ratio fonctionnant comme un stimulus aversif conditionné en raison de la charge de travail imminente.
4.3 Le phénomène de rupture de ratio (Ratio Strain)
Lorsque la progression de l’exigence numérique est trop abrupte, ou que la valeur absolue de $n$ dépasse les limites adaptatives de l’organisme compte tenu de son niveau de privation alimentaire, on observe l’effondrement de la cinétique opérante, un état pathologique du comportement nommé rupture de ratio (ratio strain).
La rupture de ratio ne se manifeste pas par une décélération progressive et harmonieuse de la cadence de frappe, mais par une désorganisation topographique sévère. Le profil « arrêt-départ » vole en éclats : des pauses aberrantes, longues et erratiques s’immiscent au milieu même de la séquence d’exécution du ratio (pauses intra-ratio). L’organisme commence à picorer, s’arrête brutalement après 30 frappes sur un FR 120, s’éloigne de la clé, manifeste des conduites d’évitement ou des comportements agressifs induits par le calendrier d’extinction temporaire, puis reprend sa course de façon saccadée.
Dans les cas extrêmes, le comportement s’éteint totalement et l’animal ne parvient plus à clore son cycle de renforcement, mourant virtuellement de faim devant une mangeoire fonctionnelle. Ferster et Skinner ont démontré que pour réhabiliter un organisme en rupture de ratio, l’expérimentateur doit impérativement régresser vers des valeurs de ratio substantiellement plus basses, restabiliser la cinétique en restaurant la densité de renforcement, avant de reprendre une progression beaucoup plus fine de l’étirement numérique.
5. Le programme à proportion variable (Variable Ratio – VR) : Persistance et haut débit
5.1 Structure probabiliste et variabilité du renforcement
Le programme à proportion variable (VR, pour Variable Ratio) introduit une rupture fondamentale dans la prévisibilité séquentielle des contingences. Sous ce régime, l’organisme est renforcé après avoir émis un nombre de réponses qui varie de manière stochastique d’un renforcement à l’autre, autour d’une valeur moyenne prédéterminée. Par exemple, un programme VR 50 délivrera un renforcement en moyenne toutes les 50 réponses, mais l’intervalle numérique réel entre deux présentations de nourriture pourra successivement être de 2, 85, 12, 110, 34 et 57 réponses.
Pour construire ces programmes, Skinner et Ferster ont mis au point des matrices électromécaniques utilisant des rubans de papier perforé ou des roues de sélection aléatoire garantissant que la séquence des ratios suive des lois de distribution rigoureuses (progressions arithmétiques ou séries géométriques). Une règle méthodologique capitale est respectée : chaque essai est statistiquement indépendant du précédent, de sorte qu’il est impossible pour l’organisme d’utiliser le temps écoulé ou l’effort moteur récemment fourni comme stimulus discriminatif annonçant la proximité du renforçateur suivant.
La propriété cardinale du programme VR réside dans le fait que la probabilité d’obtenir un renforcement à la frappe suivante demeure strictement positive et constante, y compris immédiatement après la délivrance d’un renforçateur. La contingence élimine ainsi la certitude du « long chemin à parcourir » inhérente aux ratios fixes élevés.
5.2 Caractéristiques de la réponse cumulative sous VR
Le résultat graphique d’un programme à proportion variable sur l’enregistreur cumulatif est spectaculaire : la courbe prend l’aspect d’une ligne droite ascendante, remarquablement uniforme, dont l’inclinaison est vertigineuse. Le débit d’émission de réponses atteint des niveaux exceptionnels, se maintenant fréquemment entre 3 et 7 frappes par seconde pendant des heures continues.
La caractéristique la plus saillante du programme VR est la disparition quasi totale de la pause post-renforcement. Contrairement au profil « arrêt-départ » du FR, l’animal sous VR reprend son picotement instantanément après avoir avalé le renforçateur alimentaire. Étant donné que le prochain renforcement peut survenir après seulement deux ou trois frappes (par le jeu de la variabilité aléatoire), tout arrêt du comportement retarde l’obtention potentielle d’une nourriture imminente.
Ce programme démontre une résistance phénoménale à la fatigue biomécanique et à la satiété relative. Même lorsque le poids corporel de l’organisme remonte légèrement au cours d’une longue session expérimentale, la pente du VR demeure d’une linéarité inflexible. De surcroît, ce patron comportemental se caractérise par une homogénéité phylogénétique absolue : que l’on place dans une boîte de Skinner un pigeon, un rat, un singe rhésus ou un être humain, le programme à proportion variable engendre avec la même inexorabilité cette cinétique d’action hyper-rapide, régulière et infatigable.
5.3 L’explication comportementale de l’illusion du joueur et des addictions comportementales
L’analyse expérimentale du programme VR fournit la clé de voûte de la compréhension fonctionnelle des jeux de hasard et d’argent, ainsi que de multiples formes contemporaines d’addictions sans substance. B.F. Skinner a été le premier à démontrer que l’attrait obsessionnel et destructeur des machines à sous de Las Vegas ne relève nullement d’une psychopathologie interne, d’un masochisme inconscient ou d’une défaillance morale, mais découle directement de l’application scrupuleuse d’un programme à proportion variable.
Dans un appareil de jeu de hasard mécanique ou électronique, le joueur insère une pièce et actionne un mécanisme : une réponse motrice est enregistrée. La machine est programmée selon un ratio variable où une moyenne prédéfinie de mises déclenche le versement du gain (le renforçateur pécuniaire). L’imprévisibilité de l’occurrence du gain, combinée au fait qu’une mise gagnante majeure peut survenir à tout instant — y compris au coup suivant une mise victorieuse —, éradique toute pause post-renforcement et verrouille le sujet dans une séquence d’émissions motrices continues.
De plus, Skinner et Ferster ont mis en évidence l’effet dévastateur du renforcement précoce : si un organisme bénéficie fortuitement d’un renforcement massif lors de ses premières activations de la contingence (le gain initial du joueur débutant), le comportement de jeu s’ancre dans le répertoire opérant avec une force cinétique démesurée. Dès lors, le joueur est rendu incapable de discriminer le passage d’une phase de renforcement intermittent à une phase d’extinction totale, attribuant l’absence prolongée de gain à la variabilité inhérente du programme plutôt qu’à l’inutilité de poursuivre l’effort.
6. Le programme à intervalle fixe (Fixed Interval – FI) : Temporalité et festonnement
6.1 Règles opératoires et contraintes temporelles strictes
Le programme à intervalle fixe, universellement abrégé en FI (Fixed Interval), marque l’introduction explicite de la dimension temporelle dans le contrôle de l’action opérante. Sous cette contingence, la délivrance du stimulus renforçateur est conditionnée par l’écoulement d’une durée chronologique fixe et immuable, notée $t$. Cependant, contrairement à une méprise fréquente, le programme FI n’est pas un système de distribution passive de nourriture : le renforçateur n’est pas administré automatiquement à la fin du délai. La règle stipule que la première réponse opérante émise après l’expiration de l’intervalle temporel $t$ est immédiatement renforcée.
Toutes les réponses produites par l’organisme avant l’écoulement complet de l’intervalle $t$ sont intégralement sans effet direct sur la mangeoire. Elles ne rapprochent pas l’arrivée de la nourriture, mais ne sont assorties d’aucune sanction ni d’aucun réarmement du chronomètre expérimental. Les intervalles couramment étudiés par Ferster et Skinner s’étendent de durées courtes (FI 30 secondes, FI 1 minute) à des durées considérables (FI 10 minutes, voire FI 45 minutes).
Dans le protocole standard de laboratoire, l’environnement intérieur de la chambre de conditionnement est maintenu strictement constant : aucune horloge externe, aucun changement de tonalité lumineuse ne vient renseigner l’animal sur le temps écoulé. L’organisme doit donc synchroniser son comportement exclusivement à partir de repères temporels intéroceptifs et des traces proprioceptives consécutives à la consommation du renforçateur précédent.
6.2 Le profil cumulatif en feston (FI Scallop)
L’application d’un programme FI produit sur l’enregistreur cumulatif l’une des figures géométriques les plus célèbres de la psychologie scientifique : le feston d’intervalle fixe (FI scallop). La courbe cumulative adopte une morphologie en arcs récurrents, une succession de festons concaves vers le haut d’une régularité métronomique :
- La pause post-renforcement : immédiatement après la consommation de l’aliment, le pigeon cesse totalement de picorer. Cette phase d’inactivité motrice correspond à la période durant laquelle la probabilité temporelle de renforcement est strictement égale à zéro.
- L’accélération progressive (The Scallop) : au fur et à mesure que le temps s’écoule et se rapproche de la fin de l’intervalle $t$, l’animal recommence à émettre quelques réponses hésitantes et espacées. Puis, le débit s’accélère selon une fonction exponentielle continue.
- Le débit terminal : dans les secondes précédant immédiatement l’expiration de la durée $t$, la pente de la courbe devient quasi verticale. L’organisme produit un débit maximal afin de garantir que le renforçateur sera collecté dès la première milliseconde suivant la fin de l’intervalle imparti.
Le festonnement est la démonstration matérielle éclatante de l’existence d’une estimation temporelle chez l’animal non verbal. La forme de la courbe fournit un indice direct de la psychophysique du temps : la courbure révèle comment l’organisme discrimine le passage du temps depuis le dernier événement renforçant, l’accélération du débit reflétant l’augmentation graduelle de la probabilité conditionnelle que le renforçateur soit devenu disponible.
6.3 Facteurs modulant la morphologie du feston d’intervalle
La netteté et la courbure du feston d’intervalle fixe sont extrêmement sensibles à une série de variables historiques et écologiques minutieusement documentées par Ferster et Skinner. En premier lieu, l’historique expérimental du sujet joue un rôle déterminant. Un animal ayant été préalablement exposé à de longs entraînements sous ratio fixe (FR) aura tendance à substituer au festonnement harmonieux un patron de transition abrupte dit « à deux états » (break-and-run) : une longue pause suivie d’une explosion soudaine du débit terminal maximal sans accélération intermédiaire.
En deuxième lieu, le niveau de privation alimentaire module la dynamique du feston. Une privation sévère (maintien à 75 % du poids ad libitum) a pour effet de raccourcir significativement la pause initiale et d’augmenter le débit global moyen, aplatissant légèrement la concavité du feston. Inversement, une privation modérée accentue l’inactivité post-renforcement et retarde l’amorce de l’accélération terminale.
En troisième lieu, des recherches approfondies ont démontré que les organismes recourent fréquemment à des comportements collatéraux ou superstitieux durant la phase de latence du FI. Durant l’intervalle où le picotement est inopérant, le pigeon effectue des rotations posturales stéréotypées, arpente la chambre ou toilette ses plumes. Ces chaînes motrices spontanées agissent comme des horloges comportementales proprioceptives : la fin de la séquence corporelle sert de stimulus discriminatif indiquant qu’il est désormais temps de focaliser les frappes sur la clé luminescente.
7. Le programme à intervalle variable (Variable Interval – VI) : Stabilité et régularité
7.1 Formalisation mathématique des intervalles aléatoires
Le programme à intervalle variable, désigné sous le sigle VI (Variable Interval), abolit la régularité chronométrique du FI. Sous ce programme, le premier opérant émis par l’organisme est renforcé après l’écoulement d’une durée temporelle variable qui oscille autour d’une moyenne arithmétique spécifiée, notée VI $t$. Ainsi, sous un programme VI 3 minutes, le délai d’armement de la mangeoire pourra être successivement de 10 secondes, 5 minutes, 2 minutes, 45 secondes, et 4 minutes.
L’ingénierie méthodologique requise pour générer un programme VI performant est complexe. Si les intervalles étaient tirés au sort selon une distribution uniforme classique, l’organisme finirait par détecter des régularités statistiques : plus le temps s’écoulerait sans renforcement, plus la probabilité que le délai expire augmenterait. Pour parer à ce biais, Skinner et Ferster, rejoints plus tard par des spécialistes de psychométrie tels que Fleshler et Hoffman (1962), ont conçu des progressions basées sur des distributions logarithmiques et exponentielles.
Grâce à ces arrangements probabilistes sophistiqués, la probabilité instantanée de renforcement (taux de hasard ou hazard rate) est rendue rigoureusement constante à chaque seconde qui passe :
$$P(\text{renforcement dans le prochain intervalle } dt mid \text{temps écoulé } t) = \lambda$$
L’organisme se trouve placé dans un univers temporel stationnaire : le fait qu’un renforcement vienne tout juste de survenir ou qu’aucun renforcement ne se soit produit depuis dix minutes ne fournit strictement aucune information prédictive quant au moment de la prochaine opportunité.
7.2 Cinétique comportementale sous programme VI
L’impact du programme à intervalle variable sur la cinétique cumulative est absolument unique dans l’arsenal des contingences opérantes. Sur le rouleau de papier de Ferster, la courbe cumulative issue d’un programme VI se déploie sous la forme d’une droite oblique d’une constance absolue et inaltérable.
Toute trace de festonnement ou de pause post-renforcement disparaît intégralement. L’animal ne travaille pas au rythme frénétique d’un ratio variable, mais adopte une cadence modérée, économique, régulière et remarquablement fluide (souvent entre 30 et 60 frappes par minute). Ce débit se maintient sans la moindre inflexion pendant des sessions expérimentales pouvant durer six, huit, voire douze heures d’affilée.
La dissociation entre le débit d’émission et le taux de gain est ici totale. L’organisme a appris de manière purement fonctionnelle que frapper la clé à une vitesse convulsive ne sert à rien, puisque la nourriture est assujettie à l’horloge interne de la machine ; mais il a tout autant appris que suspendre l’action retarde l’accès au renforçateur dès l’armement de la clé. Le comportement sous VI incarne ainsi la stabilité homéostatique par excellence : un flux continu d’interrogations environnementales à coût métabolique réduit.
7.3 L’utilisation du programme VI comme outil de référence expérimental (Baseline)
En raison de son exceptionnelle stabilité et de son immunité face aux fluctuations émotionnelles mineures ou à la fatigue motrice, le programme à intervalle variable s’est imposé comme la ligne de base standard (baseline) irremplaçable pour l’ensemble des investigations en pharmacologie comportementale, en toxicologie et en psychophysiologie.
Pour mesurer l’effet spécifique d’une molécule neurotrope (barbiturique, amphétamine, chlorpromazine) ou d’une lésion chirurgicale cérébrale, il est indispensable de disposer d’un comportement d’une régularité absolue sur lequel greffer la manipulation biologique. Si l’on injecte un neuroleptique à un sujet sous ratio fixe, il est impossible de distinguer si la perturbation observée résulte d’une altération de la force motrice, d’une rupture de ratio ou d’une modification de l’estimation temporelle. Sous VI, toute altération de la pente de la ligne droite — qu’il s’agisse d’une dépression du débit ou d’une désorganisation temporelle — constitue un bio-marqueur comportemental d’une sensibilité extraordinaire, quantifiable au millimètre près sur les enregistrements cumulatifs.
C’est également sur une ligne de base sous VI que William K. Estes et B.F. Skinner ont conçu en 1941 le paradigme séminal de la réponse émotionnelle conditionnée (CER ou Conditioned Emotional Response), souvent appelé procédure de suppression conditionnée. En projetant un son neutre durant l’exécution d’un programme VI stable, puis en terminant le son par un choc électrique inévitable sur le plancher de la boîte, les auteurs ont démontré que le son devient un stimulus prédictif aversif qui supprime temporairement le picotement régulier. Le degré d’aplatissement de la courbe cumulative sous VI fournit alors une quantification mathématique directe de l’anxiété conditionnée de l’organisme.
8. L’ouvrage séminal ‘Schedules of Reinforcement’ (1957) : Analyse et structure
8.1 L’ampleur encyclopédique de la publication
Publié en 1957 par Appleton-Century-Crofts, le volume Schedules of Reinforcement de Charles B. Ferster et B.F. Skinner constitue l’une des entreprises documentaires les plus démesurées de l’histoire des sciences expérimentales. L’ouvrage compte 741 pages en grand format, réparties en dix-sept chapitres denses, et présente un total vertigineux de 921 figures originales. Ces figures ne sont ni des diagrammes conceptuels ni des schémas d’artistes, mais les reproductions photographiques directes de fragments de tracés cumulatifs authentiques enregistrés au cours de centaines de milliers d’heures d’essais.
Le volume compile les données comportementales issues de dizaines de millions d’émissions de frappes de bec chez des centaines de pigeons entraînés sur des mois et des années entières. Ce qui frappe à la lecture de cet ouvrage est le renoncement volontaire et complet à tout appareil de statistique inférentielle : on ne trouve dans ces sept cents pages ni un seul test de Student, ni une analyse de variance (ANOVA), ni un coefficient de corrélation linéaire. La preuve scientifique y repose sur l’immédiateté visuelle et la réplicabilité absolue des trajectoires cinétiques :
« Les données parlent d’elles-mêmes à travers la pointe de la plume de l’enregistreur cumulatif. La reproductibilité d’un patron sous un programme spécifique est si rigoureuse que tout recours au lissage statistique ne ferait que dissimuler la réalité vivante des contingences. » (Ferster & Skinner, 1957).
L’ouvrage classe de façon exhaustive les programmes fondamentaux, puis s’aventure dans l’exploration systématique de toutes leurs combinaisons algébriques et temporelles possibles, dressant un atlas exhaustif de la dynamique opérante.
8.2 La rigueur descriptive et le refus des médiateurs cognitifs
L’ouvrage de 1957 se distingue par une austérité méthodologique absolue. Le langage déployé par Ferster et Skinner est exclusivement descriptif, opérationnel et fonctionnel. Les auteurs s’interdisent tout écart lexical susceptible de réintroduire subreptice-ment des concepts animistes ou des médiateurs cognitifs inobservables.
Ainsi, il est formellement banni d’écrire que l’organisme « attend » le renforçateur, qu’il « espère » une graine, qu’il « comprend » la règle du ratio, ou qu’il « se décourage » sous extinction. Les auteurs emploient une terminologie d’ingénieurs des systèmes physiques : variations d’inclinaison, déflexions locales, maintien d’états d’équilibre, régimes transitoires, pertes de contrôle de stimulus. Cette position épistémologique a profondément dérouté la communauté des psychologues généralistes de l’époque. Ces derniers, formés à la psychologie des facultés ou aux théories hypothético-déductives de Clark Hull axées sur la réduction de la pulsion (drive reduction), se sont trouvés confrontés à un traité technique austère ressemblant davantage à un manuel de dynamique des fluides ou d’électromécanique appliquée qu’à un traité classique de psychologie.
Cette intransigeance sémantique procédait d’une conviction théorique inébranlable : introduire un intermédiaire cognitif ne résout rien, mais crée l’illusion d’une explication par l’usage d’homoncules internes. Pour Skinner et Ferster, la cause du comportement sous intervalle fixe n’est pas « l’évaluation subjective du temps », mais l’interaction physique entre l’organisme biologique et les conditions environnementales chronométrées.
8.3 L’impact historique sur la fondation de l’EAB (Experimental Analysis of Behavior)
En dépit de l’hermétisme initial ressenti par une fraction de la communauté académique, la parution de Schedules of Reinforcement a agi comme un cataclysme fondateur. L’ampleur des données empiriques et la robustesse prédictive des patrons découverts ont démontré la validité et la maturité méthodologique de l’approche skinnérienne, accélérant l’autonomisation institutionnelle de l’Analyse Expérimentale du Comportement (Experimental Analysis of Behavior – EAB).
La sédimentation de cette nouvelle discipline scientifique s’est matérialisée par des créations institutionnelles décisives :
- En 1958, un an à peine après la parution de l’ouvrage, les chercheurs rattachés à cette mouvance fondent leur propre revue scientifique de référence : le Journal of the Experimental Analysis of Behavior (JEAB), afin d’accueillir les centaines de recherches basées sur l’usage de l’enregistreur cumulatif et la manipulation des programmes de renforcement.
- L’American Psychological Association (APA) consacre cette scission paradigmatique en créant la Division 25 (Division pour l’Analyse Expérimentale du Comportement), officialisant la reconnaissance du béhaviorisme radical comme branche autonome de la science psychologique.
- Charles Ferster, dont le génie méthodologique et technique avait été trop souvent éclipsé par la notoriété médiatique de Skinner, accède au rang de référence incontournable de la psychologie quantitative, s’imposant comme le maître d’œuvre expérimental de cette révolution cinétique.
9. Programmes complexes et contingences multiples : Au-delà des schémas élémentaires
9.1 Programmes alternés et combinés : Multiples (Mult) et Mixtes (Mix)
Ayant décortiqué les quatre programmes élémentaires (FR, VR, FI, VI), Ferster et Skinner ont dédié la seconde moitié de leur traité à l’analyse des combinaisons complexes de contingences. Parmi celles-ci figurent les programmes alternés, au premier rang desquels se placent les programmes multiples (notés Mult).
Dans un programme multiple, deux ou plusieurs programmes élémentaires se succèdent dans le temps au sein de la même session expérimentale, chacun étant explicitement associé à un stimulus discriminatif spécifique affiché sur la clé de frappe. Par exemple, sous un programme Mult FI 5 min FR 100, la clé s’illumine en rouge pendant que s’applique l’intervalle fixe de 5 minutes ; puis, dès l’obtention du renforçateur, la clé devient verte et active instantanément l’exigence du ratio fixe de 100 frappes. Les enregistrements cumulatifs démontrent que l’organisme bascule immédiatement, dès l’apparition de la couleur discriminative, d’un profil en feston vers une dynamique arrêt-départ sans aucune interférence cinétique résiduelle.
L’exploration des programmes multiples a conduit à la découverte fondamentale du phénomène de contraste comportemental (behavioral contrast). Si l’on réduit la densité de renforcement sur la composante associée à la lumière rouge (en passant par exemple d’un FI 5 min à une extinction totale), on observe non seulement une chute du débit sous la lumière rouge, mais également une élévation spectaculaire et transitoire du débit de réponse sous la lumière verte inchangée (contraste positif), révélant l’interdépendance dynamique des contingences environnementales.
À l’opposé, les programmes mixtes (notés Mix) imposent exactement la même alternance séquentielle de contingences, mais dans l’obscurité informative totale : aucun stimulus environnemental distinctif ne vient signaler le basculement d’un programme à l’autre. L’organisme doit alors sonder aveuglément les contingences. Sous un Mix FI 5 min FR 50, le sujet commence par émettre quelques frappes à l’amorce de l’intervalle : si le programme en cours s’avère être le FR, la nourriture survient rapidement ; si aucune nourriture n’apparaît après 50 réponses, le comportement ralentit brusquement pour s’ajuster à la temporalité du FI, illustrant la plasticité d’ajustement immédiat des répertoires comportementaux.
9.2 Programmes séquentiels : Chaînés (Chain) et Tandem (Tand)
Les programmes chaînés (Chain) et les programmes tandem (Tand) modélisent les séquences comportementales complexes et ordonnées de la vie réelle, où une action primaire ne produit pas directement un renforçateur inconditionné, mais crée les conditions nécessaires pour engager l’étape suivante d’un processus.
Dans un programme chaîné (par exemple Chain FI 2 min VR 30), l’animal commence sous une clé illuminée en bleu régie par un FI 2 minutes. La première réponse survenant après deux minutes ne fait pas descendre la mangeoire : elle provoque un changement chromatique immédiat, la clé devenant jaune tout en activant le programme terminal VR 30. C’est uniquement au terme de cette seconde composante que l’aliment est effectivement distribué. Ce protocole a permis à Skinner d’élucider le mécanisme fondamental du renforcement conditionné :
- Le stimulus intermédiaire (la clé jaune) remplit une double fonction simultanée : il agit comme un stimulus discriminatif ($S^D$) qui autorise et oriente les réponses sous la contingence VR, et il agit rétroactivement comme un renforçateur conditionné ($S^{R,\text{cond}}$) venant pérenniser et maintenir la séquence d’attente sous la clé bleue.
Le programme tandem applique une structure temporelle et numérique rigoureusement superposable au programme chaîné, mais fait disparaître tout signal environnemental intermédiaire : l’animal doit d’abord compléter un FI de 2 minutes, à la suite de quoi les réponses sont silencieusement orientées vers le VR 30 sans que rien dans la chambre n’indique la transition. L’enregistrement cumulatif démontre alors une détérioration marquée de l’ordonnancement de l’action : la latence de réponse s’allonge et le contrôle cinétique se dégrade, démontrant expérimentalement que la signalisation discriminative intermédiaire est le liant mécanique indispensable à l’édification de longues chaînes d’actions coordonnées.
9.3 Programmes concurrents (Conc) et amorce de la loi de correspondance
L’exploration expérimentale la plus féconde initiée par Skinner et Ferster culmine avec l’étude des programmes concurrents (notés Conc). Dans cette configuration, la boîte de conditionnement opérant est dotée de deux ou plusieurs clés de frappe distinctes présentées simultanément au sujet, chacune étant programmée sur un calendrier de renforcement indépendant (par exemple, Clé de gauche = VI 1 min ; Clé de droite = VI 3 min).
L’organisme n’est plus contraint d’agir ou d’attendre : il est placé devant une situation de choix quantitatif continu. Il peut répartir ses frappes à sa guise entre les deux sources d’approvisionnement. Afin d’éviter que l’animal ne picore alternativement et passivement d’une clé à l’autre sans subir les contraintes de programme, Ferster et Skinner ont instauré un dispositif d’asservissement chronométrique nommé délai de changement (Change-Over Delay – COD) : après avoir basculé de la clé gauche vers la clé droite, aucune réponse n’est renforcée durant les deux premières secondes, pénalisant ainsi la simple alternance mécanique.
Ces expériences historiques sur les programmes concurrents ont posé les fondations directes d’une découverte majeure de la psychologie contemporaine. En 1961, Richard Herrnstein, disciple et collaborateur direct de Skinner à Harvard, formulera mathématiquement la célèbre loi de correspondance (Matching Law) à partir de ces données :
$$\frac{R_1}{R_1 + R_2} = \frac{r_1}{r_1 + r_2}$$
Cette équation postule que la proportion relative de réponses émises sur une option donnée ($\frac{R_1}{R_1 + R_2}$) égale rigoureusement la proportion relative de renforcements obtenus sur cette même option ($\frac{r_1}{r_1 + r_2}$). Cette découverte a opéré le pont historique entre l’analyse opérante skinnérienne et les théories de l’économie comportementale, de la maximisation sous contrainte et du choix rationnel.
10. La dynamique différentielle de l’extinction selon les programmes de renforcement
10.1 Le paradoxe du renforcement intermittent (Partial Reinforcement Extinction Effect – PREE)
L’un des apports théoriques les plus majeurs documentés dans Schedules of Reinforcement concerne la dynamique différentielle de l’extinction. L’extinction opérante se définit formellement comme l’opération par laquelle une réponse préalablement renforcée est maintenue dans le dispositif sans que son émission ne soit plus jamais suivie de la présentation du renforçateur ($S^R$).
L’intuition commune et le bon sens mécaniste suggéreraient qu’un organisme ayant été le plus souvent récompensé (par exemple sous renforcement continu FR 1, où 100 % des actions sont gratifiées) manifesterait la plus grande robustesse face à l’épreuve du manque. Or, les courbes de Ferster et Skinner prouvent empiriquement le contraire absolu, établissant le paradoxe du renforcement intermittent (Partial Reinforcement Extinction Effect – PREE) :
- Après un conditionnement continu sous FR 1, l’extinction est fulgurante : après avoir produit quelques dizaines de frappes infructueuses, le comportement s’effondre de manière irréversible et la plume de l’enregistreur retombe dans une horizontalité définitive.
- À l’inverse, un animal conditionné sous un programme intermittent aléatoire (en particulier un Variable Ratio ou un Variable Interval) émettra des milliers, voire des dizaines de milliers de réponses avant que le débit n’atteigne le niveau d’inactivité, travaillant parfois pendant des dizaines d’heures consécutives en pure perte.
Pour expliquer cette résistance titanesque, Skinner et Ferster ont formulé la théorie de la discrimination : sous renforcement continu (FR 1), le passage à l’extinction induit une altération environnementale immédiate et massive, l’organisme discriminant dès la première frappe non récompensée une rupture des conditions régulières. En revanche, sous un programme intermittent sévère (par exemple VR 100), une longue séquence de non-renforcements constitue la norme écologique ordinaire de la contingence. L’organisme ne possède aucun indice environnemental immédiat lui permettant de distinguer si la mangeoire est définitivement désactivée ou si elle exige simplement un investissement moteur plus long.
10.2 L’éclat d’extinction (Extinction Burst) et la résurgence comportementale
L’observation minutieuse des premières minutes d’une procédure d’extinction révèle un phénomène cinétique universel : l’éclat d’extinction (extinction burst). L’arrêt du renforcement ne se traduit pas par une désescalade paisible et immédiate du comportement. Au contraire, on constate une surrection comportementale explosive :
Le taux d’émission de réponses commence par augmenter massivement et brutalement au-delà du niveau d’équilibre régulier. Un animal sous FI ou FR dont la mangeoire est déconnectée se met subitement à frapper la clé avec une frénésie redoublée, la vitesse et l’intensité mécanique des impacts atteignant des valeurs paroxystiques. Cette phase de flambée s’accompagne d’une profonde désorganisation topographique : l’animal mord la clé, donne des coups d’ailes, secoue la tête violemment et tente d’arracher les parois métalliques de l’enceinte.
En outre, l’extinction induit le phénomène de résurgence comportementale : lorsque l’opérant principal cesse d’être efficace, on voit réapparaître à la surface du répertoire moteur des comportements obsolètes, antérieurement appris lors de phases d’expérimentation passées ou de schémas moteurs archaïques de l’espèce. Ce mécanisme est d’une portée clinique capitale pour les thérapeutes comportementaux : lorsqu’une famille tente d’éteindre un comportement d’opposition ou une crise de colère chez un enfant en cessant d’y accorder de l’attention, une flambée d’extinction violente et l’apparition de conduites régressives surviennent inéluctablement dans les premiers stades de l’intervention, constituant un test décisif pour la persévérance des soignants.
10.3 La réintroduction du renforcement et la réacquisition accélérée
L’analyse cinétique de la fin de l’extinction met en relief l’asymétrie fondamentale existant entre l’acquisition inaugurale d’un comportement et sa réacquisition ultérieure. Même lorsqu’un pigeon est soumis à une extinction si prolongée que son taux de réponse est redevenu strictement nul pendant plusieurs jours consécutifs, le comportement n’a pas été « effacé » de la structure du système nerveux.
Si l’expérimentateur rétablit la contingence et délivre un unique renforçateur isolé à la suite d’une frappe accidentelle, on observe le phénomène de réacquisition quasi instantanée. En quelques secondes, la plume de l’enregistreur cumulatif se redresse pour retrouver la pente exacte et la cinétique caractéristiques du programme antérieur à l’extinction. Ce saut qualitatif fulgurant atteste que l’apprentissage opérant ne consiste pas en la création d’une liaison associative éphémère, mais en l’intégration d’un schéma d’action stabilisé au sein du répertoire de l’organisme.
Cette mémoire structurelle du comportement résiste de manière indélébile au passage du temps. Ferster et Skinner ont conservé des pigeons en cage de repos sans aucun accès à la chambre expérimentale pendant plus d’une décennie : réintroduits dans la boîte de Skinner après dix ans de silence sensoriel, les animaux présentaient dès la première confrontation aux stimuli discriminatifs une restauration presque parfaite de leurs patterns d’émission cinétique sous programmes complexes.
11. Lectures neurobiologiques contemporaines et débats théoriques
11.1 Corrélats dopaminergiques et circuits mésolimbiques de la récompense
Bien que Skinner et Ferster aient rigoureusement écarté les explications neurologiques spéculatives de leur temps, les neurosciences modernes sont venues apporter une éclatante validation biologique aux principes cinétiques formulés dans Schedules of Reinforcement. Les découvertes pionnières de Wolfram Schultz au tournant des années 2000 sur le système dopaminergique mésocorticolimbique ont mis en lumière le substrat physiologique direct des contingences opérantes.
Les neurones dopaminergiques localisés au sein de l’aire tegmentale ventrale (VTA) et se projetant vers le noyau accumbens (striatum ventral) ne codent pas simplement la sensation hédonique ou le plaisir gustatif de la nourriture, mais calculent en temps réel une variable computationnelle fondamentale : l’erreur de prédiction de la récompense (Reward Prediction Error – RPE) :
$$\text{RPE} = \text{Récompense obtenue} – \text{Récompense attendue}$$
Cette équation neurophysiologique permet d’éclairer l’abîme cinétique séparant les programmes fixes des programmes variables :
- Sous un programme à proportion fixe (FR) ou à intervalle fixe (FI), la survenue du renforçateur devient intégralement prédictible par l’organisme à mesure que le nombre d’actions ou le temps s’écoule. L’erreur de prédiction s’annule : la décharge phasique de dopamine s’estompe au moment de la récompense pour se décaler vers les stimuli associés au début du ratio ou de l’intervalle.
- Sous un programme à proportion variable (VR) ou à intervalle variable (VI), l’imprévisibilité stochastique maintient une erreur de prédiction de récompense perpétuellement positive lors de chaque obtention fortuite de nourriture. Il en résulte des bouffées phasiques massives et répétées de dopamine qui inondent le striatum, renforçant avec une efficacité maximale les synapses corticostriatales responsables du patron moteur et expliquant la persistance invulnérable du comportement de jeu d’argent.
11.2 Critiques cognitives et limitations intrinsèques du modèle skinnérien
En dépit de son élégance mathématique et de son efficacité prédictive chez l’animal non verbal, le paradigme des programmes de renforcement a fait l’objet d’assauts critiques majeurs lors de l’avènement de la révolution cognitive dans les années 1960 et 1970. Le réquisitoire le plus retentissant a été formulé par Noam Chomsky en 1959, dans sa critique célèbre du livre Verbal Behavior de Skinner.
Chomsky a dénoncé l’illusion d’universalité du vocabulaire skinnérien lorsqu’il est transposé du laboratoire fermé de Harvard au monde écologique réel. L’argument de la pauvreté du stimulus démontre notamment que l’acquisition du langage humain ne peut en aucun cas résulter d’un simple façonnage par contingences et programmes de renforcement séquentiels, mais nécessite des structures cognitives innées d’une haute complexité computationnelle (la grammaire universelle).
Parallèlement, les expérimentations classiques d’Edward Tolman sur l’apprentissage latent et les cartes cognitives avaient déjà attesté que des organismes (en l’occurrence des rats) sont capables d’acquérir une connaissance spatiale topologique précise d’un environnement sans avoir jamais reçu le moindre renforçateur matériel explicite. Enfin, les théoriciens de la psychologie cognitive humaine (tels que Daniel Kahneman et Amos Tversky) ont mis en évidence que les êtres humains face à des probabilités variables ne réagissent pas comme de purs intégrateurs de fréquences physiques, mais sont tributaires d’heuristiques de jugement, de biais d’ancrage et d’illusions d’attribution causale qui brisent la linéarité mécanique prédite par les équations de Skinner et Ferster.
11.3 Le comportement gouverné par des règles versus façonné par les contingences
Face à la résistance empirique des sujets humains adultes — qui, lorsqu’ils sont placés dans une chambre opérante sous programme FI ou VR, ne manifestent pas systématiquement les mêmes courbes d’enregistrement cumulatif que les pigeons ou les rats —, Skinner a lui-même formulé en 1966 une révision théorique fondamentale : la distinction entre comportement façonné par les contingences (contingency-shaped behavior) et comportement gouverné par des règles (rule-governed behavior).
L’animal non verbal est façonné au sens strict par le contact direct, physique et immédiat avec les micro-intervalles temporels et les contingences mécaniques de la machine. À l’inverse, l’être humain verbalise spontanément sa situation. Dès qu’un individu est installé devant un levier ou un bouton, il formule des hypothèses internes formulées linguistiquement sous forme de règles (« Je pense que la machine donne un point toutes les trente secondes », « Il faut appuyer le plus vite possible pour accumuler un bonus »).
Ces instructions verbales — qu’elles soient auto-générées ou fournies par un tiers — exercent un court-circuit instructional sur les contingences matérielles. Un sujet humain informé qu’un programme est un FI 1 minute pourra marquer une attente parfaite de cinquante-neuf secondes et appuyer une seule fois au terme du délai, ne produisant aucun festonnement. Le comportement gouverné par des règles engendre une rigidité adaptative remarquable : l’individu devient insensible aux variations subtiles des contingences réelles tant que sa règle interne lui semble fonctionner. Cette conceptualisation a ouvert la voie aux développements contemporains de la Théorie des Cadres Relationnels (Relational Frame Theory – RFT) portée par Steven C. Hayes, intégrant la dimension verbale au cœur de l’analyse fonctionnelle moderne.
12. Applications modernes : De la thérapie comportementale aux technologies numériques
12.1 L’Analyse Appliquée du Comportement (ABA) et la prise en charge clinique
L’héritage direct des travaux méthodologiques de Charles Ferster s’est incarné au sein de l’Analyse Appliquée du Comportement (Applied Behavior Analysis – ABA), dont Ferster lui-même a été l’un des plus illustres pionniers cliniques. Dès 1961, Ferster et Marian DeMyer publient la première étude scientifique appliquant les principes du conditionnement opérant et des programmes de renforcement au traitement d’enfants présentant un trouble du spectre de l’autisme (TSA).
En observant que ces enfants souffraient d’un déficit d’exposition aux contingences sociales naturelles, Ferster a conçu des environnements structurés où des stimuli appétitifs primaires et secondaires étaient distribués selon des programmes progressifs, permettant l’acquisition de répertoires d’autonomie motrice, de langage et d’interactions visuelles. Cette approche a fourni les bases conceptuelles de la méthode développée par Ivar Lovaas dans les décennies suivantes.
Au niveau institutionnel (hôpitaux psychiatriques, structures pénitentiaires, classes spécialisées), les programmes de renforcement ont trouvé leur expression la plus aboutie dans le système d’économie de jetons (token economy). Les individus accumulent des jetons tangibles selon des ratios fixes ou variables contingents à des comportements prosociaux ciblés. Ces jetons fonctionnent comme des renforçateurs conditionnés généralisés, échangeables ultérieurement contre des privilèges ou des biens de consommation. La technique de l’estompage progressif (fading) des programmes — consistant à étirer les ratios et à allonger les intervalles — permet une transition contrôlée vers les contingences différées et intermittentes caractéristiques de la vie sociale ordinaire.
12.2 L’ingénierie persuasive, les réseaux sociaux et la captologie contemporaine
Le champ d’application le plus massif, le plus sophistiqué et le plus rentable des découvertes répertoriées dans Schedules of Reinforcement se trouve aujourd’hui concentré dans l’ingénierie persuasive des plateformes numériques, l’ergonomie des applications pour smartphones et l’économie de l’attention analysée par la captologie moderne.
L’architecture algorithmique des fils d’actualité infinis (infinite scroll) déployée par des plateformes comme Instagram, TikTok ou X (anciennement Twitter) constitue l’incarnation contemporaine la plus pure et la plus radicale du programme à proportion variable (VR) jamais réalisée :
- L’utilisateur fait glisser son doigt vers le bas sur son écran tactile : cette réponse motrice (le swipe) est le strict équivalent moderne du picotement aviaire sur la clé translucide de Skinner.
- Le stimulus renforçateur (une vidéo captivante, un mème humoristique, une information choc, un Like gratifiant) n’apparaît pas de façon continue : il est dispersé de manière totalement aléatoire selon une distribution stochastique programmée par des algorithmes d’optimisation du temps d’engagement.
- L’utilisateur ne sait jamais si le contenu gratifiant surgira au premier, au cinquième ou au vingtième balayage de l’écran, ce qui élimine toute pause post-renforcement et verrouille l’utilisateur dans une boucle cinétique d’interrogation continue et infatigable de l’interface.
De même, les notifications « push » envoyées de manière asynchrone et imprévisible par les applications exploitent à la perfection les ressorts cinétiques des programmes à intervalle variable (VI). L’incertitude quant à l’instant d’arrivée d’une validation sociale ou d’un message crée une tension motrice continue, incitant l’individu à vérifier compulsivement son appareil tout au long de la journée pour ne rater aucune opportunité de renforcement.
12.3 Économie comportementale et politiques publiques (Nudge)
Enfin, l’architecture des programmes de renforcement irrigue en profondeur les mécanismes contemporains de l’économie de marché, de la gamification d’entreprise et des politiques publiques d’incitation comportementale (le courant du Nudge formalisé par Richard Thaler et Cass Sunstein).
Dans le domaine du marketing et des programmes de fidélisation commerciale, la supériorité cinétique du renforcement intermittent sur le renforcement continu est devenue une règle d’or empirique. Les programmes de fidélité accordant un avantage constant et prévisible (FR 1) sont notoirement moins efficients pour stimuler le volume des achats que les dispositifs introduisant une variabilité probabiliste (loteries promotionnelles instantanées, cartes à gratter offrant des récompenses d’amplitudes imprévisibles selon un modèle VR). Le client se trouve pris dans une dynamique d’acquisition persévérante analogue à la résistance à l’extinction documentée par Ferster.
Au sein des organisations de travail, la structuration des rémunérations repose sur cette même typologie comportementale :
- Le salaire mensuel fixe s’apparente à un programme à intervalle fixe (FI) : il tend à générer des festons d’activité caractéristiques, l’effort des employés s’intensifiant considérablement à l’approche de l’échéance de fin de mois ou des bilans annuels d’évaluation.
- À l’inverse, les systèmes de primes à la performance distribuées selon des critères d’objectifs fluctuants ou des bonus aléatoires (VR) génèrent un débit d’investissement continu et régulier, éliminant les temps morts de production mais augmentant en contrepartie les risques d’épuisement professionnel (burnout) par surexploitation de la plasticité opérante.
Soixante-dix ans après les premières séances expérimentales menées dans les sous-sols de Harvard, les courbes cumulatives tracées par Charles Ferster et B.F. Skinner continuent de fournir la grammaire invisible qui régit la motricité, le désir et l’attention des organismes vivants au sein d’un univers hyper-technologique.
Références
- Chomsky, N. (1959). A review of B. F. Skinner’s Verbal Behavior. Language, 35(1), 26-58. https://doi.org/10.2307/411334
- Estes, W. K., & Skinner, B. F. (1941). Some quantitative properties of anxiety. Journal of Experimental Psychology, 29(5), 390-400. https://doi.org/10.1037/h0062283
- Ferster, C. B., & DeMyer, M. K. (1961). The development of performances in autistic children in an automatically controlled environment. Journal of Chronic Diseases, 13(4), 312-345. https://doi.org/10.1016/0021-9681(61)90059-4
- Ferster, C. B., & Skinner, B. F. (1957). Schedules of reinforcement. Appleton-Century-Crofts. https://doi.org/10.1037/10627-000
- Fleshler, M., & Hoffman, H. S. (1962). A progression for generating variable-interval schedules. Journal of the Experimental Analysis of Behavior, 5(4), 529-530. https://doi.org/10.1901/jeab.1962.5-529
- Hayes, S. C., Barnes-Holmes, D., & Roche, B. (Eds.). (2001). Relational Frame Theory: A post-Skinnerian account of human language and cognition. Kluwer Academic/Plenum Publishers.
- Herrnstein, R. J. (1961). Relative and absolute strength of response as a function of frequency of reinforcement. Journal of the Experimental Analysis of Behavior, 4(3), 267-272. https://doi.org/10.1901/jeab.1961.4-267
- Kahneman, D., & Tversky, A. (1979). Prospect theory: An analysis of decision under risk. Econometrica, 47(2), 263-291. https://doi.org/10.2307/1914185
- Schultz, W. (1998). Predictive reward signal of dopamine neurons. Journal of Neurophysiology, 80(1), 1-27. https://doi.org/10.1152/jn.1998.80.1.1
- Skinner, B. F. (1938). The behavior of organisms: An experimental analysis. Appleton-Century.
- Skinner, B. F. (1953). Science and human behavior. Macmillan.
- Skinner, B. F. (1966). An operant analysis of problem solving. In B. Kleinmuntz (Ed.), Problem solving: Research, method, and theory (pp. 225-257). John Wiley & Sons.
- Thorndike, E. L. (1911). Animal intelligence: Experimental studies. Macmillan. https://doi.org/10.5962/bhl.title.55242
- Watson, J. B. (1913). Psychology as the behaviorist views it. Psychological Review, 20(2), 158-177. https://doi.org/10.1037/h0074420
- Wiener, N. (1948). Cybernetics: Or control and communication in the animal and the machine. John Wiley & Sons.