L’expérience du renforcement intermittent – B.F. Skinner

Dans l’histoire des sciences du comportement, peu de découvertes ont exercé une influence aussi profonde, pérenne et transversale que celle des mécanismes du conditionnement opérant formalisés par Burrhus Frederic Skinner. Au cœur de cette révolution conceptuelle se trouve une observation contre-intuitive qui allait bouleverser non seulement la psychologie expérimentale, mais également les sciences économiques, la neurobiologie contemporaine et les technologies de l’information : le renforcement intermittent. Alors que le sens commun et les théories mécanistes initiales postulaient qu’un comportement s’ancre plus solidement lorsqu’il est récompensé de manière systématique, les travaux méticuleux menés à l’université Harvard ont démontré que la discontinuité, la rareté relative et l’imprévisibilité de la gratification constituent en réalité les moteurs les plus puissants et les plus durables de l’action animale et humaine.

Le point de départ de cette avancée scientifique repose sur une rupture paradigmatique majeure avec la réflexologie classique. En s’émancipant du cadre étroit de la réponse physiologique passive déclenchée par un stimulus antécédent, Skinner a appréhendé l’organisme comme un agent actif, émettant des réponses spontanées qui opèrent des modifications directes sur son environnement immédiat. La boîte de conditionnement opérant, devenue célèbre sous l’appellation d’« operant conditioning chamber » ou boîte de Skinner, a fourni le cadre méthodologique et technique standardisé nécessaire pour mesurer avec une précision mathématique ces flux comportementaux. C’est à l’intérieur de cette enceinte acoustiquement isolée, par l’entremise de leviers mécaniques et de plumes traçant des courbes sur des cylindres rotatifs, que les fondements de la dynamique du renforcement ont été isolés et quantifiés.

Cet article propose une exploration exhaustive et multidisciplinaire de l’expérience du renforcement intermittent chez Skinner. Du contexte épistémologique du béhaviorisme radical jusqu’aux découvertes empiriques nées d’incidents matériels au laboratoire, nous analyserons la taxonomie complète des programmes à proportion et à intervalle, la résistance phénoménale à l’extinction qu’ils induisent, ainsi que leurs correspondances neurobiologiques modernes articulées autour de la libération phasique et tonique de dopamine. Enfin, nous examinerons comment ces principes fondamentaux régissent aujourd’hui les architectures logicielles les plus addictives de l’économie numérique, la psychopathologie des jeux d’argent et les débats contemporains relatifs à l’éthique de la captologie et de la liberté cognitive.

1. Contexte historique et genèse du conditionnement opérant chez B.F. Skinner

1.1 De Pavlov et Thorndike à la rupture skinnérienne

L’émergence des théories opérantes au début des années 1930 ne procède pas d’une génération spontanée, mais d’une confrontation dialectique avec les deux grandes traditions expérimentales qui dominaient alors l’étude de l’apprentissage animal. D’une part, les travaux fondamentaux d’Ivan Pavlov sur le conditionnement répondant avaient établi avec une rigueur physiologique inégalée la possibilité de transférer le contrôle d’une réponse réflexe innée — telle que la salivation — depuis un stimulus inconditionnel vers un stimulus neutre devenu conditionnel. Cependant, ce modèle demeurait intrinsèquement limité par sa dépendance exclusive à l’égard de réflexes préexistants au répertoire de l’organisme. Le conditionnement classique s’est révélé impuissant à expliquer l’acquisition d’actions motrices volontaires, complexes et nouvelles, qui ne sont déclenchées par aucun stimulus déclencheur environnemental immédiatement identifiable.

D’autre part, la tradition fonctionnaliste américaine, incarnée par la loi de l’effet formulée en 1898 par Edward Thorndike, offrait une explication plus dynamique de l’action. En observant des chats s’échapper de cages à problèmes (puzzle boxes), Thorndike avait théorisé que les réponses suivies de conséquences satisfaisantes pour l’animal voyaient leur probabilité de réapparition s’accroître, tandis que les réponses associées à un état d’inconfort étaient affaiblies. Toutefois, le dispositif de Thorndike reposait sur une succession d’essais discrets, interrompus manuellement par l’expérimentateur, empêchant toute mesure continue et objective du débit comportemental spontané.

Skinner réalisa la synthèse et le dépassement de ces approches en établissant une distinction formelle entre le comportement « répondant », involontaire et asservi aux stimuli antécédents, et le comportement « opérant », émis par l’organisme sans sollicitation externe obligatoire, et gouverné rétroactivement par ses conséquences environnementales directes. Cette distinction a constitué l’acte de naissance d’un champ d’investigation autonome, où le comportement n’est plus envisagé comme un simple symptôme mécanique de facteurs biologiques passés, mais comme une variable dépendante continue, façonnée dynamiquement par l’histoire de ses interactions écologiques.

1.2 Les postulats du béhaviorisme radical

Pour soutenir cette conception expérimentale, Skinner a développé une posture épistémologique intransigeante désignée sous le terme de béhaviorisme radical. Contrairement au béhaviorisme méthodologique de John B. Watson, qui acceptait l’existence d’états de conscience subjectifs tout en les rejetant du champ de la science en raison de leur inaccessibilité instrumentale, le béhaviorisme radical récuse catégoriquement tout dualisme cartésien. Skinner soutient que les explications dites « mentalistes » — attribuant la cause d’une action à des concepts non observables tels que la « volonté », le « désir », le « but » ou « l’intention » — constituent des leurres tautologiques qui retardent l’investigation empirique réelle.

Dans ce cadre ontologique, l’organisme biologique n’est ni une machine passive ni un réceptacle d’entités psychiques autonomes ; il est le lieu matériel d’intersection entre un patrimoine phylogénétique hérité par l’évolution et une histoire ontogénétique d’interactions avec l’environnement. Les événements privés, tels que les sensations proprioceptives ou le dialogue intérieur, ne sont pas niés, mais ils sont requalifiés en tant que comportements intériorisés soumis aux mêmes lois fonctionnelles que les comportements moteurs observables. Dès lors, le recours à des variables intermédiaires non vérifiables est éliminé au profit d’une analyse fonctionnelle stricte articulée en trois termes : le stimulus discriminatif ($S^D$), la réponse opérante ($R$), et le stimulus renforçateur ($S^R$).

L’objectif scientifique prioritaire assigné à la psychologie opérante est le contrôle expérimental direct et la prédiction exacte des trajectoires comportementales. Pour Skinner, comprendre un phénomène équivaut rigoureusement à être en mesure de le manipuler expérimentalement : si un chercheur parvient à moduler la fréquence, la latence et la topographie d’un comportement par le réglage exclusif des variables physiques de l’environnement, le recours à des hypothèses métaphysiques sur l’esprit devient méthodologiquement superflu.

1.3 L’évolution de la méthodologie expérimentale comportementale

L’opérationnalisation de cette philosophie a exigé une refonte radicale des dispositifs d’expérimentation animale alors en usage dans les laboratoires universitaires. Au cours des décennies 1920 et 1930, la majorité des recherches reposaient sur des labyrinthes complexes — en T, en Y, ou de type Hampton Court — dans lesquels des rongeurs devaient naviguer jusqu’à une chambre d’arrivée pour obtenir une gratification alimentaire. Skinner critiqua sévèrement ces méthodologies traditionnelles en démontrant qu’elles imposaient des contraintes temporelles artificielles : l’expérimentateur devait manipuler l’animal à chaque essai, réinitialiser le point de départ, et agréger des données disparates telles que le temps de course ou le nombre d’erreurs commises, introduisant des artéfacts de stress et de latence non mesurés.

Pour capturer le comportement dans son état natif, il était impératif de concevoir une situation où l’organisme dispose d’une liberté totale de mouvement et d’émission de réponses, sur une période ininterrompue. L’abandon des labyrinthes au profit d’enceintes géométriquement standardisées a permis l’émergence du concept fondamental d’« opérant libre » (free operant). Dans ce paradigme, une réponse motrice discrète, brève et facilement répétable — telle que l’abaissement d’un levier d’acier par un rat ou le picotement d’une touche circulaire par un pigeon — peut être produite à tout instant par le sujet expérimental.

Cette approche méthodologique novatrice a permis d’élever la fréquence d’émission de la réponse — c’est-à-dire le nombre de comportements produits par unité de temps — au rang de variable dépendante universelle de l’analyse du comportement. En rupture avec les grands systèmes théoriques déductifs de son époque, comme celui de Clark Hull qui postulait des équations mathématiques complexes a priori fondées sur la réduction de pulsions internes, Skinner a adopté une démarche résolument inductive, héritée de la tradition baconienne : observer minutieusement les régularités du comportement sans échafauder d’hypothèses abstraites prématurées, et laisser les données brutes guider la construction conceptuelle.

2. Le dispositif expérimental : La boîte de Skinner et l’enregistrement cumulatif

2.1 Architecture matérielle de l’operant conditioning chamber

La chambre de conditionnement opérant représente le chef-d’œuvre d’ingénierie expérimentale développé par Skinner durant ses années à l’université du Minnesota puis à Harvard. L’appareil est conçu pour isoler presque intégralement l’animal des fluctuations du monde extérieur. L’enceinte extérieure, souvent construite avec des parois doubles garnies de matériaux insonorisants et ventilée par un flux d’air continu produisant un bruit blanc masquant les stimulations auditives parasites du laboratoire, garantit une imperméabilité environnementale presque absolue. Cette neutralisation sensorielle était indispensable pour garantir que chaque variation comportementale observée ne découle que des contingences programmées par l’expérimentateur.

À l’intérieur de la chambre, l’interface motrice est délibérément épurée afin d’éliminer toute ambiguïté sur la nature de la réponse. Pour les rongeurs, une tige ou une barre métallique horizontale, connectée à un microrupteur électromécanique étalonné pour se déclencher sous une pression minimale précise (typiquement entre 10 et 15 grammes), fait saillie sur l’une des parois. Pour les colombidés, Skinner conçut un disque translucide en plastique encastré dans la paroi verticale, susceptible d’être illuminé de l’arrière par des diodes colorées et réagissant à l’impact cinétique du bec de l’oiseau. Chaque sollicitation réussie du manipulateur ferme un circuit basse tension qui actionne immédiatement les relais de synchronisation et les dispositifs d’enregistrement.

Le système de rétroaction et de délivrance de la conséquence biologique constitue le troisième élément critique du dispositif. Les distributeurs automatiques ont été conçus avec une minutie horlogère pour acheminer des pastilles nutritives calibrées de quelques milligrammes, ou pour ouvrir brièvement un volet donnant accès à une mangeoire de graines durant un intervalle de quelques secondes. La présentation de la récompense s’accompagne presque toujours d’un stimulus sensoriel accessoire — le claquement sec du relais électromagnétique ou l’allumage d’une micro-ampoule — qui acquiert rapidement par conditionnement pavlovien la valeur de renforçateur secondaire conditionné, renforçant instantanément la chaîne motrice motrice venant de s’achever.

2.2 L’enregistreur cumulatif et la quantification graphique

L’invention de l’enregistreur cumulatif représente une contribution méthodologique aussi décisive pour l’analyse comportementale que l’invention du microscope pour la microbiologie. Cet appareil électromécanique automatisé permettait de visualiser, en temps réel et sans aucune intervention humaine perturbatrice, l’intégralité de l’histoire comportementale du sujet placé dans l’enceinte. Il se composait d’un tambour cylindrique déroulant une feuille de papier millimétré à une vitesse circonférentielle rigoureusement constante, entraîné par un moteur synchrone.

Une plume montée sur un chariot mobile se déplaçait perpendiculairement au déroulement du papier. À chaque fois que l’animal activait le levier de la boîte de Skinner, une impulsion électrique envoyée à un solénoïde faisait progresser la plume d’un cran microscopique vers le haut de la feuille. Ainsi, la dimension horizontale représentait le temps continu écoulé, tandis que la dimension verticale traduisait l’accumulation arithmétique totale des réponses opérantes émises depuis le début de la session expérimentale. Lorsque la plume atteignait la marge supérieure du rouleau, un système de réarmement automatique (reset) la ramenait instantanément à la base en quelques millisecondes.

La propriété géométrique fondamentale de ce tracé graphique réside dans sa pente : un comportement à débit nul produit une ligne parfaitement horizontale ; une cadence de réponse lente engendre une pente faible ; une fréquence de réponse effrénée se traduit par une courbe presque verticale. De plus, Skinner intégra un mécanisme secondaire par lequel la plume effectuait une brève encoche diagonale vers le bas chaque fois qu’un renforcement était délivré. L’observateur pouvait ainsi déchiffrer d’un simple coup d’œil la relation de dépendance dynamique reliant la distribution temporelle des récompenses aux fluctuations infinitésimales du rythme moteur de l’organisme, rendant visibles des micro-variations de cadence inaccessibles à toute mesure statistique globale de moyennes.

2.3 Protocoles de standardisation et contrôle de la motivation

Pour assurer la reproductibilité absolue des données et garantir que l’efficacité du renforçateur primaire demeure constante d’un jour à l’autre, Skinner établit un protocole draconien de régulation motivationnelle. Plutôt que de s’en remettre à des concepts qualitatifs flous comme « la faim », il instaura un contrôle pondéral quantitatif objectif : les animaux expérimentaux — généralement des rats albinos Sprague-Dawley ou des pigeons bisets — étaient progressivement soumis à une restriction calorique contrôlée jusqu’à ce que leur masse corporelle soit stabilisée entre 80 % et 85 % de leur poids standard nourri à volonté (ad libitum weight).

Ce niveau de privation alimentaire constant maintenait une intensité motivationnelle invariante sans altérer l’intégrité physiologique de l’animal. Dès lors, la pastille alimentaire (food pellet) ou la portion de grains devenait un renforçateur universellement puissant et prévisible. L’étape suivante consistait en l’installation initiale du comportement au moyen d’un protocole rigoureux nommé « façonnage » (shaping), reposant sur le principe des approximations successives. L’animal n’ayant aucune propension naturelle à appuyer sur une barre métallique dans un environnement stérile, l’expérimentateur actionnait manuellement le distributeur lorsque l’animal s’orientait simplement vers la paroi concernée, puis lorsqu’il s’en approchait physiquement, puis lorsqu’il élevait les pattes au-dessus du sol, jusqu’à conditionner le contact mécanique effectif avec la pièce.

Ce conditionnement initial, couplé à une phase préalable d’habituation complète à l’environnement pour éliminer toute réactivité néophobique ou comportement de fuite émotionnelle, garantissait une neutralisation totale des biais expérimentaux. Le sujet devenait un système dynamique stabilisé, dont le débit opérant constituait une fonction pure et exclusive des programmes de renforcement appliqués à son comportement.

3. La transition méthodologique : Du renforcement continu au renforcement intermittent

3.1 La découverte fortuite liée à la pénurie de boulettes alimentaires

L’une des ironies les plus remarquables de l’histoire de la psychologie scientifique réside dans le fait que la découverte du renforcement intermittent — qui allait détrôner les conceptions canoniques de l’apprentissage — ne découla pas d’une déduction mathématique théorique, mais d’un problème logistique trivial et d’un incident matériel survenu au sein du laboratoire de Harvard à la fin des années 1930. À cette époque, Skinner devait fabriquer lui-même les granules alimentaires destinés à ses rats, une procédure manuelle longue et fastidieuse impliquant le pétrissage de pâte alimentaire, son extrusion sous forme de filaments et son découpage minutieux en sphères calibrées.

Un vendredi après-midi particulièrement chargé, Skinner constata avec effroi que la réserve de boulettes disponibles était tragiquement insuffisante pour alimenter les sessions expérimentales programmées durant l’ensemble du week-end. Interrompre la collecte de données aurait signifié perdre un temps précieux et perturber le cycle de conditionnement de ses cohortes de rongeurs. Confronté à cette pénurie matérielle, Skinner décida de modifier les liaisons électromécaniques de son appareillage de telle sorte que le distributeur ne s’active plus à chaque pression sur le levier, mais seulement après un nombre déterminé d’actions, ou après l’écoulement d’une période temporelle arbitraire, économisant ainsi drastiquement les précieuses boulettes nutritives.

Le lundi matin suivant, en déroulant les tracés des enregistreurs cumulatifs, Skinner s’attendait à observer une désorganisation du comportement, une baisse drastique de l’activité, voire l’extinction pure et simple des réponses motrices chez les animaux privés de récompenses systématiques. À son immense stupéfaction, les plumes graphiques avaient enregistré des lignes droites et denses d’une régularité stupéfiante, caractérisées par un débit de pressions souvent largement supérieur à celui observé sous renforcement continu. L’animal, loin de se décourager face à l’absence répétée de nourriture, travaillait avec une vigueur décuplée et un acharnement ininterrompu. La pénurie accidentelle venait d’ouvrir un champ de recherche totalement vierge.

3.2 Définition théorique et opérationnelle du renforcement intermittent

Cette sérendipité conduisit à une redéfinition formelle des paradigmes expérimentaux. Jusqu’alors, la quasi-totalité des travaux sur l’apprentissage postulait le renforcement continu (désigné sous le sigle anglophone CRF pour Continuous Reinforcement), dans lequel chaque itération unitaire de la réponse opérante ($R_1 \rightarrow S^R$) est obligatoirement suivie de l’administration du stimulus appétitif. Le renforcement intermittent ou partiel (Intermittent Reinforcement ou Partial Reinforcement) désigne une modalité opérationnelle dans laquelle la relation fonctionnelle entre la réponse et la conséquence devient discontinue, conditionnelle ou probabiliste.

D’un point de vue opérationnel, sous renforcement intermittent, seule une fraction prédéterminée des réponses motrices émises déclenche effectivement le mécanisme de délivrance du renforçateur, tandis que les autres réponses restent stériles sur le plan environnemental immédiat, tout en étant scrupuleusement comptabilisées par le système expérimental. Cette rupture du rapport univoque 1:1 transforme la nature même du lien unissant l’organisme à son milieu : la conséquence renforçante cesse d’être une propriété intrinsèque inéluctable du comportement pour devenir un événement statistique dépendant d’un système de règles — le programme de renforcement (schedule of reinforcement).

Ce changement d’échelle imposa l’élévation définitive du taux de réponse (le débit temporel de la cadence motrice) au rang de variable dépendante cardinale. La question n’était plus de savoir binairement si un animal « savait » ou « ne savait pas » presser un levier, mais d’élucider la manière dont la structure mathématique de la distribution environnementale des gains module la cinétique temporelle, la persévérance et la dynamique énergétique de l’activité comportementale sur de longues durées.

3.3 Les implications théoriques immédiates pour l’analyse comportementale

Les implications théoriques de cette transition furent sismiques pour l’édifice de la psychologie behavioriste. En premier lieu, elle réfutait empiriquement le postulat anthropomorphique intuitif selon lequel la certitude absolue de la rétribution est la condition nécessaire à l’engagement comportemental maximal. L’expérimentation démontrait l’exact inverse : la certitude absolue génère une cadence économique, lente et facilement saturée, tandis que l’introduction d’un déficit d’information ou d’une contingence diluée galvanise la production de réponses.

En second lieu, ces résultats ont contraint les chercheurs à repenser l’économie biologique de l’organisme. Pourquoi un animal dépenserait-il davantage d’énergie motrice pour un volume de nourriture globale nettement inférieur ? Skinner mit en lumière que les programmes intermittents exploitent des mécanismes d’adaptation phylogénétiques profonds : dans la nature, aucune espèce — qu’il s’agisse d’un prédateur traquant une proie ou d’un granivore cherchant des semences disséminées — n’évolue dans un environnement à renforcement continu. La recherche de ressources écologiques est intrinsèquement probabiliste, clairsemée et soumise à des rendements décroissants ou aléatoires.

Enfin, cette découverte a marqué le passage d’une psychologie descriptive à une science quantitative de haute précision. En collaboration étroite avec des collaborateurs tels que Charles Ferster, Skinner consacra les deux décennies suivantes à classifier systématiquement les architectures possibles de ces contingences, aboutissant en 1957 à la publication du monumental ouvrage Schedules of Reinforcement, un recueil de près de mille pages contenant des dizaines de milliers de tracés cumulatifs décrivant les lois invariantes régissant le comportement sous programmes intermittents.

4. Les programmes de renforcement fondés sur la proportion (Ratio Schedules)

4.1 Le programme à proportion fixe (Fixed Ratio – FR)

Les programmes de renforcement dits de « proportion » (ratio schedules) assujettissent la délivrance de la conséquence au nombre absolu de réponses motrices complétées par le sujet, indépendamment de toute considération chronologique. Dans le cadre d’un programme à proportion fixe (Fixed Ratio, noté universellement FR suivi d’un entier $n$), le renforçateur est distribué de manière immuable dès que l’organisme a complété exactement $n$ réponses opérantes. Un programme FR 1 est par définition équivalent au renforcement continu ; un programme FR 50 exige cinquante pressions sur le levier pour déclencher un unique cycle de nourrissage.

L’analyse cinétique d’un tracé cumulatif généré sous un programme FR révèle une signature morphologique universelle désignée sous le terme de pattern « stop-and-go » (arrêt et reprise saccadée). Immédiatement après la consommation du renforçateur, l’animal marque un temps d’arrêt comportemental complet, caractérisé par une horizontalisation temporaire de la plume traceuse, nommée la « pause post-renforcement » (post-reinforcement pause ou PRP). Dès que le comportement redémarre, il reprend instantanément à une vitesse terminale très élevée, sans accélération progressive, et maintient ce débit massif de manière ininterrompue jusqu’à l’atteinte du quota requis et l’obtention de la récompense suivante.

La durée de cette pause post-renforcement est une fonction mathématique directe de l’exigence du ratio : plus la valeur de $n$ est élevée, plus la période de latence initiale s’allonge. Si l’expérimentateur augmente trop brutalement la valeur du ratio sans transition graduelle — par exemple en faisant passer subitement un animal d’un FR 10 à un FR 150 —, un dysfonctionnement comportemental sévère se produit immanquablement, connu sous le nom de « fuite du ratio » ou « rupture de ratio » (ratio strain). L’animal manifeste alors des conduites d’agressivité stéréotypée, s’éloigne durablement du levier, et la chaîne opérante s’effondre dans une désorganisation prolongée pouvant conduire à l’abandon complet de la tâche.

4.2 Le programme à proportion variable (Variable Ratio – VR)

Le programme à proportion variable (Variable Ratio, noté VR suivi d’une valeur moyenne $n$) constitue sans conteste le modulateur comportemental le plus puissant et le plus efficient jamais documenté par l’analyse expérimentale du comportement. Sous ce régime, le renforçateur est délivré après l’émission d’un nombre fluctuant de réponses, articulé autour d’une moyenne arithmétique précise. Par exemple, dans un programme VR 20, le renforcement peut survenir après 3 réponses, puis après 37 réponses, puis 12, puis 45, puis 2, de telle sorte que la moyenne générale converge rigoureusement vers un gain toutes les vingt actions motrices, mais qu’il soit absolument impossible pour le sujet d’anticiper la venue du coup gagnant sur la base de son effort récent.

L’effet comportemental produit par le VR est spectaculaire : il engendre les cadences de réponse les plus véloces, les plus denses et les plus uniformes de toute la psychologie opérante. Sur l’enregistreur cumulatif, le tracé se matérialise sous la forme d’une ligne quasi verticale rectiligne, défiant l’écoulement du temps. Fait capital, la pause post-renforcement disparaît de manière presque totale. Puisque chaque réponse individuelle possède statistiquement une probabilité non nulle d’être celle qui déclenchera la fermeture du circuit de distribution — y compris l’appui immédiat qui suit la réception d’une pastille —, l’organisme ne marque aucun répit.

Cette cadence prodigieuse s’accompagne d’une imperméabilité saisissante à la fatigue et aux stimuli perturbateurs modérés de l’environnement. Des pigeons soumis à des programmes de type VR 100 ou VR 500 peuvent maintenir des cadences de picotement frôlant les deux à trois impacts par seconde pendant des sessions continues de plusieurs heures, accumulant plusieurs dizaines de milliers de frappes motrices pour n’obtenir au total qu’une infime quantité de nourriture, démontrant une résilience mécanique fascinante face à l’effort exigé.

4.3 Comparaison cinétique et dynamique comportementale des ratios

L’analyse différentielle comparée des cinétiques de ratio fixe et de ratio variable met en lumière des principes capitaux de l’organisation motrice. Dans un protocole FR, le sujet est confronté à une certitude discriminative temporelle et proprioceptive : au moment où la nourriture tombe, la probabilité d’obtenir une nouvelle nourriture à la pression suivante est rigoureusement égale à zéro. La pause post-renforcement n’est donc pas le produit passif d’une satiété métabolique ou d’une fatigue musculaire, mais une pause pré-effort hautement adaptative : l’animal « tergiverse » devant l’immensité de la tâche invariante qui l’attend avant le prochain dénouement favorable.

À l’inverse, le ratio variable élimine toute corrélation entre la délivrance du renforçateur et une probabilité locale nulle de gain subséquent. En termes d’économie comportementale, le VR optimise la rentabilité de l’allocation d’énergie motrice : plus l’organisme accélère sa cadence de frappe, plus vite il épuise le contingent statistique nécessaire pour atteindre la valeur cible programmée et déclencher la récompense. Le taux de renforcement obtenu par unité de temps est donc directement asservi à la vitesse motrice du sujet, créant une boucle de rétroaction positive puissamment incitative.

Néanmoins, les cadences ultra-rapides sous ratios variables trouvent leur limite supérieure dans les contraintes biomécaniques et phylogénétiques propres à l’espèce étudiée. Chez le rongeur ou le pigeon, la vitesse maximale d’oscillation neuromusculaire des effecteurs moteurs impose un plateau physiologique indépassable. Si l’expérimentateur tente d’augmenter le ratio moyen au-delà des capacités métaboliques de l’organisme sans lui accorder une compensation calorique suffisante, le système bascule dans une forme d’épuisement physiologique ou de dérive comportementale, marquant les frontières biologiques de la malléabilité opérante.

5. Les programmes de renforcement fondés sur l’intervalle temporel (Interval Schedules)

5.1 Le programme à intervalle fixe (Fixed Interval – FI)

À l’opposé des programmes de proportion, les programmes fondés sur l’intervalle temporel asservissent la disponibilité de la récompense à l’écoulement d’une durée chronologique définie, découplant partiellement la production motrice de l’obtention du gain. Dans un programme à intervalle fixe (Fixed Interval, codé FI suivi d’un temps $t$, par exemple FI 60s), le renforçateur est armé électriquement dès que soixante secondes se sont écoulées depuis la distribution précédente. Il est impératif de souligner que le renforçateur n’est pas administré passivement à l’animal : ce dernier doit impérativement émettre la réponse opérante requise (presser le levier) après la fin de la période temporelle pour déclencher le distributeur.

Le profil cinétique résultant du programme à intervalle fixe constitue l’une des figures géométriques les plus élégantes de la science skinnérienne : l’« effet de feston » ou « effet d’éventail » (scallop effect). Immédiatement après la consommation du renforçateur, l’animal observe une pause comportementale absolue, semblable à celle observée en FR. Mais au fur et à mesure que le temps s’écoule et que l’instant d’échéance programmée approche, le débit de réponses s’amorce timidement, puis accélère de façon continue et hyperbolique pour atteindre son paroxysme dynamique dans les quelques secondes précédant immédiatement la fin de l’intervalle.

Ce feston temporel apporte la preuve irréfutable de l’apprentissage d’une discrimination temporelle fine par l’organisme. Bien que dépourvu de montre ou d’indices chronométriques exogènes au sein de l’enceinte isolée, le sujet apprend à utiliser ses propres stimuli intéroceptifs et proprioceptifs — ce que l’on qualifiera plus tard en neurosciences d’horloge interne circadienne et ultradienne — pour calibrer sa dépense physique. Émettre des centaines de réponses durant la première moitié de l’intervalle ne servant strictement à rien pour accélérer l’arrivée de la pastille, l’animal optimise son budget énergétique en n’investissant ses effecteurs moteurs qu’au moment statistiquement optimal.

5.2 Le programme à intervalle variable (Variable Interval – VI)

Lorsque la contrainte temporelle devient imprévisible pour le sujet, la cinétique comportementale change à nouveau radicalement. Dans un programme à intervalle variable (Variable Interval, noté VI suivi d’une durée moyenne $t$), l’intervalle de disponibilité de la récompense fluctue autour d’une valeur moyenne arithmétique. Par exemple, sous un programme VI 30s, la possibilité d’obtenir le renforçateur pourra être débloquée après un délai de 5 secondes, puis de 55 secondes, puis de 20 secondes, sans qu’aucun indice environnemental ne prévienne le sujet de l’armement effectif du commutateur.

Le résultat morphologique généré par le programme VI sur l’enregistreur cumulatif est une droite d’une régularité absolue et modérée. Les festons caractéristiques du FI disparaissent entièrement au profit d’un flux continu, calme et imperturbable. L’organisme ne peut pas se permettre d’interrompre son activité par de longues pauses post-renforcement, car un intervalle très court peut survenir à tout moment, récompensant une réponse précoce ; mais il n’a aucun intérêt non plus à s’engager dans une cadence motrice effrénée comme sous un VR, car une cadence hyper-rapide n’accélère en rien le passage chronologique du temps requis pour armer la nourriture.

En raison de cette stabilité phénoménale et de cette cadence soutenue sans agitation motrice excessive, le programme à intervalle variable est considéré comme l’étalon-or méthodologique pour établir une « ligne de base » (baseline) comportementale stable. Il est abondamment employé en neuropharmacologie et en toxicologie comportementale : lorsqu’un chercheur souhaite évaluer si une nouvelle molécule chimique, un sédatif, un anxiolytique ou une neurotoxine altère les performances motrices ou perceptives d’un sujet, il lui injecte la substance au sommet d’un régime VI stable, observant directement les déviations fines de la courbe par rapport à sa pente homéostatique de référence.

5.3 Facteurs temporels et régulation de la réponse dans les intervalles

La confrontation théorique entre les programmes fondés sur l’intervalle et ceux fondés sur la proportion met en exergue le principe fondamental de la dissociation entre le taux d’effort produit et le taux de délivrance des renforçateurs. Dans les programmes de ratio, il existe une corrélation linéaire directe entre le débit de réponses opérantes ($B$, pour behavior) et le débit de nourriture obtenue ($R$, pour reinforcer) : plus l’animal presse vite, plus il gagne de boulettes par heure d’expérience ($R = f(B)$). Dans les programmes d’intervalle, cette corrélation est quasi découplée au-delà d’un seuil minimal : tant que l’animal presse le levier au moins une fois après chaque échéance temporelle, son taux d’acquisition de récompenses reste maximalement plafonné par l’horloge du programmateur ($R \approx \text{constante}$).

Cette disparité de structure conditionne l’organisation cognitive et adaptative de l’organisme. Sous programme d’intervalle, la tâche première de l’animal est d’évaluer la régularité temporelle de son biotope expérimental. Les recherches sur les transitions de programmes ont démontré que la sensibilité aux micro-variations du temps dépend largement de l’accumulation de traces mnésiques et de stimuli discriminatifs proprioceptifs générés par l’enchaînement de comportements collatéraux non renforcés (mouvements de toilettage, exploration des coins de la cage) survenant durant les phases d’inactivité.

De plus, cette dynamique met en lumière la différence cruciale entre un investissement de persévérance et un investissement de fréquence. Les programmes d’intervalle, singulièrement le VI, sélectionnent des réponses d’une résistance remarquable à l’ennui et aux perturbations, instaurant un couplage homéostatique où le comportement se régule à un débit économique optimal, minimisant le ratio coût métabolique / récompense biologique acquise.

6. Le phénomène de résistance à l’extinction et l’effet de renforcement partiel

6.1 L’effet de renforcement partiel (Partial Reinforcement Extinction Effect – PREE)

L’extinction opérante se définit rigoureusement comme l’opération méthodologique par laquelle l’expérimentateur interrompt de façon définitive toute présentation du stimulus renforçateur suite à l’émission de la réponse opérante ($R \rightarrow \emptyset$). Face à cette coupure abrupte de toute conséquence biologique, le comportement ne cesse pas instantanément : il traverse une phase transitoire d’explosion de réponses — souvent accompagnée de conduites agressives et désordonnées désignée sous le terme de « bouffée d’extinction » (extinction burst) — avant de voir son débit décliner progressivement pour retourner à son niveau opérant de base (operant level), c’est-à-dire la fréquence spontanée observée avant tout apprentissage.

C’est dans ce protocole d’épreuve terminale qu’éclate le phénomène le plus contre-intuitif et le plus célèbre de la psychologie behavioriste : l’effet de renforcement partiel (Partial Reinforcement Extinction Effect ou PREE). Si l’on compare deux sujets — l’un ayant été entraîné sous renforcement continu (CRF) où 100 % de ses actions ont été récompensées, et l’autre sous un programme de renforcement intermittent (par exemple un VR 50 ou un VI 2min) — la théorie associative naïve voudrait que l’animal ayant reçu le lien associatif le plus régulier et le plus massif manifeste la plus forte résistance à l’abandon de son comportement.

Or, les données expérimentales démontrent rigoureusement l’inverse de manière spectaculaire :

• Le sujet entraîné en renforcement continu abandonne son comportement de façon extrêmement rapide, cessant généralement d’appuyer sur le levier après seulement quelques dizaines de tentatives infructueuses (souvent moins de 50 à 100 réponses).
• Le sujet préalablement soumis au renforcement intermittent manifeste une persévérance titanesque, continuant d’émettre des milliers, voire des dizaines de milliers de réponses à vide sur une période de plusieurs jours ou plusieurs semaines, sans recevoir la moindre miette nutritive.

Ce paradoxe du renforcement partiel a constitué un défi théorique majeur pour la psychologie mécaniste du milieu du vingtième siècle, contraignant les chercheurs à élaborer des modèles explicatifs sophistiqués intégrant des composantes perceptives, mnésiques et affectives.

6.2 L’hypothèse de la discrimination de Mowrer et Jones

La première tentative formelle d’élucidation théorique du PREE fut formulée en 1945 par Orval Hobart Mowrer et Helen D. Jones sous l’intitulé de « l’hypothèse de la discrimination » (discrimination hypothesis). Cette théorie repose sur une analyse strictement perceptive et sémiotique du changement de conditions environnementales subi par l’organisme lors du passage de l’entraînement à la phase d’extinction.

Pour un sujet conditionné sous renforcement continu, la transition est d’une clarté phénoménologique éclatante et instantanée. Durant toute sa biographie expérimentale, chaque pression sur le levier s’accompagnait du claquement du distributeur et de l’apparition de nourriture. Dès la première pression non récompensée, l’environnement physique rompt sa symétrie établie ; à la cinquième pression infructueuse consécutive, la modification des conditions environnementales est d’une évidence discriminative absolue. L’animal perçoit immédiatement que les règles du jeu ont changé, ce qui facilite l’extinction rapide de la réponse devenue obsolète.

En revanche, pour un animal conditionné sous un programme à ratio variable ou à intervalle variable élevé, de longues séquences d’essais non récompensés constituent la trame normale et habituelle de son quotidien expérimental. Ne pas recevoir de nourriture après dix, trente ou cinquante pressions consécutives ne signale aucunement que l’extinction a commencé ; cela ressemble en tous points aux séquences habituelles d’effort préalable nécessaires pour débloquer le prochain gain statistique. L’organisme se trouve dans une incapacité cognitive et perceptive de discriminer la mise en place de la phase d’extinction définitive d’une simple phase de non-renforcement transitoire inhérente à la structure normale de son programme intermittent. L’extinction ne peut donc être perçue qu’après un nombre astronomique d’essais stériles, prolongeant mécaniquement la persévérance comportementale.

6.3 La théorie de la frustration d’Amsel et la théorie séquentielle de Capaldi

Face aux limites de l’hypothèse de la discrimination — qui peinait à expliquer la persistance du PREE lorsque des indices discriminatifs externes étaient artificiellement injectés —, deux théories majeures ont émergé pour rendre compte des dynamiques internes de l’organisme :

La première est la « théorie de la frustration » développée par Abram Amsel. Amsel postule que la non-délivrance d’une récompense attendue provoque chez l’organisme un état émotionnel aversif primaire inconditionnel qualifié de « frustration primaire » ($R_F$). Chez l’animal en renforcement continu, cette frustration soudaine génère des comportements d’évitement qui détournent immédiatement l’animal du levier. Mais chez l’animal en renforcement intermittent, cette sensation désagréable de frustration a été ressentie des centaines de fois au cours des essais infructueux réguliers, tout en étant systématiquement suivie, un peu plus tard, par un succès renforçant. Par conditionnement classique intéroceptif, les sensations internes proprioceptives de frustration ($s_F$) deviennent elles-mêmes des stimuli discriminatifs annonciateurs de récompense imminente ($s_F \rightarrow S^D$). La frustration cesse d’être un frein comportemental pour devenir le carburant motivationnel incitant le sujet à redoubler d’ardeur.

La seconde théorie, hautement formalisée, est la « théorie séquentielle » d’E. John Capaldi. Capaldi déplace l’explication sur le terrain du traitement de l’information et des traces mnésiques immédiates. Dans un entraînement intermittent, l’animal expérimente des séquences complexes d’essais non récompensés ($N$) suivis d’essais récompensés ($R$), configurant des patrons de type $NNNR$. Au fil des répétitions, les traces mnésiques neurales laissées par les essais infructueux antérieurs ($S^N$) deviennent le contexte temporel direct dans lequel la réponse suivante est renforcée. L’animal apprend donc littéralement à émettre la réponse motrice opérante en présence de la trace mnésique de la non-récompense. Par conséquent, lors de l’extinction définitive, la succession infinie d’essais sans nourriture ne fait que saturer l’environnement mental de l’animal avec les indices précis ($S^N$) qui commandent impérativement l’émission renouvelée du comportement.

7. Modélisation quantitative, lois d’appariement et économie comportementale

7.1 Les programmes concurrents et la loi d’appariement de Herrnstein

Dans la nature comme dans les contextes humains complexes, un organisme n’est que rarement confiné à l’évaluation d’une action isolée ; il est perpétuellement confronté à des choix simultanés entre plusieurs sources de gratification concurrentes. Pour explorer ce champ, l’analyse expérimentale du comportement a développé la méthodologie des « programmes concurrents » (concurrent schedules of reinforcement). Dans une telle configuration, l’animal se trouve face à deux leviers ou deux disques de picotement distincts — par exemple, un disque gauche fonctionnant sous un programme $VI_1$ et un disque droit sous un programme $VI_2$ —, chaque manipulateur distribuant des renforçateurs de manière indépendante selon sa propre loi temporelle.

En 1961, Richard Herrnstein, disciple et collaborateur éminent de Skinner à Harvard, publia une étude fondatrice qui allait doter la psychologie opérante de sa première formulation mathématique universelle : la loi d’appariement (The Matching Law). Herrnstein démontra que la distribution des réponses motrices émises par l’organisme entre les deux options ne se fait pas de manière binaire (en choisissant exclusivement l’option la plus favorable), mais s’ajuste avec une exactitude arithmétique rigoureuse sur la fréquence relative des renforcements délivrés par chaque source.

L’équation classique de Herrnstein s’énonce comme suit :

frac{B_1}{B_1 + B_2} = frac{R_1}{R_1 + R_2}

Où $B_1$ et $B_2$ représentent les débits absolus de comportements (réponses) assignés respectivement à la source 1 et à la source 2, et $R_1$ et $R_2$ les débits de renforçateurs effectivement obtenus sur ces deux sources. Cette équation stipule que la proportion relative de comportement investi sur une option égale exactement la proportion relative de gains récoltés sur celle-ci. Cette loi descriptive s’est avérée extraordinairement robuste, se vérifiant chez une multitude d’espèces incluant le rat, le pigeon, le macaque rhésus et l’être humain au sein d’environnements sociaux, fondant les bases de la modélisation formelle du choix rationnel en sciences comportementales.

7.2 L’économie comportementale appliquée aux programmes de renforcement

La convergence conceptuelle entre les programmes de renforcement skinnériens et l’économie néoclassique a donné naissance à une discipline hybride d’une grande vitalité : l’économie comportementale de laboratoire, largement impulsée par des théoriciens comme George Ainslie et Howard Rachlin. Dans ce cadre analytique révisé :

• Les réponses motrices opérantes (pressions de levier, temps de frappe) cessent d’être de simples actes musculaires pour être requalifiées en dépenses monétaires ou en « coûts d’achat » assumés par l’organisme.
• L’exigence du programme de renforcement (la valeur $n$ du ratio) devient rigoureusement synonyme du prix unitaire fixé pour le bien convoité.
• Le stimulus renforçateur (pastille, goutte de liquide glucosé) est assimilé à une matière première ou à un « bien de consommation » dont l’utilité marginale est mesurable.

Cette transposition a permis d’importer les concepts fondamentaux de la microéconomie pour étudier l’élasticité de la demande comportementale. Lorsqu’un chercheur augmente l’exigence d’un ratio de FR 5 à FR 100, il procède à une augmentation massive du prix unitaire de la ressource. Les enregistreurs cumulatifs démontrent alors que la demande pour des biens alimentaires essentiels présente une grande inélasticité : l’animal multiplie proportionnellement son travail moteur global pour maintenir son apport calorique quotidien constant, payant le tribut exigé sans réduire sa consommation.

De surcroît, les protocoles de programmes concurrents permettent d’investiguer expérimentalement les phénomènes de substituabilité et de complémentarité économique des renforçateurs. Si l’on augmente le prix d’un bien A (nourriture standard sous FR élevé), le transfert des réponses de l’animal vers un bien alternatif B (solution liquide sucrée disponible sur un levier concurrent à coût fixe) permet de cartographier avec une précision géométrique l’élasticité croisée de la demande biologique au sein d’écosystèmes clos entièrement sous contrôle empirique.

7.3 Cinétique non-linéaire et formalisation dynamique des réponses

L’approfondissement de la modélisation mathématique du comportement opérant a rapidement dépassé les simples moyennes statistiques statiques pour embrasser les outils du calcul différentiel et de l’analyse des systèmes dynamiques non linéaires. L’enregistrement continu de Skinner a fourni aux physiciens et mathématiciens du comportement un corpus de séries temporelles d’une granularité temporelle idéale pour étudier la vitesse instantanée, l’accélération et les ruptures d’état des séquences motrices.

L’analyse dynamique a mis en évidence des phénomènes complexes d’« hystérésis comportementale ». L’état cinétique actuel d’un organisme — sa propension immédiate à émettre une réponse — ne dépend pas uniquement du programme de renforcement en vigueur à l’instant $t$, mais porte l’empreinte inertielle de la trajectoire historique des programmes antérieurement subis. Par exemple, le passage d’un programme d’intervalle à un programme de proportion ne produit pas un ajustement instantané vers le nouveau profil d’équilibre : les courbes cumulatives traduisent des états oscillatoires transitoires où les invariants moteurs du régime antérieur interfèrent avec l’acquisition des nouvelles règles.

De plus, des modèles computationnels récents inspirés de la physique statistique formalisent la cadence de réponse comme le résultat d’un arbitrage d’optimisation énergétique sous contrainte entropique. L’animal ajuste continuellement sa dynamique motrice pour maximiser le taux de captation d’énergie libre de son environnement tout en minimisant la déperdition métabolique et le stress neuroendocrinien induit par les micro-échecs inhérents aux contingences intermittentes, esquissant un pont formel entre le béhaviorisme radical originel et la thermodynamique des systèmes vivants adaptatifs.

8. Mécanismes neurobiologiques : Dopamine et codage de l’incertitude

8.1 Le système dopaminergique mésocorticolimbique

Bien que B.F. Skinner ait délibérément exclu la physiologie interne du champ d’investigation de son béhaviorisme radical — considérant le système nerveux comme une « boîte noire » dont l’exploration technique à son époque était trop rudimentaire pour ne pas sombrer dans la spéculation neurologique vaine —, les neurosciences contemporaines ont magistralement validé et explicité les substrats biologiques sous-jacents aux lois du renforcement opérant. L’axe central de cette médiation biologique réside dans la voie dopaminergique mésocorticolimbique, une autoroute neuronale prenant naissance dans l’aire tegmentale ventrale (ATV) du mésencéphale et projetant massivement ses axones vers le noyau accumbens (situé au cœur du striatum ventral), le tubercule olfactif, et le cortex préfrontal ventromédian.

Durant plusieurs décennies, une interprétation hédonique simpliste assimilait la dopamine à la molécule biologique du « plaisir », postulant que chaque granule alimentaire provoquait un jaillissement de ce neurotransmetteur récompensant l’organisme. Les travaux pionniers de neurobiologistes comme Kent Berridge ont radicalement démenti cette approche en distinguant les composantes hédoniques de la motivation par l’intermédiaire de la célèbre dissociation neurochimique entre le « liking » (l’appréciation subjective du plaisir gustatif ou sensoriel, médiée par les circuits opioïdes et endocannabinoïdes du tronc cérébral et du pallidum ventral) et le « wanting » (la saillance incitative motrice, exclusivement médiée par les efférences dopaminergiques mésolimbiques).

La dopamine n’est donc pas l’agent biochimique de la délectation passive post-consommatoire ; elle est le moteur neuromodulateur de l’appétence prospective, de la mise en tension motrice et de la mobilisation des effecteurs musculaires orientés vers l’action opérante. L’intermittence des programmes skinnériens cible directement ce système de saillance incitative, décuplant l’énergie déployée pour la poursuite de l’objectif bien au-delà de la valeur calorique intrinsèque de la gratification matérielle obtenue.

8.2 L’erreur de prédiction de la récompense (Reward Prediction Error – RPE)

La clé de voûte computationnelle reliant les programmes de renforcement intermittent aux décharges électrophysiologiques unitaires des neurones à dopamine a été découverte dans les années 1990 par le neurophysiologiste Wolfram Schultz. En enregistrant par micro-électrodes l’activité de neurones isolés de l’aire tegmentale ventrale chez le primate non-humain engagé dans des tâches instrumentales conditionnées, Schultz a démontré que ces cellules ne codent pas la valeur absolue d’un stimulus, mais une variable mathématique universelle désignée sous le nom d’« erreur de prédiction de la récompense » (Reward Prediction Error ou RPE).

Ce calcul neurobiologique répond à un formalisme algorithmique direct :

text{RPE} = text{Récompense Réelle Reçue} – text{Récompense Prédite}

Ce signal phasique — une bouffée d’activité électrophysiologique hyper-rapide durant entre 100 et 200 millisecondes — module la plasticité synaptique au niveau des épines dendritiques des neurones épineux moyens du striatum :

• Lorsqu’un animal est soumis à un renforcement continu (CRF) hautement prévisible, la présentation de la nourriture ne provoque à terme plus aucun sursaut dopaminergique. L’échéance étant certaine à 100 %, l’erreur de prédiction est égale à zéro ($\text{RPE} = 1 – 1 = 0$). Le système dopaminergique se tait au moment de la consommation.
• En revanche, sous un programme à proportion variable (VR), chaque tentative se déroule sous le régime de l’indétermination statistique. Lorsque le renforçateur surgit de façon imprévisible, l’organisme enregistre une discordance positive massive : la récompense réelle excède très largement la récompense statistiquement escomptée à cet instant précis ($\text{RPE} > 0$).

Cette libération phasique explosive de dopamine inonde le striatum, renforçant avec une efficacité neurochimique maximale les circuits moteurs striataux-corticaux qui viennent de s’activer, expliquant au niveau moléculaire l’infatigable cinétique d’action observée sur les tracés d’enregistreurs cumulatifs de Skinner.

8.3 La libération tonique de dopamine stimulée par l’incertitude maximale

Au-delà de la signalisation phasique brève de l’erreur de prédiction, une découverte capitale réalisée par Christopher Fiorillo, Philippe Tobler et Wolfram Schultz en 2003 est venue élucider l’énigme de l’engagement ininterrompu sous renforcement intermittent : le phénomène de libération dopaminergique tonique sous condition d’incertitude épistémique maximale.

En manipulant systématiquement la probabilité d’attribution d’un renforcement ($p$) suite à un stimulus — faisant varier $p$ de 0 (impossibilité absolue) à 1 (certitude absolue) —, les chercheurs ont observé une cinétique biphasique fascinante des neurones dopaminergiques :

• À $p = 0$ et à $p = 1$, aucune tension soutenue n’apparaît entre le stimulus et l’issue.
• Lorsque la probabilité de gain se situe exactement à la médiane arithmétique $p = 0{,}5$ — c’est-à-dire le point d’entropie informationnelle maximale où le doute sur l’issue est total —, les neurones dopaminergiques déploient une activité tonique soutenue. Il s’agit d’une élévation lente, continue et prolongée de la concentration basale de dopamine dans la fente synaptique durant toute la durée de l’attente du résultat.

Cette sécrétion tonique induite par l’incertitude ne code pas le résultat final, mais l’état même de suspension motivationnelle dans lequel est plongé l’organisme. Elle maintient le cerveau dans un état d’hyper-vigilance, d’éveil attentionnel focalisé et de promptitude motrice absolue. Le renforcement intermittent, en orchestrant délibérément une instabilité probabiliste continue, détourne cette machinerie neurobiologique évolutive en maintenant chroniquement ouverts les robinets à dopamine tonique du striatum. L’organisme ne persiste pas malgré l’incertitude ; il est littéralement galvanisé neurochimiquement par l’incertitude elle-même.

9. Applications aux pathologies comportementales : Jeu pathologique et addictions sans substance

9.1 L’architecture opérante des machines à sous et du jeu de hasard

S’il est un domaine où la transposition de la boîte de Skinner s’est opérée sans le moindre intermédiaire allégorique, c’est bien celui de l’industrie des jeux de hasard et d’argent, et plus particulièrement dans la conception architecturale des machines à sous mécaniques et électroniques. L’analogie matérielle et fonctionnelle est totale : le joueur humain assis dans l’environnement sensoriellement contrôlé d’un casino — dépourvu de fenêtres et d’horloges pour abolir la discrimination temporelle, baigné par un fond sonore continu — manipule un levier ou presse un bouton pour recevoir de manière épisodique des stimuli appétitifs sous forme de jetons métalliques sonores ou de crédits monétaires.

La structure de rétribution algorithmique des machines à sous modernes constitue l’incarnation industrielle absolue du programme à proportion variable (VR) skinnérien. Les générateurs de nombres aléatoires (RNG) intégrés aux micropuces des appareils sont calibrés pour distribuer des gains selon une moyenne statistique inviolable — garantissant mathématiquement un avantage net à l’opérateur (le taux de retour au joueur se situant généralement entre 85 % et 95 %) — tout en injectant une variance imprévisible sur le nombre de tirages séparant deux dénouements victorieux. Le joueur se trouve ainsi plongé dans les conditions exactes décrites par Skinner dans la section 4.2 : absence totale de pause post-renforcement, accélération continue de la cadence de mise et résistance colossale à l’extinction.

À cette programmation opérante de base s’ajoute le paramètre critique de la vitesse du cycle de jeu (event frequency). Plus l’intervalle temporel séparant l’insertion de la mise et la révélation du résultat est comprimé — atteignant désormais moins de trois à quatre secondes sur les terminaux de loterie vidéo modernes —, plus la boucle opérante se referme rapidement sur les circuits striataux. La cadence motrice compulsive s’automatise, anesthésiant les capacités d’inhibition cognitive du cortex préfrontal et maintenant le parieur dans ce que l’anthropologue Natasha Dow Schüll a théorisé sous le concept de « zone de la machine » (machine zone) : un état de transe comportementale dissociative où l’objectif ultime du joueur n’est plus de gagner de l’argent, mais de maintenir ininterrompu le flux sensorimoteur de l’interaction opérante.

9.2 L’illusion de contrôle et l’effet du quasi-gain (Near-Miss Effect)

L’efficacité perverse du renforcement intermittent dans les jeux de hasard est exponentiellement amplifiée par des manipulations structurales raffinées de la sémiotique visuelle du distributeur de conséquences. Parmi celles-ci, l’« effet du quasi-gain » (near-miss effect) représente l’une des armes d’ingénierie comportementale les plus pernicieuses jamais développées. Un quasi-gain se produit lorsque le résultat affiché à l’écran passe à un cheveu d’une combinaison monétaire monumentale — par exemple, l’alignement de deux symboles de jackpot identiques sur la ligne de paiement centrale, tandis que le troisième symbole identique s’arrête un millimètre au-dessus ou en dessous de la ligne.

D’un point de vue strictement rationnel et économique, un quasi-gain est un échec total : aucun crédit n’est crédité sur le compte du joueur, et la probabilité mathématique de décrocher le jackpot au coup suivant demeure rigoureusement identique et infinitésimale. Pourtant, les recherches en imagerie par résonance magnétique fonctionnelle (IRMf) menées notamment par Luke Clark ont démontré que le cerveau humain traite le quasi-gain non comme une perte, mais comme une victoire partielle. Lors de l’apparition d’un quasi-succès, le striatum ventral et l’insula s’activent avec une intensité neurochimique presque équivalente à celle déclenchée par un gain financier authentique.

Dans la nature, ce mécanisme neuronal possède une haute valeur adaptative pour les apprentissages physiques : si un archer décoche une flèche qui frôle le centre de la cible sans le toucher, le traitement de ce coup manqué de justesse comme un quasi-succès renforce la persévérance motrice et incite à réitérer l’essai pour corriger l’angle de tir. Mais dans un jeu de hasard régi par l’indépendance statistique des tirages, ce traitement synaptique vicariant trompe l’organisme en instillant une « illusion de contrôle » : le joueur interprète faussement le dénouement visuel comme la preuve tangible que sa « stratégie » fonctionne, qu’il « se rapproche » de la récompense suprême, ce qui décuple instantanément sa résistance à l’extinction financière et accélère la dilapidation compulsive de son capital.

9.3 Les troubles de l’usage du jeu vidéo et les mécaniques de Loot Boxes

Au cours de la dernière décennie, la convergence technologique entre les mécaniques du jeu de hasard et l’industrie florissante du jeu vidéo — singulièrement au sein du modèle économique des jeux gratuits à microtransactions (free-to-play) — a étendu l’empire du renforcement intermittent à des centaines de millions d’enfants et de jeunes adultes à travers le monde. Le vecteur emblématique de cette mutation comportementale est la mécanique des « coffres à butin » (loot boxes) ou les systèmes dits de gacha.

Dans ces jeux interactifs, le joueur acquiert — soit au prix d’heures de jeu prolongées (coût en temps de proportion opérante), soit par débit direct de devises monétaires réelles — des coffres virtuels dont l’ouverture déclenche une animation théâtrale révélant une sélection d’objets virtuels dont la rareté et l’utilité cosmétique ou compétitive sont indexées sur des tables de probabilités algorithmiques rigoureusement secrètes et asymétriques. Le schéma de renforcement sous-jacent est une application stricte du VR couplé à une incertitude maximale ($p = 0{,}01$ ou moins pour les récompenses mythiques), reproduisant à la perfection les dynamiques d’addiction aux machines à sous.

Cette indistinction grandissante a conduit l’Organisation mondiale de la santé (OMS) à officialiser le « trouble du jeu vidéo » (Gaming Disorder) au sein de la 11e révision de la Classification internationale des maladies (CIM-11). Parallèlement, des parlements nationaux — à l’instar de la Belgique et des Pays-Bas — ont franchi le pas juridique d’interdire purement et simplement certaines mécaniques de coffres à butin, les assimilant légalement à des jeux de hasard clandestins ciblant des populations mineures au mépris des principes élémentaires de protection de la santé publique.

10. L’ère numérique : Design persuasif, réseaux sociaux et captologie

10.1 L’ingénierie comportementale des plateformes numériques

L’irruption de l’informatique ubiquitaire et des smartphones connectés a permis l’émancipation définitive des principes du renforcement intermittent hors des frontières des laboratoires académiques et des casinos pour coloniser l’intégralité du tissu social contemporain. Cette translation méthodologique systématique a trouvé sa théorisation académique à la fin des années 1990 sous l’impulsion de B.J. Fogg au sein du Persuasive Technology Lab de l’université de Stanford, un centre de recherche pionnier qui a formé les futurs cadres et designers des grandes entreprises technologiques de la Silicon Valley.

Rebaptisée « captologie » — l’étude des ordinateurs et interfaces logicielles en tant qu’instruments de persuasion et de modification comportementale —, cette discipline a réinvesti l’analyse fonctionnelle skinnérienne pour optimiser la rétention des utilisateurs sur les applications mobiles. L’interface graphique des téléphones intelligents a été délibérément sculptée pour répliquer l’ergonomie physique d’une boîte de Skinner miniature, transportée en permanence au creux de la main de l’individu :

• Le geste universel de défilement infini (infinite scroll), conçu par Aza Raskin, supprime toute frontière de fin de page, créant une émission opérante motrice continue sans aucun coût de transaction ni temps de pause discriminative.
• Le geste mécanique du tirage vers le bas pour actualiser (pull-to-refresh) constitue la copie conforme du levier mécanique des rongeurs de Harvard : l’utilisateur abaisse son doigt, attend durant une demi-seconde la rotation d’une icône de chargement mimant la suspension du suspense, avant de voir surgir (ou non) un nouveau contingent de contenus stimulants.

Dans ce théâtre numérique, le renforçateur n’est plus une boulette de sucre, mais la validation sociale hautement volatile et imprévisible distribuée par les pairs sous la forme de mentions « J’aime », de partages, de commentaires flatteurs ou de notifications vibratoires. La valeur de proportion et d’intervalle variable est ici absolue : l’utilisateur qui consulte son écran ne sait jamais à l’avance s’il trouvera un déluge de gratifications narcissiques, un vide absolu, ou une agression verbale, maintenant les circuits de la saillance dopaminergique dans une tension tonique continue.

10.2 Les boucles d’engagement compulsif et l’économie de l’attention

L’intégration de ces mécanismes s’inscrit au cœur du modèle macroéconomique dominant d’Internet : l’« économie de l’attention ». Les plateformes numériques gratuites ne commercialisant aucun produit tangible, leur matière première monétisable auprès des régies publicitaires mondiales réside exclusivement dans le volume absolu de temps de cerveau disponible capté et converti en impressions d’écrans. Pour maximiser cette extraction attentionnelle, les algorithmes de recommandation régulent en temps réel les flux de renforcement intermittent au moyen de ce que l’industrie nomme des « boucles d’engagement compulsif » (ludic loops).

Le fonctionnement de ces boucles obéit à une cybernétique méticuleuse :

1. Le déclencheur externe : Une notification push vibratoire ou sonore, soigneusement temporisée selon un programme à intervalle variable imprévisible, sollicite le regard de l’utilisateur.
2. La réponse opérante : Le déverrouillage de l’écran et l’ouverture immédiate de l’application cliente exigent un coût moteur infinitésimal mais réflexe.
3. Le renforcement intermittent à haute variance : L’algorithme n’attribue pas les gratifications de manière synchrone, mais les retient artificiellement pour les délivrer par paquets statistiques au moment où l’attention du sujet menace de fléchir, maximisant la rupture d’attente (RPE dopaminergique).
4. L’investissement de l’usager : En postant un contenu personnel ou en laissant une trace numérique, le sujet charge l’environnement d’une promesse de gratifications ultérieures, réamorçant la boucle pour le cycle suivant.

La répétition frénétique de ces micro-cycles opérants tout au long de la journée induit un état d’épuisement des fonctions exécutives supérieures du cerveau. Le cortex préfrontal dorsolatéral, garant du contrôle cognitif inhibiteur descendant (top-down control), se trouve progressivement débordé par la captation réflexe ascendante (bottom-up) orchestrée par les noyaux sous-corticaux du striatum. Il en résulte un effritement mesurable de la capacité de concentration profonde, une intolérance chronique à l’absence de stimulation immédiate et une vulnérabilité accrue aux conduites impulsives.

10.3 Enjeux éthiques et aliénation comportementale moderne

L’hégémonie de ces technologies persuasives pose des questions éthiques et politiques inédites qui interpellent directement la conception de l’autonomie individuelle et du libre arbitre. Lorsque Skinner écrivait en 1971 son essai controversé Par-delà la liberté et la dignité (Beyond Freedom and Dignity), il soutenait avec provocation que la liberté humaine n’était qu’une illusion métaphysique obsolète et appelait à une ingénierie comportementale collective rationnelle au service de l’harmonie sociale. Un demi-siècle plus tard, cette ingénierie des contingences a bien été matérialisée, mais non pour bâtir une utopie collective désintéressée : elle a été privatisée par des conglomérats technologiques dont la finalité exclusive est l’optimisation de métriques financières algorithmiques.

Ce basculement réalise une forme sans précédent d’« aliénation opérante ». Alors que le sujet moderne se perçoit subjectivement comme un agent libre et souverain naviguant sur des réseaux de communication globaux, ses flux de déplacement oculaires, ses frappes de clavier et ses temps d’arrêt de défilement sont scrupuleusement enregistrés par des serveurs distants faisant office de gigantesques enregistreurs cumulatifs computationnels. Des modèles d’apprentissage automatique (Machine Learning) modulent dynamiquement les variables de ratio et d’intervalle de chaque individu, adaptant le contenu affiché pour maintenir le sujet au bord exact de la rupture sans jamais le faire basculer dans la fuite du ratio.

Face à ce hold-up neuro-attentionnel planétaire, un mouvement international de résistance éthique a vu le jour, incarné par des organisations comme le Center for Humane Technology fondé par d’anciens cadres repentis de la Silicon Valley, à l’image de Tristan Harris. Ce courant milite pour l’émergence d’un « design éthique » respectueux des limites écologiques de l’attention humaine, revendiquant la reconnaissance juridique de l’« intégrité cognitive » comme un droit fondamental de la personne humaine face aux architectures délibérément addictives du renforcement intermittent marchand.

11. Applications thérapeutiques, pédagogiques et organisationnelles

11.1 Thérapies comportementales et analyse appliquée du comportement (ABA)

Si la manipulation des programmes de renforcement intermittent peut être dévoyée à des fins d’exploitation attentionnelle, elle constitue également l’un des piliers méthodologiques les plus nobles et les plus rigoureux de la psychologie clinique contemporaine, notamment à travers l’analyse appliquée du comportement (Applied Behavior Analysis ou ABA), développée initialement par Ivar Lovaas pour l’accompagnement des enfants présentant des troubles du spectre de l’autisme (TSA) ou des déficiences neuro-développementales sévères.

Dans ces cadres thérapeutiques, la maîtrise fine des calendriers d’intermittence est impérative pour opérer ce que les cliniciens nomment le « transfert des apprentissages » ou la pérennisation des comportements prosociaux et communicatifs acquis :

• Dans la phase initiale de façonnement d’un comportement absent (comme le contact visuel, l’émission d’un mot verbalisé ou l’habillage autonome), le clinicien a recours à un renforcement continu (CRF) systématique pour établir rapidement la contingence et maximiser la confiance du patient.
• Cependant, maintenir indéfiniment un patient sous CRF constituerait une faute thérapeutique grave : le comportement s’effondrerait dès le retour de l’enfant dans son milieu familial ou scolaire où personne ne le récompense à chaque action. Le thérapeute procède donc à un « amincissement du programme » (schedule thinning), espaçant méthodiquement et progressivement les renforcements selon des programmes à proportion variable (VR) ou à intervalle variable (VI) de plus en plus dilués.

Cette transition vers l’intermittence immunise le comportement adaptatif contre l’extinction, conférant à la nouvelle habileté motrice ou langagière la robustesse nécessaire pour qu’elle soit relayée par les renforçateurs naturels et diffus de la vie en société. Réciproquement, la gestion rigoureuse de l’extinction est l’outil de choix pour éradiquer des comportements cibles problématiques (crises de colère agressives, automutilations légères) : en identifiant le renforçateur environnemental involontaire qui maintenait le symptôme — bien souvent l’attention sociale affolée apportée par les adultes selon un programme intermittent inconscient — et en neutralisant rigoureusement cette conséquence de façon hermétique, le clinicien tarit la source opérante du trouble.

11.2 L’enseignement programmé et les technologies éducatives

L’ambition pédagogique de B.F. Skinner s’est manifestée de la façon la plus concrète dès la fin des années 1950 par l’invention de ses célèbres « machines à enseigner » (teaching machines), ancêtres directes des logiciels d’apprentissage assisté par ordinateur et des plateformes éducatives contemporaines. Constatant l’inefficacité dramatique des classes scolaires traditionnelles — où un enseignant unique dispense des cours uniformes à trente élèves hétérogènes, ne distribuant des rétroactions qu’après des délais de plusieurs jours lors de la remise de copies d’examens —, Skinner théorisa l’« enseignement programmé ».

Le principe de la machine à enseigner repose sur le découpage chirurgical de toute matière intellectuelle complexe (des mathématiques à la syntaxe grammaticale) en une série de modules élémentaires successifs de difficulté infinitésimale croissante, appelés « cadres » (frames). L’élève lit une information brève, répond activement à une sollicitation motrice (en composant une réponse écrite ou en actionnant un curseur), et reçoit une validation cognitive immédiate. Ce renforcement continu initial permet d’éradiquer toute anxiété liée à l’échec et de façonner la compétence conceptuelle pas à pas.

Une fois les notions fondamentales solidement ancrées dans le répertoire cognitif de l’apprenant, le système pédagogique moderne transpose le renforcement continu vers une valorisation intermittente et différée. Les technologies de ludification éducative (gamification) utilisent aujourd’hui avec brio ces mécanismes : l’attribution imprévisible de badges de réussite, de points d’expérience bonifiés aléatoires et de séquences de progression variables dynamise l’engagement intrinsèque de l’étudiant, l’amenant à investir des efforts intellectuels considérables avec un enthousiasme que les systèmes de punition et de notation académique classiques échouaient universellement à mobiliser.

11.3 Management organisationnel et incitations professionnelles

L’ingénierie des contingences skinnériennes a trouvé un terrain d’application particulièrement vaste dans les sciences de gestion, le management des ressources humaines et l’analyse organisationnelle du comportement (Organizational Behavior Management ou OBM). L’analyse critique des structures salariales modernes démontre que les systèmes de rémunération professionnelle fonctionnent comme des programmes de renforcement institutionnalisés opérant sur des millions de salariés :

Le salaire mensuel fixe traditionnel s’apparente sur le plan fonctionnel à un programme à intervalle fixe (FI de 30 jours). Comme prédit par les équations de Skinner, le programme à intervalle fixe génère structurellement un effet d’éventail ou de feston : une démobilisation post-renforcement en début de mois, suivie d’une accélération brutale de l’effort productif au fur et à mesure que l’échéance de l’évaluation ou de la paie se rapproche. De plus, n’asservissant pas le gain au volume d’action motrice réelle émise, le FI n’incite aucunement à l’excellence quantitative ou qualitative.

À l’autre extrémité du spectre, les politiques de rémunération variable au rendement — primes de commissionnement pour les équipes commerciales, travail à la tâche dans les entrepôts logistiques — répliquent les caractéristiques des programmes à proportion fixe (FR) : elles induisent des cadences de production très soutenues mais soumettent les travailleurs au risque sévère de « fuite du ratio » (ratio strain), se manifestant par une fatigue nerveuse chronique, du stress aigu et un épuisement professionnel majeur (burnout) lorsque les objectifs chiffrés sont relevés unilatéralement par les directions d’entreprises.

Pour contourner ces écueils, les consultants en OBM préconisent des matrices d’incitation diversifiées intégrant des gratifications intermittentes inattendues — félicitations managériales impromptues, primes de reconnaissance non plafonnées basées sur des ratios variables discrets, opportunités de développement professionnel aléatoires — qui entretiennent une dynamique motivationnelle bienveillante et résiliente, sans générer l’angoisse inhérente aux ratios fixes implacables.

12. Critiques méthodologiques, débats épistémologiques et postérité scientifique

12.1 Les objections de la révolution cognitive et du modèle humaniste

Malgré l’éclat de ses triomphes empiriques, le système théorique édifié par Skinner a fait l’objet d’attaques épistémologiques d’une virulence sans précédent à partir de la fin des années 1950, signant le déclin de l’hégémonie behavioriste au profit de la révolution cognitive. Le coup d’envoi de cette fronde intellectuelle fut porté en 1959 par le linguiste du Massachusetts Institute of Technology, Noam Chomsky, dans sa célèbre recension critique de l’ouvrage de Skinner Verbal Behavior.

Chomsky attaqua férocement l’extrapolation abusive des résultats obtenus sur des pigeons affamés dans des boîtes stériles pour expliquer des facultés humaines infiniment complexes telles que le langage, la créativité ou la pensée abstraite. Selon Chomsky, affirmer que le langage humain est un simple produit de renforcements opérants sélectifs constitue une absurdité biologique flagrante : un enfant acquiert sa langue maternelle avec une vitesse stupéfiante face à une pauvreté d’indices environnementaux manifeste (l’argument de la « pauvreté du stimulus »), sans avoir besoin d’être conditionné pastille par pastille, grâce à une structure innée spécialisée — la grammaire universelle. Le rejet méthodologique absolu des représentations mentales, de la mémoire computationnelle et des processus de traitement symbolique interne défendu par le béhaviorisme radical fut dénoncé comme un obscurantisme réduisant l’esprit à une machinerie mécanique aveugle.

Simultanément, le courant de la psychologie humaniste, guidé par des figures telles que Carl Rogers et Abraham Maslow, porta le fer sur le terrain ontologique et éthique. Rogers dénonça avec passion la réification de l’être humain inhérente au paradigme opérant. En réduisant l’individu à un automate façonné de l’extérieur par des ingénieurs du comportement, Skinner niait la dignité intrinsèque, l’agentivité subjective, la quête d’actualisation de soi et l’expérience existentielle intime de la liberté, ouvrant potentiellement la porte à des pratiques de manipulation totalitaire dystopiques.

12.2 Les contraintes biologiques et l’éthologie comparée

La seconde brèche théorique majeure, ironiquement, s’est ouverte de l’intérieur même de l’école des disciples directs de Skinner. En 1961, Marian et Keller Breland, deux anciens étudiants et collaborateurs dévoués de Skinner devenus éducateurs professionnels d’animaux pour le cinéma et les parcs zoologiques, publièrent un article aux répercussions sismiques intitulé sans équivoque The Misbehavior of Organisms (en hommage parodique au premier livre de Skinner, The Behavior of Organisms).

Les Breland rapportèrent une série d’échecs méthodologiques cuisants et inexplicables par les lois opérantes standard. En tentant de conditionner un raton laveur à insérer des pièces de monnaie dans un coffre-fort jouet sous programme intermittent pour une attraction foraine, ils constatèrent qu’au bout de quelques séances réussies, l’animal devenait totalement incapable d’exécuter la tâche. Au lieu de lâcher la pièce dans la fente pour recevoir sa pastille nutritive, le raton laveur s’accrochait désespérément à l’objet métallique, le frottait compulsivement entre ses pattes avant durant de longues minutes, le léchait et manifestait des comportements de lavage stéréotypés intraitables.

Les Breland baptisèrent ce phénomène la « dérive instinctive » (instinctive drift) :

• Lorsque le conditionnement opérant manipule des stimuli appétitifs primaires associés à la nourriture, les patterns de comportements innés hautement programmés par l’évolution phylogénétique de l’espèce — ici, le mouvement réflexe de dépiautage des coquillages chez le raton laveur — finissent inéluctablement par envahir, étouffer et anéantir le comportement opérant appris, même si cette régression prive l’animal de sa récompense alimentaire.
• Cette mise en évidence expérimentale porta un coup fatal au dogme behavioriste de la « tabula rasa » et au postulat d’« équipotentialité » universelle des stimuli défendu par Skinner, contraignant l’analyse comportementale à reconnaître les limites biologiques imposées par l’architecture adaptative sélectionnée au cours de l’histoire évolutive de chaque taxon.

12.3 L’héritage durable de Skinner dans les neurosciences computationnelles

L’émergence de ces critiques lucides n’a pourtant nullement condamné l’œuvre de B.F. Skinner au cimetière des paradigmes scientifiques abandonnés. Au contraire, expurgé de ses prétentions totalisantes et réintégré au sein d’un cadre matérialiste pluraliste, l’héritage skinnérien a connu une résurrection éclatante et féconde à l’avant-garde des sciences contemporaines, singulièrement dans l’intelligence artificielle et les neurosciences computationnelles.

La théorie moderne de l’apprentissage par renforcement (Reinforcement Learning), formalisée en informatique par Richard Sutton et Andrew Barto et constituant le moteur sous-jacent aux exploits prodigieux des modèles contemporains comme AlphaZero ou les réseaux de neurones profonds génératifs, est directement et explicitement bâtie sur les fondations conceptuelles de Skinner et Thorndike. La distinction entre exploration (essayer de nouvelles réponses motrices sous incertitude) et exploitation (presser le levier optimal pour capturer la récompense), le concept d’état environnemental, et la formalisation des politiques de distribution d’action ne sont que les transcriptions algorithmiques modernes des programmes de renforcement partiel.

Au niveau empirique de l’observation micro-comportementale quotidienne, les invariants fonctionnels cartographiés par Skinner — des festons du FI à la dynamique effrénée du VR — conservent une validité descriptive indestructible. Aucun modèle rival n’est parvenu à contredire la réalité mathématique de ces tracés cumulatifs qui se dessinent avec une régularité universelle du rongeur à l’être humain connecté à son smartphone. En dotant la psychologie d’outils métrologiques irréprochables, d’une épistémologie de l’action écologique et d’une lucidité implacable sur les déterminants environnementaux qui sculptent le vivant, B.F. Skinner s’est hissé au panthéon des architectes fondateurs de la science moderne, léguant à l’humanité les clés indispensables pour comprendre — et potentiellement émanciper — les mécanismes invisibles qui dirigent ses conduites.

Références

Amsel, A. (1958). The role of frustrative nonreward in noncontinuous reward situations. Psychological Bulletin, 55(2), 102–119. https://doi.org/10.1037/h0043125

Berridge, K. C., & Robinson, T. E. (1998). What is the role of dopamine in reward: Hedonic impact, reward learning, or incentive salience? Brain Research Reviews, 28(3), 309–369. https://doi.org/10.1016/S0165-0173(98)00019-8

Breland, K., & Breland, M. (1961). The misbehavior of organisms. American Psychologist, 16(11), 681–684. https://doi.org/10.1037/h0040090

Capaldi, E. J. (1966). Partial reinforcement: A hypothesis of sequential effects. Psychological Review, 73(5), 459–477. https://doi.org/10.1037/h0023675

Chomsky, N. (1959). A review of B. F. Skinner’s Verbal Behavior. Language, 35(1), 26–58. https://doi.org/10.2307/411334

Clark, L., Lawrence, A. J., Astley-Jones, F., & Gray, N. (2009). Gambling near-misses enhance motivation to gamble and activate neural reward circuitry. Neuron, 62(4), 577–585. https://doi.org/10.1016/j.neuron.2009.04.010

Ferster, C. B., & Skinner, B. F. (1957). Schedules of reinforcement. Appleton-Century-Crofts. https://doi.org/10.1037/10627-000

Fiorillo, C. D., Tobler, P. N., & Schultz, W. (2003). Discrete coding of reward probability and uncertainty by dopamine neurons. Science, 299(5614), 1898–1902. https://doi.org/10.1126/science.1077349

Fogg, B. J. (2002). Persuasive technology: Using computers to change what we think and do. Morgan Kaufmann Publishers.

Herrnstein, R. J. (1961). Relative and absolute strength of response as a function of frequency of reinforcement. Journal of the Experimental Analysis of Behavior, 4(3), 267–272. https://doi.org/10.1901/jeab.1961.4-267

Mowrer, O. H., & Jones, H. D. (1945). Habit strength as a function of the pattern of reinforcement. Journal of Experimental Psychology, 35(4), 293–311. https://doi.org/10.1037/h0058828

Pavlov, I. P. (1927). Conditioned reflexes: An investigation of the physiological activity of the cerebral cortex. Oxford University Press.

Rachlin, H. (1980). Behaviorism in everyday life. Prentice-Hall.

Schultz, W., Dayan, P., & Montague, P. R. (1997). A neural substrate of prediction and reward. Science, 275(5306), 1593–1599. https://doi.org/10.1126/science.275.5306.1593

Schüll, N. D. (2012). Addiction by design: Machine gambling in Las Vegas. Princeton University Press. https://doi.org/10.1515/9781400834655

Skinner, B. F. (1938). The behavior of organisms: An experimental analysis. Appleton-Century.

Skinner, B. F. (1953). Science and human behavior. Macmillan.

Skinner, B. F. (1971). Beyond freedom and dignity. Alfred A. Knopf.

Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction (2nd ed.). The MIT Press.

Thorndike, E. L. (1898). Animal intelligence: An experimental study of the associative processes in animals. The Psychological Review: Monograph Supplements, 2(4), i–109. https://doi.org/10.1037/h0092987