L’expérience de l’erreur de prédiction de la récompense – Wolfram Schultz

Dans l’histoire des neurosciences contemporaines, peu de découvertes ont provoqué une onde de choc conceptuelle aussi profonde que celle réalisée par le neurophysiologiste Wolfram Schultz et ses collaborateurs à la fin du XXe siècle. Durant plusieurs décennies, la dopamine a été cantonnée dans l’imaginaire populaire et dans les premiers manuels universitaires au rôle réducteur de « molécule du plaisir ». Cette vision hédonique, bien que séduisante par sa simplicité, laissait dans l’ombre les mécanismes computationnels complexes par lesquels un organisme vivant s’adapte, apprend de ses réussites et affine continuellement ses prédictions pour survivre dans un environnement dynamique et incertain.

En introduisant une rigueur méthodologique sans précédent dans l’enregistrement électrophysiologique unitaire chez le primate non humain, Schultz a mis en lumière un phénomène révolutionnaire : les neurones dopaminergiques du mésencéphale ne s’activent pas proportionnellement à la valeur absolue d’une récompense, mais réagissent à l’écart précis entre ce qui était attendu et ce qui est effectivement survenu. Ce signal biophysique bidirectionnel, désormais universellement désigné sous le terme d’erreur de prédiction de la récompense (ou Reward Prediction Error, RPE), a constitué la passerelle empirique tant attendue entre les sciences biologiques du cerveau et les théories mathématiques de l’apprentissage machine.

Le présent article propose une exploration exhaustive de cette aventure scientifique majeure. En analysant la transition conceptuelle qui a libéré la dopamine de son carcan purement hédonique, en détaillant les protocoles expérimentaux d’une précision millimétrique élaborés à Fribourg puis à Cambridge, et en décortiquant les équations formelles de l’apprentissage par différences temporelles, nous mettrons en évidence comment une simple modulation du taux de décharge neuronale est devenue le fondement de la neuroéconomie, de la psychiatrie computationnelle et des architectures les plus avancées de l’intelligence artificielle contemporaine.

1. Introduction historique et fondements théoriques des travaux de Wolfram Schultz

1.1 Le contexte neurobiologique et behavioriste précurseur

L’étude de l’apprentissage animal et humain a longtemps été dominée par deux paradigmes fondateurs issus du béhaviorisme expérimental : le conditionnement classique pavlovien, formalisé par Ivan Pavlov au début du XXe siècle, et le conditionnement opérant ou instrumental développé par B.F. Skinner. Pavlov avait magistralement démontré qu’un stimulus initialement neutre (le stimulus conditionnel, ou CS) pouvait, après avoir été apparié de manière répétée à un stimulus inconditionnel biologiquement significatif (le stimulus inconditionnel, ou US, tel que de la nourriture), acquérir la capacité d’évacuer une réponse comportementale conditionnée (CR). De son côté, Skinner mettait l’accent sur les conséquences d’une action motrice, démontrant que la probabilité d’occurrence d’un comportement est directement modulée par la nature renforçante ou punitive de ses effets sur l’environnement.

Néanmoins, ces approches béhavioristes classiques souffraient d’une limitation épistémologique délibérée : en traitant le cerveau comme une « boîte noire » impénétrable, elles refusaient d’explorer les substrats neurobiologiques qui sous-tendent la formation des associations et l’encodage de la valeur. Ce modèle purement fonctionnaliste a commencé à se fissurer de l’intérieur grâce aux célèbres expériences menées en 1954 par James Olds et Peter Milner. En implantant des électrodes de stimulation chez le rat, ils ont découvert par sérendipité l’existence de sites cérébraux d’auto-stimulation intracrânienne (ICSS), situés notamment le long du faisceau médian du télencéphale (MFB). Les animaux préféraient s’administrer des impulsions électriques dans ces structures plutôt que de s’alimenter ou de boire, révélant de manière irréfutable l’existence d’un système cérébral de récompense dédié et phylogénétiquement conservé.

Au cours des années 1960 et 1970, l’avènement des techniques d’histochimie par fluorescence, mises au point par l’école suédoise de Falck et Hillarp, a permis de cartographier avec précision les systèmes monoaminergiques centraux. La dopamine, longtemps considérée comme un simple précurseur métabolique de la noradrénaline, a été identifiée comme un neurotransmetteur autonome hautement concentré au sein de voies anatomiques spécifiques reliant le mésencéphale au prosencéphale. Dès lors, les neurobiologistes ont commencé à suspecter que l’auto-stimulation découverte par Olds et Milner reposait sur l’activation artificielle de ces faisceaux dopaminergiques ascendants, positionnant cette amine biogène au cœur des circuits cérébraux de la motivation et du plaisir.

1.2 Le postulat initial : la dopamine comme simple signal d’hédonisme

Sous l’impulsion des découvertes pharmacologiques montrant que les neuroleptiques (antagonistes des récepteurs dopaminergiques) réduisaient drastiquement l’auto-stimulation électrique et la consommation de solutions sucrées chez les rongeurs, le psychologue Roy Wise formula à la fin des années 1970 la très influente « hypothèse de l’anhédonie ». Selon cette théorie séduisante, la libération de dopamine dans les structures limbiques constituait l’équivalent neurochimique direct du plaisir sensoriel : bloquer la transmission dopaminergique équivalait, selon les termes de Wise, à éteindre la capacité même de ressentir la délectation subjective induite par un renforçateur primaire, plongeant l’animal dans un état d’indifférence affective.

Cette interprétation a toutefois rapidement engendré une profonde confusion conceptuelle entre le plaisir sensoriel ressenti au moment de la consommation (l’hédonisme au sens strict) et la force motivationnelle qui pousse un individu à agir pour obtenir un objet gratifiant (l’incitation motivationnelle). Dès le début des années 1980, une série d’anomalies empiriques est venue ébranler l’hypothèse de l’anhédonie. Les travaux pionniers de Kent Berridge ont зокрема démontré que des rats présentant une déplétion quasi totale en dopamine du striatum ventral conservaient intactes leurs réactions orofaciales de plaisir (les mimiques d’ingestion gustative) face à une solution de saccharose, tout en étant totalement incapables d’initier des actions pour se nourrir par eux-mêmes.

Parallèlement, d’autres observations indiquaient que les neurones dopaminergiques pouvaient décharger en réponse à des stimuli aversifs intenses ou à des événements hautement inattendus mais dépourvus de toute valeur hédonique positive. Ces données incompatibles avec la théorie hédonique classique exigeaient une refonte paradigmatique totale. Il devenait impératif de cesser de considérer la dopamine comme un simple thermomètre du plaisir éprouvé pour examiner son rôle dans le traitement de l’information prédictive, la plasticité synaptique orientée vers le futur et la mise à jour dynamique des représentations internes du monde extérieur.

1.3 La trajectoire scientifique de Wolfram Schultz dans les années 1980 et 1990

C’est dans ce paysage intellectuel en pleine mutation que s’inscrit la carrière scientifique de Wolfram Schultz. Médecin et neurophysiologiste de formation d’origine allemande, Schultz a développé ses compétences dans l’enregistrement de l’activité unitaire de neurones isolés chez l’animal vigile, une méthodologie de pointe perfectionnée par des figures telles qu’Edward Evarts aux États-Unis. Installé à l’Institut de Physiologie de l’Université de Fribourg en Suisse au cours des années 1980, Schultz a entrepris d’analyser systématiquement le fonctionnement électrophysiologique des noyaux dopaminergiques du tronc cérébral chez le macaque rhésus.

À cette époque, la vision dominante en neurologie clinique considérait principalement la dopamine à travers le prisme de la motricité, en raison de la dégénérescence massive des neurones de la substance noire observée dans la maladie de Parkinson. Les premières recherches de Schultz visaient donc logiquement à déterminer si les neurones dopaminergiques déchargeaient en corrélation étroite avec les paramètres cinématiques du mouvement, tels que la vitesse, la force ou la direction de la trajectoire d’un membre. Les résultats furent déconcertants : contrairement aux neurones du cortex moteur primaire ou des noyaux gris centraux, les cellules dopaminergiques ne présentaient qu’une relation très ténue, voire totalement absente, avec l’exécution motrice pure.

Face à cette impasse apparente, Schultz opéra une bifurcation méthodologique et conceptuelle audacieuse. En observant attentivement le comportement de ses singes au cours de tâches instrumentales complexes, il remarqua que les neurones dopaminergiques modulaient intensément leur activité lorsque l’animal tendait la main vers une boîte contenant une friandise cachée, mais cessaient de répondre une fois que la tâche devenait machinale et parfaitement routinière. Cette intuition le conduisit à abandonner l’étude de la motricité brute pour concevoir des protocoles expérimentaux spécifiquement dédiés à l’apprentissage associatif et à la récompense. Cette transition stratégique allait jeter les bases empiriques de ce qui deviendrait l’une des plus grandes révolutions des neurosciences cognitives modernes.

2. Le paradigme expérimental original : méthodologie et protocole neurophysiologique

2.1 Le modèle animal et les conditions d’expérimentation

Pour percer les mystères du codage neuronal de la récompense, Wolfram Schultz fit le choix délibéré d’utiliser le macaque rhésus (Macaca mulatta). Ce modèle animal offrait des avantages considérables sur le plan translationnel : une organisation anatomique des ganglions de la base et du cortex frontal remarquablement similaire à celle de l’être humain, un répertoire comportemental riche et une capacité d’apprentissage exceptionnelle pour des tâches visuelles et motrices sophistiquées sur de longues périodes temporelles.

L’expérimentation reposait sur l’implantation chirurgicale stéréotaxique, réalisée sous anesthésie générale profonde et selon des règles éthiques particulièrement rigoureuses, d’une chambre d’enregistrement métallique fixée sur le crâne de l’animal. Ce dispositif permettait d’introduire quotidiennement, avec une précision micrométrique, des microélectrodes de tungstène ou de platine-iridium isolées par du verre ou du polyimide pour recueillir les variations de potentiel extracellulaire générées par des corps cellulaires individuels au sein des structures profondes du mésencéphale.

Pendant les sessions d’enregistrement, l’animal était assis confortablement dans une chaise pour primate spécialement conçue, la tête stabilisée de manière totalement indolore afin d’éviter tout artefact de mouvement qui compromettrait la stabilité de l’enregistrement électrophysiologique unitaire. La délivrance des récompenses était administrée au moyen d’une électrovanne ultra-rapide connectée à une canule buccale, permettant d’injecter des volumes calibrés au microlitre près de jus de fruits appétents ou de solution de saccharose, tout en contrôlant scrupuleusement l’état d’hydratation et le bien-être général de l’animal tout au long du protocole.

2.2 Structure séquentielle des tâches de conditionnement pavlovien et instrumental

Le protocole mis au point par Schultz et ses collaborateurs comportait deux grands types de tâches : des tâches de conditionnement purement pavlovien et des tâches instrumentales nécessitant une action volontaire. Dans les paradigmes pavloviens, l’animal était passif et devait simplement fixer un écran sur lequel apparaissaient des stimuli visuels géométriques arbitraires (tels que des carrés, des cercles ou des triangles de différentes couleurs) ou écouter des stimuli auditifs purs d’une fréquence déterminée.

Chaque essai expérimental débutait par la présentation d’un stimulus conditionnel (CS) d’une durée brève (typiquement de 500 à 1000 millisecondes). Un intervalle temporel strictement constant et calibré, variant selon les expériences de 1 à 2,5 secondes, séparait la fin ou le début de ce stimulus de l’ouverture de l’électrovanne délivrant la récompense liquide (US). L’utilisation d’un délai temporel fixe et invariable était un paramètre méthodologique crucial, car il permettait au système nerveux de l’animal d’encoder non seulement la nature de la récompense, mais également le moment précis de son apparition dans le temps.

Dans les tâches instrumentales, l’animal devait, dès l’apparition du stimulus visuel, poser sa main sur un levier ou toucher une cible sur un écran tactile pour déclencher la délivrance ultérieure du jus de fruit. Les signaux électriques extracellulaires recueillis par la microélectrode étaient amplifiés, filtrés par des circuits électroniques analogiques puis numérisés à haute fréquence. Des discriminateurs de hauteur d’amplitude ou des algorithmes de tri de formes d’ondes (spike sorting) permettaient d’isoler l’activité d’un seul et unique neurone avec une résolution temporelle inférieure à la milliseconde, corrélant précisément chaque potentiel d’action aux événements sensoriels, moteurs et renforçateurs de la tâche.

2.3 Les trois phases temporelles fondamentales du protocole

L’architecture expérimentale conçue par Schultz s’articulait autour de trois conditions ou phases séquentielles fondamentales, dont la comparaison allait révéler la nature computationnelle du signal dopaminergique :

• La phase initiale (récompense non prédite) : L’animal n’a reçu aucun entraînement préalable. De manière totalement aléatoire et sans aucun stimulus annonciateur dans l’environnement, l’électrovanne s’ouvre et délivre une goutte de liquide sucré dans sa bouche. La récompense constitue ici une surprise totale, un événement biologiquement favorable mais imprévisible.
• La phase d’apprentissage stabilisé (récompense entièrement prédite) : L’animal est soumis à des centaines d’essais où le stimulus visuel ou auditif précède systématiquement la délivrance du liquide avec un intervalle temporel parfaitement régulier. Au terme de cet entraînement intensif, l’animal a appris l’association avec une certitude absolue : le stimulus est devenu un prédicteur infaillible de la récompense à venir.
• La phase de test critique (omission inattendue de la récompense) : Après la phase d’apprentissage, le stimulus prédictif est présenté exactement comme d’habitude, générant chez l’animal l’attente certaine du liquide sucré. Cependant, à l’instant précis où l’électrovanne aurait dû s’actionner, aucun liquide n’est délivré. La récompense est omise, créant une violation dramatique de l’anticipation temporelle construite par le sujet.

3. Les neurones dopaminergiques et l’enregistrement unitaire dans l’aire tegmentale ventrale et la substance noire

3.1 Identification anatomique et électrophysiologique des structures cibles

L’investigation de Schultz nécessitait un ciblage anatomique d’une précision chirurgicale absolue au sein du mésencéphale ventral des primates. Deux structures nucléaires adjacentes contenaient l’écrasante majorité des corps cellulaires dopaminergiques cérébraux : la pars compacta de la substantia nigra (groupe cellulaire A9 selon la nomenclature classique de Dahlström et Fuxe) et l’aire tegmentale ventrale de Tsai (groupe cellulaire A10), située plus médialement.

La substantia nigra pars compacta (SNc) projette massivement vers le striatum dorsal (formé par le noyau caudé et le putamen), constituant la voie nigrostriée impliquée traditionnellement dans la régulation motrice et la formation des habitudes. L’aire tegmentale ventrale (VTA), quant à elle, donne naissance à la voie mésolimbique (qui innerve le striatum ventral, notamment le noyau accumbens) et à la voie mésocorticale (qui projette vers le cortex préfrontal, le cortex orbitofrontal et l’amygdale), structures intimement associées au traitement motivationnel et affectif.

Sur le plan électrophysiologique, distinguer un neurone dopaminergique d’un interneurone GABAergique ou d’un neurone glutamatergique voisin au sein de ces structures denses représentait un défi technique majeur. Schultz et d’autres neurophysiologistes ont établi des critères d’identification extracellulaire standardisés particulièrement fiables : les neurones dopaminergiques se caractérisent par des potentiels d’action atypiquement longs (durée broad-spike supérieure à 2,0 voire 2,5 millisecondes, avec une composante positive initiale proéminente suivie d’une onde négative lente) et une fréquence de décharge basale spontanée remarquablement basse, contrastant vivement avec les interneurones GABAergiques qui émettent des potentiels d’action très étroits à haute fréquence.

3.2 Modes de décharge neuronale : activité tonique versus phasique

L’observation minutieuse de l’activité spontanée des cellules dopaminergiques a révélé l’existence de deux régimes de fonctionnement biophysique radicalement distincts mais fonctionnellement complémentaires : le mode tonique et le mode phasique.

Le mode tonique correspond à une activité basale d’allure stimulée par des courants de pacemaker intrinsèques (notamment des canaux calciques de type L et des canaux cationiques activés par l’hyperpolarisation dits canaux HCN). Dans ce régime, le neurone émet des potentiels d’action isolés de manière régulière ou légèrement irrégulière à des fréquences faibles, oscillant continuellement entre 1 et 5 Hz. Cette décharge tonique maintient une concentration basale nanomolaire de dopamine dans les fentes synaptiques et l’espace extracellulaire des structures cibles, assurant une homéostasie nécessaire à la réactivité normale des circuits moteurs et motivationnels.

Le mode phasique, à l’inverse, est déclenché par des afférences synaptiques excitatrices massives provenant de diverses régions du tronc cérébral et du prosencéphale. Il se manifeste par des bouffées de décharge (bursts) extrêmement brèves et intenses, composées de deux à six potentiels d’action consécutifs émis à des fréquences intra-bouffée pouvant atteindre 20 à 50 Hz, avec une diminution progressive de l’amplitude des pointes au sein de la salve. Ces bouffées phasiques provoquent une élévation locale massive, transitoire et micromolaire de la concentration de dopamine dans les territoires d’innervation, saturant temporairement les mécanismes de recapture assurés par le transporteur de la dopamine (DAT) et envoyant ainsi un signal discret et hautement synchronisé aux structures réceptrices.

3.3 L’homogénéité surprenante de la réponse phasique des neurones dopaminergiques

L’un des résultats les plus spectaculaires rapportés par Schultz résidait dans l’homogénéité frappante des réponses phasiques enregistrées au sein de la population dopaminergique. Qu’ils soient situés dans la VTA (A10) ou dans la SNc (A9), entre 70 % et 80 % des neurones dopaminergiques réagissaient de façon quasi identique et synchronisée lors des événements expérimentaux liés à la récompense.

Cette synchronisation de population s’accompagnait d’une invariance remarquable quant à la modalité sensorielle des stimuli inducteurs. Que l’indice prédictif soit une lumière verte clignotante, l’apparition d’un polygone sur un moniteur vidéo ou un son sinusoïdal diffusé par un haut-parleur, la décharge phasique conservait une morphologie et une latence hautement similaires. Le neurone dopaminergique semblait faire abstraction totale des caractéristiques physiques superficielles du stimulus pour n’extraire et n’encoder qu’une seule métrique universelle : sa signification motivationnelle et prédictive par rapport à la récompense.

De surcroît, la diffusion anatomique extrêmement large et divergente des axones dopaminergiques—un seul neurone de la substance noire pouvant émettre des dizaines de milliers de varicosités synaptiques réparties sur de vastes volumes du striatum—indiquait que ce signal phasique n’était pas acheminé vers une colonne corticale isolée, mais diffusé de façon globale comme un signal de radiodiffusion (broadcast signal) destiné à orchestrer la plasticité d’immenses réseaux neuronaux distribués.

4. La dynamique temporelle des signaux dopaminergiques : de la récompense brute à l’indice prédictif

4.1 Réponse initiale à la récompense non prédite

Lorsque le singe, n’ayant encore fait l’objet d’aucun conditionnement préalable, recevait de manière inattendue une goutte de jus de fruit, Schultz et ses collègues enregistrèrent une réaction électrophysiologique immédiate et stéréotypée : le neurone dopaminergique répondait par une puissante bouffée phasique d’activité.

Cette activation présentait une latence temporelle très brève et remarquablement stable, survenant entre 70 et 100 millisecondes après le contact du liquide avec la cavité buccale de l’animal, et se prolongeait pendant une durée comprise entre 100 et 200 millisecondes avant que la cellule ne réintègre son taux de décharge tonique de base. Durant cette courte fenêtre d’excitation, la fréquence instantanée de décharge pouvait bondir de 3 Hz à plus de 30 ou 40 Hz.

Dans un premier temps, les chercheurs auraient pu légitimement interpréter cette bouffée phasique comme la preuve tant recherchée du postulat hédonique classique : le neurone réagirait simplement à la valeur gustative positive du nutriment sucré, codant la présence sensorielle du renforçateur. Cependant, une analyse plus poussée a révélé l’absence totale de modulation de la décharge avant l’arrivée du liquide, prouvant que le neurone ne manifestait aucune prémonition interne. La question cruciale était désormais de savoir ce qu’il adviendrait de cette décharge dès lors que l’arrivée du sucre deviendrait prévisible pour l’animal.

4.2 Le transfert temporel progressif de l’activation neuronale

C’est ici que s’est produit le tournant conceptuel historique. Au fil des répétitions de l’association temporelle entre le stimulus conditionnel (CS) et la délivrance de la récompense (US), Schultz a documenté un phénomène stupéfiant de migration temporelle de l’information neuronale.

Au fur et à mesure que l’animal apprenait que le stimulus visuel ou auditif annonçait immanquablement le jus de fruit avec un délai fixe, la réponse phasique des neurones dopaminergiques a progressivement glissé vers l’arrière dans le temps :

• Elle a commencé à émerger avec vigueur dès l’instant précis où le stimulus prédictif (l’indice sensoriel) faisait son apparition.
• Simultanément, la décharge phasique qui survenait initialement lors de la délivrance effective de la récompense liquide s’est atténuée d’essai en essai, jusqu’à s’éteindre totalement une fois le conditionnement parachevé.

Chez un animal parfaitement entraîné, la consommation physique de la récompense appétente ne provoquait plus la moindre altération du taux de décharge tonique : le neurone continuait à émettre paisiblement ses 2 à 4 potentiels d’action par seconde, comme s’il était totalement indifférent au fait que le singe soit en train de savourer son nectar préféré. Cette observation pulvérisait définitivement l’hypothèse de la dopamine-plaisir : si la dopamine incarnait la sensation subjective de délectation gustative, son signal ne pouvait en aucun cas disparaître au moment même où le sujet consommait la substance gratifiante. La décharge dopaminergique ne codait pas la récompense en tant que telle, mais la survenue d’une information nouvelle et inattendue sur la disponibilité future de cette récompense.

4.3 La réaction à l’omission : la dépression d’activité en dessous du niveau basal

La confirmation irréfutable du caractère prédictif et computationnel de ce signal a été apportée par la troisième condition expérimentale : l’omission inopinée du renforçateur. Après que l’animal eut solidement appris l’association, les expérimentateurs présentaient le stimulus conditionnel habituel : comme attendu, le neurone dopaminergique répondait par sa vigoureuse bouffée phasique à l’apparition de l’indice visuel.

Cependant, à l’instant temporel exact où l’électrovanne aurait dû délivrer la goutte de jus de fruit (par exemple, précisément 1,5 seconde après le stimulus), aucune récompense n’apparaissait. Les enregistrements ont alors révélé un profil électrophysiologique saisissant : exactement au moment précis où le liquide était attendu, les potentiels d’action du neurone dopaminergique se sont soudainement interrompus, marquant une pause complète de décharge (un silence neuronal quasi absolu) pendant une période de 200 à 500 millisecondes, faisant chuter l’activité bien en dessous de la ligne de base tonique, avant de reprendre lentement son rythme de repos spontané.

Cette inhibition transitoire démontrait avec éclat que le cerveau du singe avait encodé avec une précision chronométrique aiguë non seulement la probabilité de survenue de la récompense, mais son positionnement temporel exact. L’omission de l’événement positif se traduisait par un signal biphasique et directionnel : une baisse d’activité sous le niveau tonique spontané. Le neurone ne signalait pas un état statique, mais calculait en temps réel une soustraction algébrique entre ce que l’organisme expérimentait à l’instant présent et ce qu’il avait anticipé sur la base de son expérience passée.

5. La mathématisation du phénomène : le modèle de Rescorla-Wagner et l’apprentissage par renforcement temporel

5.1 La convergence historique entre neurophysiologie et informatique théorique

Tandis que Wolfram Schultz accumulait patiemment ses données électrophysiologiques dans son laboratoire fribourgeois au milieu des années 1990, des chercheurs issus de l’informatique théorique et de la psychologie mathématique travaillaient sur des modèles formels d’apprentissage automatique dont les équations semblaient étrangement résonner avec les tracés d’oscilloscopes du physiologiste.

Dès 1972, les psychologues américains Robert Rescorla et Allan Wagner avaient révolutionné la théorie de l’apprentissage animal en publiant le célèbre modèle de Rescorla-Wagner. Ce modèle postulait que l’apprentissage associatif ne dépendait pas simplement de la contiguïté temporelle entre deux stimuli, mais de la surprise cognitive générée par l’inattendu. L’ajustement de la force associative était proportionnel à l’écart entre la valeur réelle du renforçateur obtenu et la somme des valeurs prédites par l’ensemble des stimuli présents lors de l’essai. Cependant, le modèle de Rescorla-Wagner souffrait d’un angle mort mathématique : il s’agissait d’un modèle discret, essai par essai (trial-by-trial), incapable de modéliser les dynamiques intra-essais et le passage continu du temps à l’intérieur d’un même essai expérimental.

Pour combler cette lacune, deux pionniers de l’intelligence artificielle, Richard Sutton et Andrew Barto, avaient développé au début des années 1980 l’algorithme des différences temporelles (Temporal Difference Learning ou TD-Learning). Cet algorithme résolvait élégamment le problème de l’assignation du crédit temporel en permettant à un agent artificiel d’actualiser ses prédictions à chaque instant en comparant l’état courant à l’état immédiatement consécutif.

La rencontre intellectuelle entre Wolfram Schultz et deux théoriciens des neurosciences computationnelles, Peter Dayan et P. Read Montague, fut une véritable épiphanie scientifique. En découvrant les données d’enregistrement unitaire de Schultz, Dayan et Montague réalisèrent immédiatement que la décharge phasique des neurones dopaminergiques n’était rien d’autre que l’incarnation biologique vivante du signal d’erreur de différence temporelle théorisé par Sutton et Barto. Cette synthèse magistrale fit l’objet d’une publication séminale dans la revue Science en 1997, scellant l’un des mariages les plus féconds de l’histoire des sciences cognitives.

5.2 L’équation de l’erreur de prédiction temporelle (TD Error)

Pour saisir toute la puissance de ce parallélisme neuro-computationnel, il convient d’expliciter le formalisme mathématique sous-jacent. Dans le cadre de l’apprentissage par différences temporelles, un agent cherche à estimer la valeur attendue d’un état à un instant t, notée V(s_t), qui représente la somme escomptée de toutes les récompenses futures pondérées par le temps :

À chaque pas de temps infinitésimal, le système calcule le signal d’erreur temporelle, universellement désigné par la lettre grecque delta ($\delta_t$), défini par l’équation suivante :

$$\delta_t = r_t + \gamma V(s_{t+1}) – V(s_t)$$

Dans cette formulation élégante :

• $r_t$ représente la magnitude de la récompense primaire effectivement reçue à l’instant t. Si aucune récompense physique n’est présente, ce terme est égal à zéro.
• $\gamma$ (gamma) désigne le facteur d’escompte temporel (discount factor), un scalaire compris entre 0 et 1 qui dévalue la valeur des récompenses futures au fur et à mesure qu’elles s’éloignent dans le temps, reflétant la préférence universelle des organismes pour les gratifications immédiates.
• $V(s_{t+1})$ incarne la valeur prédictive estimée du nouvel état dans lequel le système pénètre à l’instant immédiatement suivant.
• $V(s_t)$ constitue l’espérance ou la prédiction de récompense que le système entretenait initialement sur l’état courant.

Le terme combiné $[r_t + \gamma V(s_{t+1})]$ représente la nouvelle estimation révisée de la valeur totale, tandis que $V(s_t)$ représente l’ancienne prédiction. L’erreur de prédiction temporelle $\delta_t$ mesure précisément l’écart arithmétique entre cette réalité réévaluée et l’attente préalable. C’est exactement cette quantité $\delta_t$ qui contrôle l’amplitude et la polarité de la fréquence de décharge des neurones dopaminergiques :

• Si $\delta_t > 0$, la décharge neuronale explose au-dessus de la ligne de base (erreur positive).
• Si $\delta_t = 0$, la décharge demeure rigoureusement stationnaire à son rythme tonique (erreur nulle).
• Si $delta_t < 0$, la décharge est activement supprimée sous la ligne de base (erreur négative).

Ce signal $\delta_t$ sert ensuite à mettre à jour la fonction de valeur pour l’état antérieur selon une règle d’apprentissage linéaire simple régie par un taux d’apprentissage $\alpha$ (alpha) :

$$V(s_t) \leftarrow V(s_t) + \alpha \delta_t$$

5.3 Validité empirique de l’isomorphisme neuro-computationnel

L’adéquation entre les simulations informatiques générées par l’algorithme TD et les enregistrements électrophysiologiques réels de Schultz s’est avérée stupéfiante de précision. Le modèle mathématique reproduisait fidèlement non seulement le glissement progressif du pic d’activation de la délivrance du fluide vers l’apparition du stimulus prédictif, mais également l’exact profil de la pause inhibitrice observée lors des essais avec omission.

De manière encore plus remarquable, le formalisme TD a permis de fournir une explication computationnelle définitive à des phénomènes comportementaux complexes documentés depuis longtemps par les psychologues expérimentateurs, au premier rang desquels figure l’effet de blocage de Kamin (blocking effect). Découvert par Leon Kamin en 1969, ce phénomène montre que si un animal apprend initialement qu’un stimulus conditionnel A prédit une récompense, et qu’on lui présente ensuite de manière répétée un stimulus composé de deux indices simultanés A et B suivis de la même récompense, l’animal n’apprend absolument rien concernant le stimulus B : l’apprentissage envers B est « bloqué ».

L’équation de l’erreur de prédiction résout cette énigme avec une clarté limpide : dès lors que le stimulus A prédit déjà pleinement et sans ambiguïté l’intégralité de la récompense à venir ($V(s_t) = r_t$), le terme d’erreur $\delta$ est strictement égal à zéro lors de la délivrance du renforçateur. Par conséquent, aucune modification synaptique ne peut avoir lieu pour associer le stimulus B à la récompense, car l’apprentissage dépend exclusivement de la présence d’une erreur non nulle. Les enregistrements ultérieurs réalisés par Schultz et ses collaborateurs chez des primates soumis au protocole de Kamin ont confirmé que la présentation du stimulus B n’évoquait aucune décharge dopaminergique, apportant une validation neurophysiologique définitive à la règle de Rescorla-Wagner et au modèle de Sutton et Barto.

6. L’erreur de prédiction positive versus l’erreur de prédiction négative : analyse computationnelle

6.1 L’erreur de prédiction positive (Better than expected)

D’un point de vue computationnel, l’erreur de prédiction positive survient chaque fois que le résultat effectif d’un événement surpasse qualitativement, quantitativement ou temporellement l’anticipation formulée par l’organisme. Cet état est communément résumé par la maxime : « Le résultat est meilleur qu’attendu ».

Sur le plan biophysique, ce signal se traduit par une brutale transition du mode tonique vers le mode phasique. L’influx massif de calcium induit par les trains de potentiels d’action à haute fréquence déclenche une exocytose massive de vésicules synaptiques contenant la dopamine dans les terminaisons axonales du striatum et du cortex frontal. Ce flux dopaminergique phasique inonde préférentiellement les récepteurs dopaminergiques de type D1, des récepteurs métabotropiques couplés aux protéines G d’action stimulatrice (G$\alpha_s/olf$), caractérisés par une faible affinité pour le ligand et nécessitant donc de fortes concentrations de neurotransmetteur pour être saturés.

L’activation en cascade de la voie D1 stimule l’adénylate cyclase, augmente les taux d’adénosine monophosphate cyclique (AMPc) intracellulaire et active la protéine kinase A (PKA). Cette signalisation moléculaire induit une potentialisation à long terme (LTP) au niveau des synapses glutamatergiques provenant du cortex cérébral qui convergent sur les épines dendritiques des neurones épineux moyens (MSN) du striatum appartenant à la « voie directe » motrice. Sur le plan comportemental, cette consolidation synaptique renforce de manière sélective le programme moteur qui a précédé l’événement gratifiant, augmentant drastiquement la probabilité que l’animal réitère exactement la même action face au même contexte environnemental à l’avenir.

6.2 L’erreur de prédiction nulle (Fully predicted outcome)

L’erreur de prédiction nulle correspond à l’état de perfection homéostatique et cognitive : l’adéquation exacte entre l’attente générée par les modèles internes de l’organisme et la réalité empirique du monde extérieur. C’est la situation où « le résultat est rigoureusement conforme à ce qui était attendu ».

Dans cette configuration, l’apparition du renforçateur ne produit aucune déviation de l’activité dopaminergique : la décharge demeure inaltérée à son rythme tonique spontané d’environ 3 à 4 Hz. Bien que l’animal consomme activement la récompense matérielle et que ses récepteurs gustatifs transmettent des signaux sensoriels intenses vers le tronc cérébral et le cortex insulaire, le système dopaminergique mésencéphalique reste totalement silencieux sur le plan phasique.

Sur le plan computationnel, $\delta = 0$ signifie que les poids synaptiques encodant les associations antérieures ont atteint leur valeur asymptotique stable. Il n’y a plus aucune mise à jour nécessaire dans les matrices de connectivité corticostriatales : l’animal a achevé sa phase d’acquisition et se trouve désormais dans une phase d’exploitation purement exécutive. Cette stabilité préserve les apprentissages consolidés de toute interférence rétroactive inutile, démontrant que le cerveau est une machine économe qui n’engage ses ressources plastiques que face aux anomalies statistiques de son environnement.

6.3 L’erreur de prédiction négative (Worse than expected)

À l’autre extrémité du spectre se situe l’erreur de prédiction négative, qui sanctionne une déception cognitive : « Le résultat est pire qu’attendu » ou totalement absent. Cette condition correspond à la défaillance des prédictions internes du sujet face à une réalité frustrante.

Comme nous l’avons souligné, ce phénomène se manifeste par une interruption abrupte de l’émission des potentiels d’action toniques, plongeant les terminaisons striatales dans un vide dopaminergique transitoire. Cette chute brutale sous le seuil basal affecte en premier lieu les récepteurs dopaminergiques de type D2. Contrairement aux récepteurs D1, les récepteurs D2 possèdent une affinité nanomolaire extrêmement élevée pour la dopamine et sont continuellement stimulés par le niveau tonique spontané. Ces récepteurs sont couplés à des protéines G d’action inhibitrice (G$\alpha_i/o$), dont la fonction basale est de réprimer l’adénylate cyclase.

La pause dopaminergique lève brutalement cette inhibition tonique sur les neurones épineux moyens de la « voie indirecte » striatale, provoquant leur désinhibition et favorisant des mécanismes de dépression à long terme (LTD) sur la voie directe ou de plasticité inverse sur la voie indirecte. Sur le plan comportemental, ce silence neuronal agit comme un frein puissant : il fragilise les représentations motrices associées à l’indice prédictif défaillant, initie le processus d’extinction comportementale et confère à l’organisme la flexibilité cognitive indispensable pour abandonner des stratégies devenues obsolètes et réorienter son exploration vers de nouvelles opportunités de l’environnement.

7. Les circuits neuronaux afférents et efférents sous-tendant le calcul de l’erreur de prédiction

7.1 Les afférences calculatrices : d’où provient l’information d’erreur ?

L’une des questions neuroanatomiques les plus fascinantes soulevées par les découvertes de Schultz concerne l’origine du calcul arithmétique lui-même : comment un neurone dopaminergique, aux capacités computationnelles intrinsèques limitées, parvient-il à soustraire une prédiction complexe d’une récompense sensorielle immédiate ? La réponse réside dans un réseau distribué d’afférences sous-corticales et corticales hautement interconnectées.

La source majeure de signalisation négative—responsable de la pause inhibitrice lors des erreurs de prédiction négatives—provient de l’habénula latérale (LHb). L’habénula latérale est une structure épithalamique ancienne dont les neurones projettent massivement, soit directement, soit par l’intermédiaire du noyau tegmental rostromédial (RMTg, ou noyau de tail de la VTA), des axones glutamatergiques excitateurs vers des interneurones GABAergiques qui inhibent directement les cellules dopaminergiques. De manière symétrique et opposée à la dopamine, les neurones de la LHb s’activent vigoureusement lors de l’omission d’une récompense ou de l’apparition de stimuli punitifs, fonctionnant comme un centre anti-récompense qui coupe activement l’activité dopaminergique en cas de déception.

D’autres afférences cruciales participent à cette équation neurobiologique :

• Le striatum ventral (notamment le noyau accumbens) et les compartiments en patchs (striosomes) du striatum dorsal envoient des projections inhibitrices GABAergiques directes sur la SNc et la VTA. Ces projections sont suspectées de véhiculer le signal de soustraction de l’attente : en s’activant à l’instant attendu de la récompense, elles compensent exactement l’excitation sensorielle montante, annulant la réponse lorsque l’issue est totalement prédite.
• Le colliculus supérieur achemine des informations visuelles primaires ultra-rapides vers la VTA via des voies monosynaptiques, expliquant la latence extrêmement brève (moins de 100 ms) avec laquelle la dopamine réagit à des stimuli sensoriels saillants et inattendus.
• Le cortex orbitofrontal (OFC) et le cortex préfrontal médian projettent vers les neurones dopaminergiques et l’habénula, fournissant les représentations cognitives complexes de la structure de la tâche, des états cachés de l’environnement et des règles de transition probabilistes.

7.2 Les cibles efférentes : la diffusion et la réception du signal de renforcement

Une fois le calcul d’erreur accompli dans les corps cellulaires du mésencéphale, le signal sous forme de bouffées ou de pauses phasiques est projeté le long d’axones myélinisés puis largement non myélinisés vers les principales cibles télencéphaliques de l’encéphale.

L’innervation dopaminergique se scinde en plusieurs axes fonctionnels majeurs au niveau des systèmes efférents :

• Le striatum dorsal (putamen et noyau caudé) : Cible de la voie nigrostriée, il reçoit des signaux de renforcement essentiels pour l’apprentissage moteur, la sélection séquentielle des actions et la transformation de comportements orientés vers un but en routines d’actions automatisées (habitudes).
• Le striatum ventral (noyau accumbens – core et shell) : Cœur de la voie mésolimbique, il est le lieu d’attribution privilégié de la valeur d’incitation. C’est ici que l’erreur de prédiction transforme de simples stimuli environnementaux en indices attractifs magnétiques capables de mobiliser l’énergie de l’organisme.
• Le cortex frontal (cortex cingulaire antérieur, cortex préfrontal dorsolatéral et orbitofrontal) : Cibles de la voie mésocorticale, ces territoires utilisent le signal dopaminergique pour réguler la mémoire de travail, réévaluer les options de choix stratégiques et piloter l’allocation des ressources attentionnelles.

La réception du signal d’erreur au niveau cellulaire est régie par la distribution différentielle des récepteurs dopaminergiques couplés aux protéines G. Alors que les neurones épineux moyens de la voie directe striatale expriment majoritairement les récepteurs D1 stimulants, ceux de la voie indirecte expriment les récepteurs D2 inhibiteurs. Cette ségrégation anatomique permet au signal scalaire d’erreur d’orchestrer de manière coordonnée l’accélération d’un côté (renforcement de l’action via D1) et le freinage de l’autre (atténuation des comportements concurrents via D2).

7.3 La plasticité synaptique corticostriatale guidée par la dopamine

Le point d’ancrage fondamental par lequel l’erreur de prédiction modifie durablement le fonctionnement de l’encéphale se situe au niveau de la synapse tripartite corticostriatale. Sur chaque épine dendritique d’un neurone épineux moyen convergent deux terminaisons synaptiques distinctes : une terminaison glutamatergique provenant du néocortex (qui véhicule l’information sensorielle ou contextuelle sur l’état courant du monde) et une varicosité dopaminergique issue du mésencéphale (qui libère le signal d’erreur de prédiction).

Cette convergence morphologique constitue le support physique d’une forme sophistiquée de plasticité dépendante du timing des impulsions (Spike-Timing-Dependent Plasticity ou STDP), modulée par la dopamine (appelée règle à trois facteurs). L’activation conjointe du glutamate présynaptique et de la dépolarisation postsynaptique ne suffit pas à elle seule pour induire une potentialisation synaptique durable : elle génère une simple « trace d’éligibilité » biochimique transitoire dans l’épine dendritique.

C’est l’arrivée différée, dans une fenêtre temporelle de quelques centaines de millisecondes à quelques secondes, de la bouffée phasique de dopamine ($RPE > 0$) qui convertit cette trace d’éligibilité en une modification structurelle permanente par l’insertion stable de récepteurs glutamatergiques AMPA dans la membrane postsynaptique. Inversement, si une pause dopaminergique ($RPE < 0$) coïncide avec la trace d'éligibilité, les récepteurs AMPA sont internalisés par endocytose, provoquant une dépression synaptique durable. Ainsi, un signal chimique mésencéphalique global et non directionnel parvient à sculpter avec une précision chirurgicale les circuits neuronaux synaptiques spécifiques impliqués dans la réussite du comportement adaptatif.

8. La distinction neurobiologique entre plaisir, désir et apprentissage (Liking vs. Wanting)

8.1 La clarification conceptuelle introduite par Berridge et Robinson

La découverte de Wolfram Schultz démontrant que la dopamine s’atténue lors de la consommation de la récompense a trouvé son pendant psychologique théorique dans les travaux pionniers de Kent Berridge et Terry Robinson. Ces chercheurs ont proposé une dissociation conceptuelle et anatomique tripartite fondamentale qui a définitivement clarifié la sémiologie des processus de récompense, en distinguant trois composantes psychobiologiques intriquées mais autonomes :

• Le « Liking » (plaisir hédonique brut) : L’expérience affective immédiate et consumatoire de la jouissance sensorielle, ressentie par exemple lors de la dégustation d’un mets sucré ou de la satisfaction d’un besoin physiologique.
• Le « Wanting » (la saillance incitative ou désir) : La composante motivationnelle implicite qui confère aux représentations des récompenses et aux indices qui les annoncent une force d’attraction magnétique, transformant une simple information froide en un objectif impérieux qui pousse à l’action.
• Le « Learning » (l’apprentissage prédictif) : La formation et la mise à jour continue des associations cognitives, des contingences instrumentales et des représentations de valeur basées sur l’expérience cumulée des erreurs de prédiction passées.

Dans ce triptyque conceptuel, les découvertes de Schultz s’articulent intimement avec les composantes du Learning et du Wanting, tout en excluant de manière catégorique l’attribution du Liking direct au neurotransmetteur dopaminergique. La dopamine n’est pas la molécule de la jouissance affective, mais le moteur computationnel qui traduit l’expérience pour générer le désir et structurer les attentes futures.

8.2 Les médiateurs neurochimiques du plaisir hédonique

Si la dopamine ne fabrique pas le plaisir brut, quels sont les réseaux neurochimiques responsables de la sensation hédonique ? Les investigations pharmacologiques et immunohistochimiques approfondies menées par l’équipe de Berridge ont apporté une réponse incontestable : le véritable substrat du plaisir réside dans les systèmes opioïdes endogènes (met-enképhaline, bêta-endorphine) agissant sur les récepteurs mu-opioïdes, ainsi que dans les systèmes endocannabinoïdes (récepteurs CB1).

Ces systèmes hédoniques ne sont pas disséminés de manière uniforme dans l’encéphale, mais sont concentrés au sein d’îlots anatomiques hautement circonscrits d’un volume microscopique chez le rongeur (environ un millimètre cube), baptisés « hotspots hédoniques ». Ces hotspots sont principalement localisés dans :

• La partie rostrodorsale de la coque (shell) du noyau accumbens.
• La zone postérieure du pallidum ventral.
• Certaines régions du tronc cérébral, notamment le noyau parabrachial.

La micro-injection d’agonistes mu-opioïdes directement au sein de ces hotspots hédoniques décuple les réactions faciales objectives de délectation gustative (protusions linguales, léchage rythmique des babines) sans altérer la motivation générale. À l’inverse, des lésions neurotoxiques massives à la 6-hydroxydopamine (6-OHDA), qui détruisent 99 % des axones dopaminergiques ascendants, laissent ces expressions de jouissance hédonique rigoureusement intactes, bien que l’animal meure d’aphagie et d’adipsie si on ne le nourrit pas par gavage mécanique en raison de la destruction totale de son système de motivation motrice (Wanting).

8.3 Le rôle précis de l’erreur de prédiction dans la construction du désir

Quel est donc le lien organique qui unit l’erreur de prédiction de la récompense calculée par les cellules de Schultz et la pulsion motivationnelle (le désir) formalisée par Berridge ? Ce lien réside dans le mécanisme par lequel l’erreur de prédiction met dynamiquement à jour la valeur de saillance incitative assignée aux stimuli conditionnés.

Lorsqu’un stimulus neutre est initialement associé à une récompense, l’erreur de prédiction positive ($\delta > 0$) délivrée par la bouffée phasique de dopamine ne se borne pas à stocker une information abstraite dans la mémoire associative : elle « injecte » littéralement de la saillance incitative dans la trace mnésique du stimulus. Par ce processus, l’indice prédictif cesse d’être perçu comme un simple signal cognitif froid pour devenir un aimant motivationnel (un attracteur de comportements).

C’est ce qui explique que, chez un sujet entraîné, le stimulus conditionnel déclenche des comportements compulsifs d’approche, d’agrippement et de focalisation attentionnelle : l’indice prend la coloration affective de la récompense elle-même. La dopamine sert ainsi de passerelle électrophysiologique et moléculaire entre l’algorithme d’apprentissage associatif et le moteur motivationnel de l’action, démontrant que l’erreur de prédiction est la matière première à partir de laquelle le cerveau tisse le réseau complexe de ses désirs et de ses volontés d’agir.

9. Réplication, généralisation et limites méthodologiques des expériences de Schultz

9.1 La réplication inter-espèces et translationnelle chez l’humain

Les découvertes initiales de Wolfram Schultz sur les macaques ont été soumises à un examen critique approfondi au cours des décennies suivantes, conduisant à des réplications spectaculaires à travers une multitude de modèles animaux et chez l’être humain grâce à l’émergence des neurosciences moléculaires et de l’imagerie cérébrale non invasive.

Avec l’avènement de l’optogénétique chez le rongeur au cours des années 2000 et 2010, des chercheurs tels que Karl Deisseroth et Adam Kepecs ont apporté la preuve causale ultime des thèses de Schultz. En ciblant génétiquement l’expression de canaux ioniques photosensibles (comme la canalrhodopsine-2) exclusivement dans les neurones dopaminergiques de la VTA de souris, ils ont démontré qu’une illumination laser de quelques millisecondes—mimant artificiellement une bouffée phasique dopaminergique exactement au moment où un renforçateur attendu est délivré—suffit à restaurer l’apprentissage en brisant expérimentalement le phénomène de blocage de Kamin. Inversement, l’inhibition optogénétique hyperpolarisante (par l’halorhodopsine) au moment de la récompense induit artificiellement une extinction du comportement comme lors d’une véritable omission.

Chez l’être humain, l’avènement de l’imagerie par résonance magnétique fonctionnelle (IRMf) événementielle a permis de sonder ces circuits de manière indirecte. Des études emblématiques (notamment menées par John O’Doherty et Peter Bossaerts) ont corrélé les décours temporels des signaux BOLD (Blood-Oxygen-Level Dependent) du striatum ventral et du cortex orbitofrontal avec les trajectoires de l’erreur de prédiction temporelle calculées par des modèles algorithmiques TD individuels. Plus exceptionnellement encore, des enregistrements peropératoires de microélectrodes ou de voltampérométrie cyclique à balayage rapide (FSCV) réalisés chez des patients atteints de la maladie de Parkinson ou de tremblements essentiels subissant une chirurgie de stimulation cérébrale profonde (DBS) ont confirmé l’existence de fluctuations rapides de libération de dopamine dans le striatum humain qui épousent rigoureusement les prédictions du modèle d’erreur de prédiction.

Cette conservation phylogénétique du mécanisme s’étend des insectes (comme la mouche du vinaigre Drosophila melanogaster, où les neurones à octopamine et dopamine jouent des rôles computationnels analogues) jusqu’à l’homme, prouvant que l’erreur de prédiction de récompense représente l’une des solutions algorithmiques les plus anciennes et universelles sélectionnées par l’évolution biologique pour réguler l’adaptation comportementale.

9.2 L’hétérogénéité fonctionnelle récemment découverte des neurones dopaminergiques

Bien que le modèle unitaire d’un signal dopaminergique global et homogène ait constitué une simplification théorique immensément féconde, les recherches contemporaines à haute résolution cellulaire ont révélé une complexité et une hétérogénéité biologique insoupçonnées au sein de la population dopaminergique mésencéphalique.

Des travaux menés notamment par le laboratoire de Nao Uchida à Harvard ont mis en évidence l’existence de sous-populations dopaminergiques distinctes le long de gradients spatiaux médio-latéraux dans la VTA et la SNc :

• Tandis que les neurones situés dans la VTA ventromédiale encodent fidèlement l’erreur de prédiction classique pour des récompenses appétitives standard, une sous-population localisée dans la SNc latérale décharge vigoureusement en réponse à des stimuli aversifs intenses (chocs électriques cutanés, souffles d’air cornéens ou composés amers).
• Ces neurones sensibles à l’aversion projettent sélectivement vers la queue du striatum (tail of the striatum), formant un sous-circuit spécialisé dans le calcul de la saillance physique brute et l’évitement rapide du danger, indépendant du système de récompense classique.

De plus, des débats passionnés animent la communauté scientifique sur le rôle exact de la dopamine dans l’encodage de l’incertitude pure et du risque. Dans des conditions où les récompenses sont délivrées de manière stochastique (avec une probabilité de 50 %), Schultz lui-même a observé l’émergence d’une lente élévation tonique de la dopamine entre l’indice et l’issue, suggérant que ces neurones codent non seulement l’espérance mathématique de premier ordre, mais également la variance statistique (l’incertitude épistémique), alimentant la curiosité exploratoire des primates.

9.3 Critiques méthodologiques et théoriques

En dépit de son statut paradigmatique, la théorie de l’erreur de prédiction dopaminergique a suscité d’importantes objections méthodologiques et conceptuelles de la part de divers neurobiologistes et théoriciens computationnels.

La critique la plus tenace concerne la saillance attentionnelle. Des chercheurs ont souligné que de nombreux neurones dopaminergiques déchargent brièvement lors de l’apparition soudaine de stimuli sensoriels intenses mais neutres (un flash lumineux vif ou un claquement sonore inattendu), avant même que l’animal n’ait pu en analyser la signification appétitive ou aversive. Cette réactivité précoce suggère une composante d’orientation attentionnelle non spécifique (saillance de détection) difficile à démêler entièrement du calcul de la valeur intrinsèque de récompense.

Sur le plan computationnel, une asymétrie biophysique fondamentale fragilise l’hypothèse d’un encodage symétrique parfait de l’erreur : alors que l’erreur de prédiction positive peut s’exprimer par des bouffées de potentiels d’action atteignant 40 à 50 Hz (soit une augmentation de plusieurs centaines de pour cent par rapport au niveau basal), l’erreur de prédiction négative est structurellement limitée par la faible fréquence tonique de base (1 à 5 Hz). Le neurone ne peut pas descendre en dessous de 0 Hz : la magnitude de l’inhibition est donc intrinsèquement comprimée, ce qui impose aux circuits récepteurs en aval d’utiliser des mécanismes d’intégration temporelle asymétriques pour décoder fidèlement les déceptions massives.

Enfin, l’existence d’apprentissages associatifs complexes résiduels observés chez des souris mutantes génétiquement dépourvues de synthèse de dopamine (knockout pour la tyrosine hydroxylase) démontre sans ambiguïté que d’autres systèmes de neurotransmission (notamment la sérotonine, la noradrénaline et l’acétylcholine) peuvent prendre en charge des calculs prédictifs compensatoires au sein de voies parallèles de signalisation.

10. Applications cliniques : psychopathologie, addictions et dysfonctionnements dopaminergiques

10.1 L’addiction aux substances : le piratage pharmacologique de l’erreur de prédiction

L’une des réussites les plus spectaculaires de la théorie de l’erreur de prédiction de Schultz réside dans sa capacité à offrir un cadre d’explication computationnel unifié à la physiopathologie des troubles de l’usage de substances psychoactives (toxicomanie). Les drogues addictives (cocaïne, amphétamines, héroïne, nicotine, alcool) possèdent toutes la propriété pharmacologique commune de stimuler puissamment la libération de dopamine dans le striatum ventral, soit en bloquant sa recapture (cocaïne), soit en forçant sa libération vésiculaire (amphétamine), soit en inhibant les interneurones GABAergiques freinateurs de la VTA (opiacés).

Dans un contexte écologique naturel, l’erreur de prédiction agit comme un mécanisme autorégulé : au fur et à mesure que la récompense devient prévisible, $\delta$ tend inexorablement vers zéro, empêchant toute surévaluation synaptique infinie. En revanche, l’action pharmacologique directe d’une substance chimique contourne ce frein homéostatique naturel. Chaque prise de drogue injecte un pic artificiel massif de dopamine directement dans la fente synaptique, indépendamment de toute prédiction antérieure.

Pour l’algorithme computationnel du cerveau, cette libération non modulée génère une illusion mathématique permanente d’erreur de prédiction positive : le système interprète chaque consommation de drogue comme un événement qui a été « bien meilleur que prévu », même après des centaines de prises répétées et en dépit des conséquences destructrices manifestes sur la vie du patient. Il en résulte une hypertrophie synaptique pathologique continue au niveau des voies de renforcement striatales. La valeur de saillance incitative attribuée aux stimuli associés à la consommation (un emballage, un lieu, une seringue) s’accroît sans fin, conduisant à un état de craving compulsif dévastateur où la volonté corticale est littéralement submergée par une pulsion computationnelle programmée pour un renforçateur chimiquement inatteignable.

10.2 Les jeux d’argent et l’incertitude programmée (addictions comportementales)

Les mêmes lois neurophysiologiques s’appliquent avec une virulence égale aux addictions comportementales sans substance, particulièrement dans le contexte des jeux de hasard et d’argent (gambling) et de l’usage compulsif des interfaces numériques.

Dans la théorie du conditionnement opérant, il est bien établi que les programmes de renforcement à ratio variable (où le gain survient de façon imprévisible après un nombre indéterminé d’actions) sont ceux qui engendrent la plus grande résistance à l’extinction et les taux d’engagement les plus frénétiques. La théorie de l’erreur de prédiction élucide parfaitement ce phénomène : en maintenant le joueur dans un état d’incertitude statistique permanente, le système ne peut jamais stabiliser sa prédiction de valeur ($V(s)$ reste incertain). Chaque gain inattendu délivre une bouffée d’erreur de prédiction positive massive, provoquant un afflux de dopamine sans commune mesure avec celui produit par une gratification régulière et garantie.

Ce piratage computationnel est délibérément exploité par l’industrie des casinos et les concepteurs de machines à sous grâce au phénomène neurobiologique du « quasi-gain » (near-miss). Lorsqu’une machine à sous aligne deux symboles gagnants sur trois, le cerveau du joueur ne traite pas cet événement comme une défaite banale, mais enregistre une activation paradoxale de ses neurones dopaminergiques comparable à une erreur de prédiction positive. Ce signal aberrant renforce le comportement de jeu en créant l’illusion cognitive que la compétence motrice progresse et que le succès est imminent. Les ingénieurs du numérique contemporain ont transposé ces dynamiques avec un cynisme algorithmique remarquable dans les flux de réseaux sociaux modernes, où le balayage compulsif de l’écran (pull-to-refresh) et la délivrance erratique de notifications et de « likes » fonctionnent selon la cinétique exacte d’une machine à sous dopaminergique portative.

10.3 La schizophrénie et la théorie de la saillance aberrante

La compréhension du rôle prédictif de la dopamine a également métamorphosé la nosologie psychiatrique des troubles psychotiques, notamment à travers la théorie unifiée de la saillance aberrante formulée par le psychiatre Shitij Kapur.

Selon ce modèle computationnel, la dysfonction primaire sous-tendant la schizophrénie ne réside pas dans une hyperactivité dopaminergique continue et diffuse, mais dans une désynchronisation de l’émission phasique des neurones dopaminergiques mésostriataux. En raison d’anomalies de régulation corticale préfrontale ou de dysfonctionnements interneuronaux, ces cellules émettent des décharges phasiques chaotiques et décontextualisées, totalement découplées de la réalité des événements environnementaux.

Le patient se retrouve ainsi bombardé de signaux internes d’erreurs de prédiction positives à l’égard de stimuli parfaitement anodins et contingents : la couleur du manteau d’un passant, le clignotement fortuit d’un feu de signalisation ou un bruit métallique anodin dans la rue déclenchent une décharge phasique signifiant impérieusement : « Cet événement revêt une importance vitale et inattendue pour toi ! ».

Le cortex préfrontal du patient, confronté à ces alertes dopaminergiques répétées qu’il ne peut ignorer, entreprend une tâche d’intégration cognitive herméneutique : il élabore un système de croyances délirantes (délires de persécution, mégalomanie ou interprétation paranoïaque) pour fournir une explication causale rationnelle à ces saillances aberrantes perpétuelles. L’efficacité clinique remarquable des médicaments antipsychotiques neuroleptiques, qui bloquent les récepteurs dopaminergiques D2, s’explique précisément par leur capacité à assourdir pharmacologiquement ces erreurs de prédiction parasites, permettant aux représentations délirantes de perdre progressivement leur charge de préoccupation affective et d’entrer en rémission cognitive.

10.4 La dépression majeure et la maladie de Parkinson

À l’autre extrême pathologique, le déficit quantitatif ou fonctionnel de la signalisation de l’erreur de prédiction engendre des syndromes neuropsychiatriques invalidants marqués par l’extinction de l’élan vital.

Dans l’épisode dépressif caractérisé, le symptôme cardinal qu’est l’anhédonie clinique (la perte de la capacité à éprouver du plaisir ou de l’intérêt pour les activités habituelles) est aujourd’hui réinterprété comme un émoussement de l’erreur de prédiction positive (blunted RPE). Des études en IRMf ont démontré que chez les patients dépressifs sévères, les bouffées phasiques striatales en réponse à des renforçateurs inattendus sont considérablement aplaties. Le sujet ne parvient plus à mettre à jour la valeur positive de son environnement : le monde paraît plat, gris et immuable. Cet échec computationnel induit un état de résignation acquise (learned helplessness), le cerveau calculant qu’aucune action nouvelle ne possède le potentiel de produire un résultat meilleur que son état de souffrance actuel.

Dans la maladie de Parkinson, la mort apoptotique progressive des neurones dopaminergiques de la substantia nigra pars compacta engendre non seulement la triade motrice parkinsonienne classique (tremblement de repos, rigidité plastique, akinésie), mais également des déficits cognitifs subtils et profonds dans l’apprentissage par renforcement. Privés de leurs projections dopaminergiques dorsales, les patients parkinsoniens non traités manifestent une incapacité sélective à apprendre des conséquences positives de leurs actes, tout en conservant une capacité paradoxale à apprendre de leurs erreurs punitives. Inversement, lors de l’instauration d’un traitement substitutif par des agonistes dopaminergiques directs à longue durée d’action (comme le pramipexole ou le ropinirole), certains patients développent des troubles dévastateurs du contrôle des impulsions (hypersexualité, jeu pathologique compulsif, achats compulsifs), causés par la sur-stimulation tonique artificielle des récepteurs du striatum ventral qui noie le signal de l’erreur de prédiction négative sous un bruit de fond dopaminergique continu et ininterrompu.

11. Implications pour l’intelligence artificielle et l’apprentissage par renforcement computationnel

11.1 La fertilisation croisée entre neurosciences et informatique moderne

L’histoire intellectuelle de l’erreur de prédiction dopaminergique constitue sans conteste l’un des exemples les plus éclatants de dialogue bidirectionnel fructueux entre la biologie de l’évolution et l’ingénierie informatique moderne.

Lorsque Sutton et Barto ont formulé l’algorithme des différences temporelles au début des années 1980, leur démarche était purement mathématique et computationnelle : ils cherchaient le moyen optimal pour une machine d’apprendre à résoudre des problèmes séquentiels de contrôle optimal sans nécessiter de modèle explicite de la dynamique du monde (méthodes model-free). La découverte que la sélection naturelle avait codé cette formulation algorithmique exacte au cœur du tronc cérébral des vertébrés a fourni une validation écologique irréfutable à leurs modèles d’apprentissage machine, galvanisant l’ensemble de la communauté de l’intelligence artificielle.

Cette convergence a trouvé son apogée au XXIe siècle avec l’avènement de l’apprentissage par renforcement profond (Deep Reinforcement Learning). En fusionnant les réseaux de neurones artificiels profonds (qui extraient des représentations sensorielles complexes à partir de données brutes) avec les équations d’erreurs de prédiction temporelle héritées de Schultz et Sutton-Barto, les chercheurs de DeepMind ont conçu l’architecture révolutionnaire DQN (Deep Q-Network). En 2015, cet agent autonome a surpassé le niveau d’experts humains sur des dizaines de jeux vidéo rétro Atari 2600, en utilisant un unique signal scalaire de renforcement qui modulait l’ajustement des poids synaptiques par rétropropagation du gradient, de manière formellement analogue à la libération de dopamine dans les synapses corticostriatales.

Cette même architecture computationnelle a constitué le moteur fondamental d’AlphaGo en 2016, le premier programme informatique à terrasser le champion du monde humain au millénaire jeu de Go, démontrant que le principe de l’erreur de prédiction de récompense est suffisamment puissant pour générer de l’intelligence stratégique intuitive au plus haut niveau de complexité combinatoire envisageable.

11.2 L’apprentissage par renforcement distributionnel (Distributional RL)

L’isomorphisme entre le cerveau biologique et les mathématiques de l’IA a franchi une nouvelle étape conceptuelle majeure avec la publication en 2020 d’une découverte sensationnelle dans la revue Nature par l’équipe de Will Dabney, Matthew Botvinick et Nao Uchida : la découverte de l’apprentissage par renforcement distributionnel dans le système dopaminergique.

Jusqu’alors, la théorie classique de Schultz supposait que les neurones dopaminergiques encodaient une simple valeur scalaire moyenne : l’écart entre la valeur observée et la valeur moyenne attendue de la distribution de récompense. Cependant, en 2017, les théoriciens de l’intelligence artificielle avaient démontré qu’un agent artificiel apprend de manière infiniment plus robuste et rapide s’il ne cherche pas simplement à prédire l’espérance mathématique moyenne, mais s’il tente d’apprendre la distribution de probabilité complète des récompenses potentielles (en tenant compte de la dispersion, de l’asymétrie et des queues de distribution statistiques).

Curieux de vérifier si le cerveau biologique avait, une fois de plus, devancé les ingénieurs humains, les chercheurs ont enregistré l’activité d’une multitude de neurones dopaminergiques individuels chez la souris soumise à des distributions de récompenses de variances variables. Leurs résultats ont confirmé l’hypothèse distributionnelle avec une précision confondante :

• Les neurones dopaminergiques ne partagent pas tous le même seuil d’inversion électrophysiologique : certaines cellules sont structurellement des « optimistes computationnels » (elles possèdent un seuil de décharge bas et s’excitent même pour de très faibles renforçateurs), tandis que d’autres sont des « pessimistes computationnels » (qui ne déchargent que face à des récompenses gigantesques).
• De plus, les pentes de sensibilité aux erreurs positives et négatives varient systématiquement d’un neurone à l’autre.

Prise dans son ensemble, cette population de cellules n’émet pas une valeur moyenne unique, mais décompose le signal d’erreur en une série de quantiles statistiques discrets, fournissant au striatum une représentation probabiliste exhaustive de l’incertitude future. Cette découverte a prouvé que la diversité cellulaire et l’hétérogénéité biologique, longtemps perçues comme du simple « bruit expérimental » par les physiologistes, constituaient en réalité le code d’un calcul distributionnel de très haute précision mathématique.

11.3 Vers des agents bio-inspirés dotés de curiosité artificielle

Le dernier horizon où l’erreur de prédiction inspire l’informatique concerne la résolution de l’épineux dilemme exploration-exploitation. Un agent purement guidé par l’erreur de prédiction classique de récompense extrinsèque peut demeurer piégé indéfiniment dans des optimums locaux, n’exploitant que les gratifications qu’il connaît déjà sans jamais oser s’aventurer vers l’inconnu.

Pour surmonter cet écueil, les concepteurs d’agents intelligents s’inspirent aujourd’hui des travaux neurophysiologiques sur la motivation intrinsèque et l’encodage de la surprise sensorielle. En intégrant une composante d’erreur de prédiction épistémique (ou erreur de prédiction de l’état du monde) comme signal de pseudo-récompense interne, les agents informatiques développent une forme bio-inspirée de « curiosité artificielle ». L’agent reçoit une gratification dopaminergique virtuelle non pas lorsqu’il obtient une récompense matérielle, mais lorsqu’il pénètre dans un état de son environnement dont il était incapable de prédire la dynamique physique.

Ce mécanisme permet à des réseaux de neurones artificiels profonds d’explorer méthodiquement d’immenses espaces d’états dans des jeux vidéo complexes sans aucune fonction de récompense externe fournie par les programmeurs, reproduisant l’appétence exploratoire spontanée manifestée par les jeunes enfants et les primates dans leur découverte du monde environnant.

12. Synthèse épistémologique et perspectives futures dans l’étude de l’erreur de prédiction dopaminergique

12.1 L’impact paradigmatique des travaux de Wolfram Schultz sur les neurosciences cognitives

La trajectoire intellectuelle initiée par Wolfram Schultz a profondément reconfiguré l’épistémologie des sciences du cerveau au cours des quatre dernières décennies. Ses travaux ont incarné la transition fondamentale d’une neuroanatomie descriptive et localiste—qui se contentait d’attribuer des fonctions psychologiques floues à des lobes corticaux ou à des noyaux sous-corticaux étiquetés de manière statique—vers une neurobiologie algorithmique et dynamique, capable de décrypter la grammaire mathématique universelle par laquelle les synapses traitent, intègrent et transforment l’information.

En ancrant formellement la fonction dopaminergique dans les équations rigoureuses de l’apprentissage par renforcement et de la théorie de la décision, Schultz est devenu l’un des pères fondateurs d’une discipline académique entièrement nouvelle : la neuroéconomie. Cette science interdisciplinaire s’attache à modéliser la manière dont les organismes vivants évaluent le risque, pondèrent les probabilités, escomptent le temps et arbitrent leurs choix économiques en analysant les computations neuronales qui précèdent l’acte décisionnel.

La portée historique de cette révolution conceptuelle a été universellement consacrée en 2017 par l’attribution du prestigieux Brain Prize (considéré comme le prix Nobel européen des neurosciences), décerné conjointement à Wolfram Schultz, Peter Dayan et Ray Dolan, honorant l’alliance visionnaire entre l’électrophysiologie animale, la modélisation mathématique et l’imagerie cérébrale cognitive.

12.2 Les frontières actuelles de la recherche en neurobiologie de la décision

L’exploration des dynamiques dopaminergiques se poursuit aujourd’hui avec une intensité renouvelée, portée par des ruptures technologiques d’une précision analytique sans précédent. Le développement de sondes fluorescentes génétiquement encodées (telles que les biocapteurs dLight ou GRAB-DA) permet désormais d’imager, via la photométrie de fibre optique ou la microscopie à deux photons chez l’animal en mouvement libre, les concentrations extracellulaires réelles de dopamine avec une résolution milliseconde et micrométrique dans des sous-compartiments synaptiques spécifiques.

L’un des défis contemporains majeurs réside dans la compréhension des interactions neuromodulatrices croisées. La dopamine ne calcule pas l’erreur de prédiction en vase clos : elle converse en permanence avec d’autres réseaux monoaminergiques et peptidergiques à l’action complémentaire :

• La sérotonine (produite par les noyaux du raphé) semble jouer un rôle d’antagoniste computationnel partiel, encodant des signaux d’escompte temporel à long terme, d’inhibition comportementale face aux punitions et d’erreur de prédiction d’évitement.
• La noradrénaline (issue du locus coeruleus) signale l’incertitude inattendue (unexpected uncertainty) et l’inflexion brutale des contextes environnementaux, pilotant la bascule critique entre l’exploitation des acquis et l’exploration de nouvelles règles.
• L’acétylcholine (émise par les interneurones striataux géants à décharge tonique) module localement la libération axonale de dopamine par une action présynaptique directe sur des récepteurs nicotiniques, déconnectant localement l’émission synaptique du corps cellulaire mésencéphalique.

Parallèlement, les théoriciens s’efforcent d’intégrer l’erreur de prédiction de récompense au sein de cadres métathéoriques plus vastes, notamment le modèle du cerveau bayésien et le principe de l’énergie libre (Free Energy Principle) formulé par Karl Friston. Dans cette perspective, l’erreur de prédiction dopaminergique ne constitue qu’un cas particulier d’un principe hiérarchique universel d’inférence active où chaque strate corticale s’efforce en permanence d’annuler les erreurs de prédiction ascendantes générées par les flux sensoriels pour maintenir l’intégrité homéostatique de l’organisme.

12.3 Conclusions générales sur la nature du cerveau comme machine à prédire

L’expérience de l’erreur de prédiction de la récompense de Wolfram Schultz transcende largement le cadre strict de la neurophysiologie animale pour offrir une réflexion philosophique et anthropologique profonde sur la condition humaine et la nature même de la cognition.

Elle a apporté la démonstration empirique irréfutable que le cerveau biologique n’est pas un système réactif passif qui subit passivement les stimulations d’un monde extérieur pour y répondre par des réflexes mécaniques. Au contraire, le cerveau est une machine à prédire proactive et inférentielle, qui projette continuellement sur la réalité des simulations internes prédictives élaborées à partir de son histoire passée.

Dans ce ballet cybernétique perpétuel, la réalité sensible brute ne pénètre dans les sanctuaires de la plasticité cérébrale que dans la stricte mesure où elle contredit nos anticipations. C’est paradoxalement l’erreur—la faille de notre prédiction, la déception de notre attente ou la surprise de la nouveauté—qui constitue le véritable moteur de la conscience, de la survie adaptative et de la transformation de soi. L’héritage scientifique pérenne de Wolfram Schultz nous rappelle avec force que nous n’apprenons jamais rien d’un univers qui se conforme servilement à nos attentes : c’est au cœur de nos faux pas prédictifs que notre cerveau sculpte inlassablement son avenir.

Références

• Barto, A. G., Sutton, R. S., & Anderson, C. W. (1983). Neuronlike adaptive elements that can solve difficult learning control problems. IEEE Transactions on Systems, Man, and Cybernetics, SMC-13(5), 834–846. https://doi.org/10.1109/TSMC.1983.6313077
• Berridge, K. C., & Robinson, T. E. (1998). What is the role of dopamine in reward: Hedonic impact, reward learning, or incentive salience? Brain Research Reviews, 28(3), 309–369. https://doi.org/10.1016/S0165-0173(98)00019-8
• Dabney, W., Kurth-Nelson, Z., Uchida, N., Starkweather, C. K., Hassabis, D., Munos, R., & Botvinick, M. (2020). A distributional code for value in dopamine-based reinforcement learning. Nature, 577(7792), 671–675. https://doi.org/10.1038/s41586-019-1924-6
• Friston, K. (2010). The free-energy principle: A unified brain theory? Nature Reviews Neuroscience, 11(2), 127–138. https://doi.org/10.1038/nrn2787
• Kamin, L. J. (1969). Predictability, surprise, attention, and conditioning. In B. A. Campbell & R. M. Church (Eds.), Punishment and aversive behavior (pp. 279–296). Appleton-Century-Crofts.
• Kapur, S. (2003). Psychosis as a state of aberrant salience: A framework linking biology, phenomenology, and pharmacology in schizophrenia. American Journal of Psychiatry, 160(1), 13–23. https://doi.org/10.1176/appi.ajp.160.1.13
• Matsumoto, M., & Hikosaka, O. (2007). Lateral habenula as a source of negative reward signals in dopamine neurons. Nature, 447(7148), 1111–1115. https://doi.org/10.1038/nature05860
• Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., Graves, A., Riedmiller, M., Fidjeland, A. K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S., & Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529–533. https://doi.org/10.1038/nature14236
• Olds, J., & Milner, P. (1954). Positive reinforcement produced by electrical stimulation of septal area and other regions of rat brain. Journal of Comparative and Physiological Psychology, 47(6), 419–427. https://doi.org/10.1037/h0058775
• Pavlov, I. P. (1927). Conditioned reflexes: An investigation of the physiological activity of the cerebral cortex (G. V. Anrep, Trans.). Oxford University Press.
• Rescorla, R. A., & Wagner, A. R. (1972). A theory of Pavlovian conditioning: Variations in the effectiveness of reinforcement and nonreinforcement. In A. H. Black & W. F. Prokasy (Eds.), Classical conditioning II: Current research and theory (pp. 64–99). Appleton-Century-Crofts.
• Schultz, W. (1998). Predictive reward signal of dopamine neurons. Journal of Neurophysiology, 80(1), 1–27. https://doi.org/10.1152/jn.1998.80.1.1
• Schultz, W. (2015). Neuronal reward and decision signals: From theories to data. Physiological Reviews, 96(3), 853–907. https://doi.org/10.1152/physrev.00023.2015
• Schultz, W., Apicella, P., & Ljungberg, T. (1993). Responses of monkey dopamine neurons to reward and conditioned stimuli during successive steps of learning a delayed response task. Journal of Neuroscience, 13(3), 900–913. https://doi.org/10.1523/JNEUROSCI.13-03-00900.1993
• Schultz, W., Dayan, P., & Montague, P. R. (1997). A neural substrate of prediction and reward. Science, 275(5306), 1593–1599. https://doi.org/10.1126/science.275.5306.1593
• Steinberg, E. E., Keiflin, R., Boivin, J. R., Witten, I. B., Deisseroth, K., & Janak, P. H. (2013). A causal link between prediction errors, dopamine neurons and learning. Nature Neuroscience, 16(7), 966–973. https://doi.org/10.1038/nn.3413
• Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction (2nd ed.). MIT Press.
• Wise, R. A. (1982). Neuroleptics and operant behavior: The anhedonia hypothesis. Behavioral and Brain Sciences, 5(1), 39–53. https://doi.org/10.1017/S0140525X00010372