James McClelland – 1948 à nos jours

Biographie

L’histoire des sciences cognitives modernes est indissociable de la métamorphose de ses paradigmes fondamentaux, un parcours intellectuel marqué par le passage d’une vision formaliste et désincarnée de l’esprit à des modèles computationnels inspirés par l’architecture biologique du cerveau. Au cœur de cette révolution épistémologique se dresse la figure de James Lloyd McClelland. Né en 1948, ce psychologue et théoricien de renommée internationale a profondément redéfini notre conception des mécanismes sous-tendant la mémoire, le langage, la perception visuelle et la prise de décision. En introduisant, aux côtés de son comparse David Rumelhart, le paradigme du traitement distribué en parallèle (Parallel Distributed Processing ou PDP) au milieu des années 1980, McClelland a offert une alternative radicale et élégante à l’orthodoxie computationnelle issue des travaux d’Alan Turing, de John von Neumann, de Noam Chomsky et de Jerry Fodor.

Durant plusieurs décennies, la psychologie cognitive dominante a postulé que la pensée humaine fonctionnait à la manière d’un programme informatique sériel, manipulant des symboles discrets selon des règles logiques rigides. Or, pour McClelland, cette analogie négligeait la spécificité même du substrat neuronal : la plasticité, la connectivité massivement parallèle, la tolérance intrinsèque aux pannes et la sensibilité constante au contexte statistique de l’environnement. En s’appuyant sur des réseaux de neurones formels dotés de représentations distribuées et d’apprentissage par ajustement continu des poids synaptiques, il a démontré qu’une vaste gamme de phénomènes cognitifs complexes — de la lecture interactive à l’acquisition grammaticale, jusqu’aux amnésies profondes — pouvait émerger sans nécessiter de règles explicites ou d’homoncule régulateur.

Ce travail colossal, qui s’étend sur plus d’un demi-siècle, continue de nourrir les frontières les plus actives de la recherche contemporaine. Des théories majeures sur la consolidation mnésique comme la théorie des systèmes d’apprentissage complémentaires (CLS) jusqu’aux architectures d’intelligence artificielle actuelles qui irriguent l’apprentissage profond (deep learning), la pensée de James McClelland constitue le socle sur lequel s’édifie notre compréhension unifiée de l’esprit, du cerveau et des algorithmes. Retracer sa trajectoire académique et ses découvertes théoriques, c’est explorer la genèse d’une révolution conceptuelle qui a su réconcilier la rigueur des données comportementales avec l’élégance distribuée de la dynamique neuronale.

1. Introduction et genèse intellectuelle : De la psychologie expérimentale aux neurosciences cognitives

1.1 Origines académiques et formation initiale

L’itinéraire intellectuel de James L. McClelland s’amorce au sein d’un paysage académique américain en pleine recomposition disciplinaire à la fin des années 1960. Admis à l’Université Columbia, le jeune chercheur y effectue un cursus de premier cycle marqué par un intérêt précoce pour les formalisations quantitatives de la psychologie. Loin des spéculations introspectives, l’environnement de Columbia valorisait une approche empirique rigoureuse, ancrée dans la mesure psychophysique et l’analyse statistique des conduites. McClelland y découvre la psychologie mathématique, un champ émergent qui s’efforçait de traduire les dynamiques de l’apprentissage et de la perception sous la forme d’équations déterministes et stochastiques.

Cette propension à la mathématisation de l’esprit s’approfondit de façon décisive lors de son entrée au programme doctoral de l’Université de Pennsylvanie. McClelland y réalise sa thèse sous la direction de David Green, une sommité dans le domaine de la détection du signal et de la psychophysique sensorielle. Soutenue avec succès en 1975, sa dissertation doctorale porte sur l’organisation temporelle du traitement visuel et les mécanismes attentionnels sous-tendant la localisation spatiale de stimuli brefs. À cette époque charnière, la psychologie américaine vit les derniers soubresauts du béhaviorisme radical skinérien, tandis que le paradigme du traitement de l’information (information processing paradigm), popularisé par le manuel séminal d’Ulric Neisser en 1967, s’impose comme la nouvelle norme paradigmatique.

Cependant, McClelland perçoit déjà les limites des diagrammes de flux conventionnels qui réduisent l’activité mentale à une succession de boîtes noires hermétiques reliées par des flèches unidirectionnelles. Formé à la croisée de l’expérimentation chronométrique et de la théorie de la détection du signal, il développe une conviction qui ne le quittera plus : la cognition humaine n’est pas réductible à des commutations binaires discrètes. Elle se déploie dans le temps continu et mobilise une intégration dynamique de signaux bruités, une intuition qui le prépare à dépasser la métaphore computationnelle stricte de son époque.

1.2 Le climat intellectuel des années 1970 : Les limites du modèle symbolique

Au cours des années 1970, la science cognitive institutionnalisée célèbre le triomphe de l’hypothèse des systèmes de symboles physiques, formalisée par Allen Newell et Herbert Simon. Selon cette doctrine, la condition nécessaire et suffisante pour qu’un système manifeste une intelligence générale réside dans sa capacité à instancier, manipuler et recombiner des symboles discrets via des opérations formelles. La métaphore dominante est sans équivoque : l’esprit humain est assimilé au logiciel (software), tandis que le cerveau n’en est que le support matériel contingent (hardware), fonctionnellement interchangeable.

Bien que cette approche ait permis des avancées notables dans la résolution de problèmes abstraits et le jeu d’échecs, McClelland observe l’impasse méthodologique et théorique dans laquelle s’enlise l’intelligence artificielle symbolique classique (GOFAI, Good Old-Fashioned Artificial Intelligence). Face aux tâches les plus triviales pour un être vivant — telles que reconnaître un visage partiellement masqué dans une pénombre, extraire la phonologie d’une parole chuchotée ou naviguer dans un environnement instable —, les systèmes symboliques s’avèrent d’une fragilité critique. La moindre erreur syntaxique ou la moindre imprécision dans la description des prémisses provoque l’effondrement intégral du raisonnement, un phénomène connu sous le nom de « fragilité computationnelle » (computational brittleness).

En contrepoint, McClelland se tourne vers les avancées de la neurobiologie fonctionnelle et les premiers développements de la théorie des systèmes dynamiques non linéaires. Les travaux de David Marr sur la vision computationnelle, bien qu’encore imprégnés d’une certaine hiérarchie modulaire, soulignent la nécessité de concevoir les algorithmes en étroite adéquation avec les contraintes matérielles de leur implémentation. McClelland acquiert la certitude que la robustesse du vivant provient d’une organisation radicalement différente, au sein de laquelle la structure et le calcul sont intrinsèquement indissociables, rendant obsolète la séparation cartésienne entre le code et la matière.

1.3 Implantation à l’Université de Californie à San Diego (UCSD)

L’année 1978 marque un tournant institutionnel et intellectuel décisif : James McClelland intègre le corps professoral du département de psychologie de l’Université de Californie à San Diego (UCSD). À l’époque, La Jolla devient le foyer incandescent d’une contre-culture scientifique audacieuse. Sous l’impulsion de personnalités visionnaires comme Donald Norman, UCSD fonde l’un des premiers départements interdisciplinaires de sciences cognitives au monde, décloisonnant les frontières étanches entre la psychologie cognitive, la linguistique formelle, la philosophie de l’esprit, l’informatique et les neurosciences fondamentales.

C’est dans cette effervescence académique que se noue la collaboration historique avec David Rumelhart, alors professeur de psychologie à UCSD. Partageant une insatisfaction analogue vis-à-vis des modèles de boîtes et de flèches, McClelland et Rumelhart décident de fédérer un groupe de travail informel réunissant des esprits iconoclastes. Ce collectif d’avant-garde prendra le nom de Parallel Distributed Processing Research Group (Groupe de recherche PDP). Ils s’assignent une tâche titanesque : reconstruire l’ensemble de la psychologie cognitive sur la base de principes de calcul massivement parallèle inspirés du tissu cortical.

Loin de l’isolement disciplinaire traditionnel, les réunions hebdomadaires du groupe PDP attirent des théoriciens de premier plan venus confronter leurs abstractions logiques aux impératifs neurophysiologiques. L’objectif avoué n’est pas de reproduire chaque canal ionique d’un neurone biologique, mais d’abstraire les propriétés computationnelles cardinales du système nerveux : propagation de signaux continus, connectivité réciproque, intégration temporelle et adaptation synaptique plastique. Ce laboratoire informel pose les fondations de ce qui deviendra la seconde révolution cognitive.

2. La révolution connexionniste : Rupture avec le paradigme computationnel classique

2.1 Remise en question de la métaphore de l’ordinateur de von Neumann

Le point de rupture le plus éclatant entre le connexionnisme émergent et le paradigme computationnel classique réside dans le rejet catégorique de l’architecture de John von Neumann. Dans un ordinateur classique, la mémoire passive (la mémoire vive où sont stockées les données) est distincte spatialement et fonctionnellement de l’unité centrale de traitement (le processeur qui exécute séquentiellement les instructions). Cette séparation impose ce que les informaticiens appellent le « goulot d’étranglement de von Neumann » : chaque opération nécessite le transfert laborieux d’une donnée de la mémoire vers le processeur, puis la réécriture du résultat en mémoire.

McClelland et le groupe PDP formalisent une critique dévastatrice de ce schéma lorsqu’il est appliqué à la biologie de l’esprit, articulée autour de la célèbre « règle des cent étapes » (hundred-step rule). Les neurones biologiques transmettent des potentiels d’action à une fréquence maximale de quelques centaines de hertz, ce qui signifie qu’une transmission synaptique élémentaire requiert au minimum quelques millisecondes. Or, il est empiriquement avéré qu’un être humain moyen identifie le visage d’un proche ou comprend un mot familier en moins de 300 à 400 millisecondes. Par conséquent, le système nerveux ne peut exécuter, au sens séquentiel, qu’une centaine d’opérations élémentaires successives pour accomplir ces prouesses perceptives.

Aucun algorithme sériel connu, reposant sur des moteurs d’inférence logique ou des recherches arborescentes dans de vastes bases de données symboliques, ne pouvait fonctionner en un nombre aussi dérisoire d’étapes. L’unique échappatoire théorique consistait à abandonner la causalité séquentielle : le calcul cérébral devait être intrinsèquement distribué et parallèle, le traitement de l’information s’opérant simultanément à travers des millions de connexions actives, abolissant par là même toute distinction ontologique entre l’organe de stockage et l’organe de calcul.

2.2 Les postulats ontologiques du connexionnisme

Cette réévaluation architecturale entraîne une refonte radicale des postulats ontologiques de la cognition. Alors que le computationnalisme classique suppose des représentations localisées — où un symbole discret unique renvoie à un objet du monde —, McClelland formule le concept novateur de « représentations subsymboliques » et distribuées. Dans ce cadre, une entité mentale (comme le concept de « pomme » ou de « tasse ») n’est pas cantonnée à un neurone grand-mère ou à une adresse mémoire spécifique. Elle est encodée sous la forme d’un profil ou vecteur d’activation global s’étendant sur un très large ensemble d’unités de calcul élémentaires.

Corrélativement, la mémoire ne consiste plus en un entrepôt passif contenant des enregistrements statiques répertoriés à la manière d’une bibliothèque. La mémoire devient une propriété purement dynamique et dispositionnelle du réseau : elle réside dans la configuration matricielle des poids synaptiques reliant les unités entre elles. Se rappeler un événement ou identifier une forme sensorielle ne consiste pas à aller chercher un fichier numérique dans un tiroir neuronal, mais à recréer, par la propagation de signaux excitateurs et inhibiteurs, un état d’attracteur stable au sein du système dynamique.

De surcroît, le connexionnisme élimine la nécessité d’un homoncule décisionnel ou d’un système exécutif central doté d’une omniscience programmée. L’intelligence, dans la vision de McClelland, est un phénomène strictement émergent. La coordination de la pensée et la résolution de conflits cognitifs complexes résultent de la relaxation d’un réseau de contraintes mutuelles (constraint satisfaction), où des milliers de micro-interactions locales concourent spontanément à faire converger le système vers une interprétation cohérente de la réalité.

2.3 Tolérance aux pannes et dégradation progressive

L’un des apports majeurs de McClelland à la philosophie des neurosciences réside dans l’élucidation du principe de « dégradation gracieuse » (graceful degradation). Dans une machine de Turing universelle ou un code informatique classique écrit en C ou en LISP, l’altération d’un seul bit dans une instruction mémoire ou la modification accidentelle d’un point-virgule dans la syntaxe entraîne l’interruption catastrophique (catastrophic failure) du programme tout entier. Or, la clinique neurologique montre un tableau diamétralement opposé : le cerveau humain subit quotidiennement la perte de milliers de neurones sans que notre capacité à parler ou à nous mouvoir ne s’effondre du jour au lendemain.

Les réseaux connexionnistes conçus par McClelland reproduisent avec une troublante fidélité ce comportement biologique. Parce que la connaissance est distribuée sur une multitude de connexions synaptiques pondérées, la lésion ou l’élimination aléatoire d’une fraction des unités de calcul n’anéantit pas le fonctionnement global du système. Le réseau voit simplement ses performances décliner de manière lente, mesurée et proportionnelle à la sévérité des dommages subis. La dégradation est douce : le réseau continue de fournir des réponses approximativement correctes, manifestant un flou progressif plutôt qu’un arrêt total.

Cette propriété mathématique intrinsèque a permis de jeter un pont sans précédent entre la modélisation computationnelle et la neuropsychologie cognitive. Pour la première fois, des chercheurs pouvaient provoquer des « lésions in silico » au sein de modèles de réseaux artificiels et observer si les patrons d’erreurs résultants corrélaient avec les tableaux cliniques réels de patients victimes d’accidents vasculaires cérébraux ou atteints de pathologies neurodégénératives, ouvrant la voie à une pathologie computationnelle de l’esprit.

3. Le cadre théorique du traitement distribué en parallèle (PDP)

3.1 Publication des volumes fondateurs de 1986

Le couronnement public et la cristallisation académique de cette révolution intellectuelle surviennent en 1986 avec la parution, aux prestigieuses presses du MIT (MIT Press), de l’ouvrage collectif en deux volumes intitulé Parallel Distributed Processing: Explorations in the Microstructure of Cognition, coécrit et coordonné par David Rumelhart, James McClelland et les membres du groupe PDP. Souvent surnommé la « Bible connexionniste » ou simplement « les volumes PDP », ce traité encyclopédique fait l’effet d’une déflagration au sein de la communauté internationale des sciences cognitives.

L’impact de la publication est foudroyant. Le premier volume, Foundations, pose les assises mathématiques, physiques et conceptuelles du paradigme, tandis que le second, Psychological and Biological Models, déploie ces principes sur une multitude de domaines empiriques : la motricité, la lecture, la vision précoce, la sémantique et la morphologie linguistique. L’ouvrage polarise immédiatement la communauté scientifique. Tandis qu’une nouvelle génération de doctorants et de jeunes chercheurs y voit la libération tant attendue du carcan logiciste, les gardiens de l’orthodoxie symbolique perçoivent l’ouvrage comme une attaque iconoclaste contre les fondements mêmes de la rationalité computationnelle.

Ce qui distingue les volumes PDP des spéculations cybernétiques antérieures des années 1950 et 1960, c’est leur degré exceptionnel de rigueur mathématique. McClelland et Rumelhart ne se contentent pas de métaphores intuitives : ils fournissent les équations explicites de propagation de signaux, les fonctions de transfert continu, les algorithmes formels d’apprentissage et les scripts de simulation informatique permettant à n’importe quel laboratoire dans le monde de reproduire leurs résultats sur des stations de travail universitaires.

3.2 Les composantes structurales des modèles PDP

Pour dissiper le flou conceptuel, James McClelland formalise l’architecture PDP autour d’un ensemble de huit composantes structurales canoniques, devenues depuis le standard de la modélisation connexionniste :

• L’ensemble des unités de traitement : Des nœuds de calcul simplifiés (analogues aux neurones), classés en unités d’entrée (captant les stimuli), unités de sortie (exprimant les réponses) et unités cachées (permettant la construction de représentations internes abstraites).
• L’état d’activation : Un vecteur décrivant le niveau d’activité électrique instantané de chaque unité à un instant donné, variant généralement de façon continue dans l’intervalle [0, 1] ou [-1, 1].
• La fonction de sortie : Une relation mathématique (souvent une fonction identité ou un seuil d’activation) transformant l’état interne en un signal émis vers d’autres unités.
• Le patron de connectivité : Une matrice synaptique définissant les liens entre les unités, caractérisée par des poids numériques réels, positifs pour l’excitation synaptique et négatifs pour l’inhibition.
• La règle de propagation : Une fonction qui agrège les signaux entrants pondérés pour calculer l’entrée nette (net input) parvenant à chaque unité, généralement sous la forme d’un produit scalaire entre le vecteur d’activation et la matrice des poids.
• La fonction d’activation : Une fonction de transfert non linéaire, le plus souvent une fonction logistique sigmoïde, permettant d’écraser la somme des entrées et d’introduire des non-linéarités indispensables à la computation complexe.
• La règle d’apprentissage : Un algorithme formel régissant la modification des poids synaptiques au cours de l’exposition à des stimuli environnementaux.
• L’environnement du système : L’ensemble des distributions statistiques et des patrons d’expérience auxquels le réseau est soumis au fil de son ontogenèse.

Cette armature formelle méticuleuse permettait à McClelland de prouver que des architectures composées d’unités purement locales, ignorant tout de la configuration globale du système, étaient capables d’exécuter des calculs massivement sophistiqués et d’optimiser conjointement de multiples contraintes statistiques interdépendantes.

3.3 L’apprentissage comme ajustement statistique des poids

Dans la perspective PDP théorisée par McClelland, l’apprentissage humain est dépouillé de toute référence à l’acquisition déclarative de listes d’instructions ou de règles logico-déductives. L’apprentissage est réinterprété comme un processus graduel d’ajustement statistique des matrices de connectivité synaptique. Les modèles s’inspirent initialement du postulat neurophysiologique énoncé par Donald Hebb en 1949, selon lequel des neurones qui s’activent ensemble renforcent mutuellement leur liaison synaptique (Hebbian learning).

Toutefois, la règle hebbienne pure s’avérant limitée dans sa capacité à discriminer des patrons complexes, le groupe PDP introduit et généralise la « règle delta » (delta rule), également connue sous le nom de règle de Widrow-Hoff. Dans ce cadre d’apprentissage supervisé, le système calcule à chaque pas de temps la différence vectorielle entre la sortie générée par le réseau et la cible idéale dictée par l’environnement. L’erreur ainsi quantifiée est utilisée pour modifier chaque poids proportionnellement à sa contribution à la divergence globale :

Le saut qualitatif majeur survient lors de la popularisation et de la dérivation mathématique rigoureuse de l’algorithme de rétropropagation du gradient (error backpropagation), coécrit par Rumelhart, Geoffrey Hinton et Ronald Williams dans le chapitre 8 du premier volume PDP (et publié en parallèle dans la revue Nature en 1986). Cet algorithme résout le problème épineux de l’assignation du crédit pour les couches d’unités cachées : en appliquant la règle de dérivation en chaîne du calcul infinitésimal, le signal d’erreur issu de la couche de sortie est rétropropagé couche par couche à travers l’ensemble de l’architecture.

Pour McClelland, l’implication épistémologique de la rétropropagation est monumentale. Elle démontre formellement qu’un réseau de neurones multicouche peut découvrir de manière autonome des représentations internes optimales pour résoudre des problèmes non linéairement séparables, tels que le célèbre problème du OU exclusif (XOR) qui avait motivé la condamnation prématurée des premiers perceptrons par Marvin Minsky et Seymour Papert en 1969. Sans aucune programmation explicite, le réseau apprend par descente de gradient stochastique à converger vers des minima d’erreur dans un espace géométrique multidimensionnel.

4. La collaboration historique entre James McClelland et David Rumelhart

4.1 Une synergie conceptuelle unique

L’histoire des sciences retient peu d’associations intellectuelles aussi harmonieuses et productives que celle formée par David Rumelhart et James McClelland. Leurs contemporains à UCSD décrivaient leur association comme une alchimie intellectuelle singulière, un équilibre parfait entre deux tempéraments scientifiques remarquablement complémentaires. Rumelhart possédait une virtuosité mathématique hors pair, une intuition géométrique exceptionnelle des espaces d’états multidimensionnels et une compréhension profonde des formalismes informatiques.

McClelland, pour sa part, apportait une rigueur expérimentale intransigeante, une connaissance encyclopédique de la littérature en psychologie cognitive et une sensibilité aiguë aux données comportementales fines, telles que les temps de réaction, les trajectoires oculomotrices et les distributions de confusions perceptives. Là où Rumelhart visualisait les paysages énergétiques et les surfaces d’erreur mathématiques, McClelland veillait scrupuleusement à ce que chaque choix architectural soit confronté à l’épreuve impitoyable de la réalité psychologique de l’esprit humain.

Ensemble, ils fondent et codirigent le PDP Research Group avec un style managérial résolument horizontal et démocratique. Loin des hiérarchies académiques rigides, leurs laboratoires fonctionnaient comme des ateliers coopératifs où étudiants et professeurs débattaient sur un pied d’égalité. Cette symbiose s’est incarnée matériellement dans la rédaction alternée des chapitres de leurs ouvrages, au point que leurs collègues peinaient souvent à distinguer la plume de l’un de celle de l’autre, tant leur pensée s’était fondue en une voix théorique unifiée.

4.2 Le rôle charnière des séminaires de San Diego

Au début des années 1980, le séminaire hebdomadaire du groupe PDP sur le campus ensoleillé de La Jolla devient l’épicentre informel d’une communauté scientifique d’exception. Autour de Rumelhart et McClelland se réunissent des chercheurs qui façonneront le futur des sciences de l’esprit : Geoffrey Hinton, jeune chercheur postdoctoral britannique animé d’une foi inébranlable dans les réseaux distribués ; Terrence Sejnowski, biophysicien explorant les fondements computationnels de la neurobiologie ; et même le légendaire Francis Crick, codécouvreur de la structure de l’ADN, qui, installé au Salk Institute voisin, venait stimuler les débats de ses critiques incisives sur la plausibilité biologique des synapses formelles.

Ces séminaires ne sont pas de simples réunions de lecture : ils constituent une forge théorique où s’affrontent des visions épistémologiques divergentes. Les discussions y sont intenses et passionnées. Comment justifier l’existence de synapses bidirectionnelles symétriques exigées par certains algorithmes ? Comment un neurone pourrait-il transmettre à la fois un signal de sortie et une dérivée d’erreur rétrograde ? Ces contraintes conduisent le groupe à affiner constamment leurs concepts, développant un métalangage computationnel capable de concilier la formalisation algorithmique et les réalités neurobiologiques.

Ces échanges stimulants aboutissent à la conception de modèles pionniers qui dépassent le strict cadre de la psychologie académique. C’est dans ce terreau fertile que Sejnowski concevra NETtalk, un réseau capable d’apprendre à prononcer du texte anglais à voix haute, tandis qu’Hinton développera les machines de Boltzmann. La vision partagée par McClelland et ses confrères transcende le simple cadre d’une école de pensée : elle institue une méthodologie révolutionnaire, transformant la simulation informatique sur réseau de neurones en un outil d’investigation psychologique aussi incontournable que le chronomètre ou le tachistoscope.

4.3 Dissolution involontaire et poursuite de l’héritage

Au milieu des années 1980, les trajectoires géographiques des deux fondateurs se séparent géographiquement : McClelland accepte un poste de professeur titulaire à l’Université Carnegie-Mellon (CMU) à Pittsburgh en 1984, tandis que Rumelhart rejoint plus tard l’Université Stanford en 1987. Malgré la distance, leur collaboration se poursuit activement par voie épistolaire et électronique. Toutefois, la fin des années 1990 est frappée par une tragédie scientifique majeure : David Rumelhart commence à manifester les premiers symptômes d’une maladie neurodégénérative dévastatrice, la maladie de Pick (une forme de démence frontotemporale), qui érode progressivement ses facultés cognitives avant de l’emporter prématurément en 2011.

La perte de son plus proche complice plonge McClelland dans une profonde tristesse mais décuple son sens des responsabilités historiques. Il reprend le flambeau théorique avec une abnégation sans faille. À Carnegie-Mellon, où il fonde le Center for the Neural Basis of Cognition (CNBC) en partenariat avec l’Université de Pittsburgh, McClelland institutionnalise le connexionnisme au plus haut niveau académique, formant des cohortes entières de chercheurs qui occupent aujourd’hui les chaires les plus prestigieuses de neurosciences cognitives mondiales.

McClelland s’attache à préserver et à approfondir l’esprit pionnier du groupe PDP en l’adaptant aux nouvelles technologies d’investigation cérébrale, notamment l’imagerie par résonance magnétique fonctionnelle (IRMf). Il veille à ce que le connexionnisme ne devienne pas une doctrine dogmatique figée, mais demeure un cadre dynamique en constante révision, capable d’assimiler les données empiriques émergentes tout en préservant son postulat fondamental : l’émergence de l’esprit à partir de la matière distribuée.

5. Le modèle d’activation interactive : Reconnaissance visuelle et lecture

5.1 Architecture hiérarchique à trois niveaux

Dès 1981, avant même la publication formelle des volumes PDP, James McClelland et David Rumelhart publient dans la Psychological Review un article fondateur qui pose les jalons de leur méthode : le modèle d’activation interactive de la perception des mots (Interactive Activation Model ou modèle IA). Ce travail pionnier s’attaque à l’une des énigmes les plus documentées de la psychologie cognitive expérimentale : comment le cerveau humain parvient-il à reconnaître avec une rapidité foudroyante les mots écrits dans un alphabet visuel ?

Le modèle repose sur une architecture hiérarchique en couches, structurée en trois niveaux distincts de nœuds de traitement hautement spécialisés :

• Le niveau des traits visuels : Constitué d’unités sensibles à la présence ou à l’absence de segments de lignes géométriques élémentaires (lignes verticales, horizontales, diagonales) composant la typographie des lettres à des positions spatiales définies.
• Le niveau des lettres : Composé de détecteurs abstraits représentant chaque lettre de l’alphabet à chaque position spécifique au sein d’une chaîne de quatre caractères.
• Le niveau des mots : Regroupant des nœuds correspondant à l’ensemble du vocabulaire lexical connu par le système (par exemple, des mots de quatre lettres comme WORK, FORK, WORD).

Chaque unité au sein de cette architecture possède un niveau d’activation continue variant dans le temps en fonction d’équations différentielles régissant l’intégration des flux d’entrées excitatrices et inhibitrices, associées à un mécanisme naturel de retour passif au repos (décroissance d’activation).

5.2 Flux bidirectionnel et boucles rétroactives

L’innovation théorique monumentale du modèle IA réside dans le rejet formel du postulat du traitement séquentiel descendant ou purement ascendant. Dans les modèles classiques de l’époque, la perception était conçue comme une chaîne de montage industrielle : l’information sensorielle transitait passivement de la rétine vers le cortex, de l’élémentaire vers le complexe, sans qu’aucun retour d’information ne soit possible avant l’achèvement complet de l’étape inférieure.

McClelland et Rumelhart introduisent un système de câblage radicalement différent caractérisé par un flux bidirectionnel continu. Il existe bien des connexions ascendantes (bottom-up) excitatrices reliant les traits aux lettres qui les contiennent, et les lettres aux mots qui les incorporent (par exemple, la détection des traits horizontaux et verticaux active la lettre « T »). Mais simultanément, il existe des connexions descendantes (top-down) rétroactives massives : l’activation partielle d’un mot au niveau lexical renvoie instantanément une excitation vers toutes les lettres qui le composent, augmentant rétroactivement leur niveau d’activation avant même que le traitement sensoriel ascendant ne soit complètement terminé.

Ce dispositif est complété par un réseau sophistiqué d’inhibition latérale mutuelle au sein de chaque niveau hiérarchique. Dès qu’un nœud de lettre (ou de mot) commence à accumuler de l’énergie, il émet des signaux inhibiteurs vers tous ses concurrents immédiats à la même position. Ce mécanisme de compétition locale, analogue à l’inhibition latérale documentée dans la rétine et le cortex visuel par les neurophysiologistes, assure une convergence ultra-rapide vers une solution perceptuelle unique en éliminant les hypothèses alternatives les plus faibles.

5.3 Explication computationnelle de l’effet de supériorité du mot

La puissance du modèle d’activation interactive réside dans son aptitude à fournir une explication computationnelle exacte d’un paradoxe empirique découvert initialement par James Cattell au XIXe siècle et raffiné par Reicher et Wheeler à la fin des années 1960 : l’effet de supériorité du mot (Word Superiority Effect ou WSE). Les protocoles expérimentaux démontrent invariablement qu’une lettre cible (par exemple le « D ») est perçue avec une précision significativement plus élevée et un temps de réponse plus bref lorsqu’elle est brièvement flashée au sein d’un mot réel (tel que WORD) que lorsqu’elle est présentée isolée (D) ou insérée dans une suite de lettres illégale (ORWD).

Pour la psychologie séquentielle classique, ce résultat constituait une aporie : comment le tout (le mot entier) pouvait-il être identifié plus rapidement que ses parties constituantes élémentaires (les lettres isolées) ? Le modèle de McClelland apporte une réponse lumineuse d’une simplicité désarmante. Lorsqu’une lettre apparaît dans un mot réel, elle bénéficie simultanément d’une double source convergente d’excitation : l’activation sensorielle ascendante provenant de ses traits physiques et l’activation contextuelle descendante rétropropagée par le niveau lexical qui a déjà commencé à s’activer sous la pression des trois autres lettres environnantes.

Dans le cas d’une lettre isolée ou d’une pseudo-chaîne de caractères, la boucle rétroactive descendante est soit absente, soit diffuse et incohérente, privant le détecteur de lettre de ce renfort top-down décisif. Les simulations numériques exécutées par McClelland ont reproduit au millième de seconde près les données chronométriques réelles obtenues chez les participants humains, démontrant pour la première fois avec un tel brio qu’un modèle à rétroaction dynamique transcendait l’opposition traditionnelle entre perception ascendante et déduction descendante.

6. L’acquisition du langage : La célèbre controverse du passé simple

6.1 Le modèle de formation du prétérit anglais de 1986

Si le modèle d’activation interactive a bouleversé la psychologie de la perception, c’est sur le terrain sacré de la linguistique que James McClelland et David Rumelhart vont déclencher la controverse théorique la plus féroce de l’histoire des sciences cognitives modernes. En 1986, ils publient un chapitre audacieux dans le second volume PDP consacré à l’acquisition du prétérit des verbes anglais (the past tense debate).

Le prétérit anglais constitue un cas d’école emblématique pour les linguistes chomskiens. Il comporte une règle régulière dominante, prévisible et productive (ajouter le suffixe -ed à la racine verbale, comme dans walk / walked), coexistant avec un sous-ensemble d’environ deux cents verbes irréguliers réfractaires à cette règle, regroupés en îlots de régularités morphologiques partielles (par exemple sing / sang / sung, ring / rang / rung, ou hit / hit, go / went). Selon le paradigme dominant incarné par Noam Chomsky, l’apprentissage du langage repose nécessairement sur un dispositif inné d’acquisition du langage (LAD) dédié à l’extraction de règles symboliques abstraites fonctionnant sur des variables algébriques.

Contre cette doxa innéiste, McClelland et Rumelhart bâtissent un réseau de neurones à deux couches, exempt de toute règle programmée, opérant une conversion directe d’une représentation phonologique de la racine du verbe vers une représentation phonologique de sa forme passée. Les entrées et les sorties sont codées sous la forme de triplets de phonèmes (nommés « wickelfeatures » d’après Wayne Wickelgren), fournissant une description grossièrement distribuée du profil sonore des mots. Soumis à un entraînement statistique par ajustement synaptique sur un corpus de verbes réguliers et irréguliers, le réseau apprend à conjuguer sans jamais avoir reçu l’instruction explicite de la moindre règle grammaticale.

6.2 La reproduction de la courbe d’apprentissage en U

Le coup d’éclat magistral du modèle de McClelland et Rumelhart ne réside pas seulement dans sa capacité finale à conjuguer les verbes, mais dans sa fidélité spectaculaire à la trajectoire ontogénétique de l’enfant humain. Le développement morphologique de l’enfant est universellement caractérisé par une mystérieuse « courbe d’apprentissage en U » (U-shaped learning curve) :

• Phase 1 : L’enfant utilise correctement un petit nombre de verbes irréguliers très fréquents (came, went, broke), apprenant apparemment chaque forme par imitation par cœur.
• Phase 2 : Soudainement, les performances semblent régresser de manière dramatique : l’enfant commence à commettre des erreurs de surgénéralisation ou de surrégularisation (overregularization errors), produisant des formes agrammaticales inouïes telles que comed, goed ou breaked, tout en appliquant correctement le suffixe aux verbes réguliers.
• Phase 3 : L’enfant retrouve une compétence parfaite, maîtrisant à la fois les règles régulières et les exceptions irrégulières stabilisées.

Les linguistes traditionnels voyaient dans la transition vers la Phase 2 la preuve irréfutable de la « découverte » ou de la « maturation » d’une règle symbolique innée venant supplanter l’apprentissage associatif par cœur. Or, le modèle connexionniste de McClelland et Rumelhart reproduit spontanément cette courbe en U sans qu’aucun changement qualitatif, aucune règle nouvelle et aucune intervention extérieure ne soient introduits dans le code durant la simulation !

L’explication offerte par le modèle est purement statistique. Au début de l’entraînement, les verbes irréguliers, étant parmi les plus fréquents dans le langage quotidien, s’impriment rapidement dans les poids synaptiques. Mais à mesure que le vocabulaire global du réseau s’élargit, la masse dominante des verbes réguliers s’impose statistiquement dans la matrice synaptique. Le réseau extrait l’attracteur statistique dominant du suffixe régulier, qui « contamine » temporairement les verbes irréguliers en écrasant leurs liaisons synaptiques encore fragiles. Ce n’est qu’après une longue exposition continue que le réseau affine localement ses poids pour préserver les niches irrégulières tout en maintenant la généralisation régulière. L’erreur de l’enfant n’était pas la marque d’une règle, mais le témoin de la réorganisation dynamique d’un espace de poids distribué.

6.3 Le grand débat face à Steven Pinker et Alan Prince

La publication de ce modèle déclenche une réplique d’une violence académique inouïe. En 1988, les linguistes Steven Pinker et Alan Prince publient dans la revue Cognition un mémoire critique dévastateur de près de cent pages, intitulé On language and connectionism: Analysis of a PDP model of language acquisition. Pinker et Prince y attaquent le modèle sur tous les fronts : ils fustigent l’usage des wickelfeatures, incapables de distinguer certains phonèmes réels ; ils dénoncent l’introduction brutale d’un grand nombre de verbes réguliers dans l’environnement du réseau comme un artifice expérimental (le « drop-in ») ; et ils réaffirment l’impossibilité ontologique pour un réseau distribué d’instancier des représentations de variables abstraites indispensables à la syntaxe.

Pinker érige en contre-modèle la théorie du mécanisme duel (Dual-Mechanism Hypothesis ou modèle Words-and-Rules). Selon Pinker, l’esprit humain abrite deux modules computationnels séparés et étanches : d’une part, une mémoire associative lexicale (analogue à un réseau connexionniste) qui stocke arbitrairement les verbes irréguliers par cœur ; d’autre part, un moteur de règles symboliques computationnel qui applique de manière aveugle, par défaut et algébrique, l’opération formelle d’adjonction du suffixe régulier à n’importe quelle variable nominale ou verbale non répertoriée.

McClelland, refusant toute capitulation théorique, publie une série de réponses magistrales tout au long des années 1990 et 2000, notamment en collaboration avec Kim Plunkett et David Plaut. Il y démontre, simulations à l’appui, que les limitations pointées par Pinker et Prince n’étaient pas inhérentes au paradigme connexionniste lui-même, mais relevaient d’imperfections techniques du modèle initial de 1986. En substituant aux représentations phonologiques simplifiées des représentations continues intégrant des structures temporelles récurrentes (comme les réseaux récurrents d’Elman), McClelland prouve qu’un système computationnel homogène et intégré est parfaitement capable de traiter à la fois la généralisation productive et les exceptions quasi-régulières, invalidant la nécessité de postuler une scission modulaire dualiste dans l’architecture de l’esprit.

7. La mémoire et la théorie des systèmes d’apprentissage complémentaires (CLS)

7.1 Le paradoxe de l’interférence catastrophique

Au début des années 1990, alors que le succès des modèles PDP s’étend à l’ensemble des sciences cognitives, un problème structurel majeur vient menacer la viabilité du connexionnisme comme théorie globale de la mémoire humaine : le paradoxe de l’interférence catastrophique (ou oubli catastrophique, catastrophic forgetting), formellement mis en lumière par Michael McCloskey et Neal Cohen en 1989.

Dans un réseau de neurones distribué standard utilisant la rétropropagation du gradient, l’apprentissage d’un nouveau patron d’information entraîne une modification généralisée de la matrice des poids synaptiques. Si un réseau ayant appris de manière stable un vaste corpus de faits (par exemple, la liste A) est soudainement contraint d’apprendre rapidement une série de nouvelles associations (la liste B), les ajustements synaptiques requis pour absorber B écrasent de façon brutale et totale les configurations synaptiques sous-tendant la mémoire de A. En quelques itérations, le réseau perd intégralement ses connaissances antérieures.

Or, la mémoire humaine manifeste des propriétés remarquablement divergentes. Un individu adulte est capable de vivre un événement unique et surprenant le matin (une mémoire épisodique, telle que rencontrer un nouvel ami ou assister à un accident) et de s’en souvenir instantanément le soir, sans que cette acquisition ultra-rapide n’efface pour autant sa maîtrise de la langue française, ses connaissances encyclopédiques ou sa mémoire autobiographique consolidée depuis l’enfance. Comment une architecture neuronale distribuée pouvait-elle concilier la capacité d’apprentissage rapide d’événements singuliers et la préservation à long terme de structures statistiques lentes sans sombrer dans l’interférence catastrophique ?

7.2 La formulation de la théorie CLS (1995)

C’est pour résoudre cette aporie fondamentale que James McClelland formule, aux côtés de Bruce McNaughton et Randall O’Reilly, l’une des théories les plus influentes et pérennes des neurosciences cognitives modernes : la théorie des systèmes d’apprentissage complémentaires (Complementary Learning Systems ou CLS), publiée dans la Psychological Review en 1995.

La théorie CLS postule que la nature a résolu le dilemme computationnel de la stabilité et de la plasticité (stability-plasticity dilemma) en dotant le cerveau de mammifère non pas d’un système mnésique unique, mais de deux systèmes neuronaux coopératifs aux principes computationnels diamétralement opposés et complémentaires :

• Le système hippocampique (hippocampe et structures du lobe temporal médian) : Ce système est optimisé pour un apprentissage ultra-rapide, en un coup (one-shot learning). Il utilise des représentations neuronales clairsemées et hautement séparées (pattern separation) pour minimiser l’interférence entre mémoires similaires. L’hippocampe encode fidèlement la spécificité des épisodes autobiographiques individuels sans chercher à les généraliser.
• Le système néocortical (néocortex associatif) : Ce système est caractérisé par un apprentissage très lent, reposant sur de minuscules incréments synaptiques distribués. Son objectif n’est pas d’enregistrer des détails contingents, mais de découvrir la structure statistique profonde de l’environnement, d’extraire des prototypes, des invariants sémantiques et des régularités partagées à travers des milliers d’expériences distinctes.

Cette théorie a offert une justification computationnelle élégante aux célèbres dissociations cliniques documentées chez des patients amnésiques emblématiques tels que Henry Molaison (le patient H.M.). La destruction bilatérale de l’hippocampe chez H.M. empêchait irrémédiablement l’encodage rapide de nouveaux souvenirs épisodiques, mais laissait intacte sa mémoire sémantique ancienne et sa capacité à extraire très lentement, au cours d’entraînements prolongés, des compétences perceptivo-motrices ancrées dans son néocortex préservé.

7.3 Replay neuronal et consolidation mnésique

Le couronnement computationnel de la théorie CLS réside dans la modélisation du dialogue permanent unissant le cortex et la formation hippocampique au fil du temps. Pour que les souvenirs épisodiques initialement capturés de manière fugitive par l’hippocampe puissent s’intégrer harmonieusement dans le réseau de connaissances néocortical sans provoquer d’interférence catastrophique, ils doivent subir un processus de consolidation systémique graduelle.

McClelland et ses collègues démontrent mathématiquement que cette consolidation repose sur un mécanisme d’apprentissage intercalé (interleaved learning). Durant les périodes d’inactivité comportementale, singulièrement au cours du sommeil à ondes lentes et des états de repos vigile, l’hippocampe rejoue de manière autonome (neural replay) les configurations d’activations neuronales encodées durant l’éveil. Ces traces réactivées sont projetées de manière récurrente vers les aires corticales, où elles sont injectées et entrelacées avec les traces anciennes réactivées du néocortex.

Grâce à cette réexposition interne lente et périodique, les poids synaptiques néocorticaux s’ajustent par d’infimes fractions, permettant au nouveau fait d’être assimilé au sein des représentations préexistantes sans déstabiliser l’équilibre global de la mémoire sémantique. Vingt ans après sa formulation, la théorie CLS a été mise à jour par McClelland, Dharshan Kumaran et Demis Hassabis en 2016 dans la revue Trends in Cognitive Sciences, démontrant comment ces principes computationnels anciens éclairent directement les percées de l’apprentissage par renforcement profond et la conception d’agents artificiels dotés de mémoires épisodiques artificielles (comme l’architecture DNC de DeepMind).

8. Sémantique distribuée et organisation des connaissances conceptuelles

8.1 Le modèle sémantique de Rogers et McClelland (2004)

Poursuivant sa quête d’une description unifiée de la cognition subsymbolique, James McClelland s’associe au début des années 2000 avec Timothy Rogers pour publier un ouvrage théorique majeur : Semantic Cognition: A Parallel Distributed Processing Approach (MIT Press, 2004). Les deux chercheurs s’attaquent à la nature même des concepts humains : qu’est-ce qu’un « chien », un « canari », un « chêne » ou un « piano », et comment de telles entités sont-elles représentées dans l’esprit ?

Depuis Aristote jusqu’aux modèles d’intelligence artificielle symbolique de Collins et Quillian (1969), la cognition sémantique était quasi unanimement conçue sous la forme d’arbres taxonomiques rigides et de graphes hiérarchiques de propositions logiques. Dans ces réseaux sémantiques classiques, les propriétés étaient rattachées à des nœuds discrets via le principe d’économie cognitive (par exemple, la propriété « peut voler » était attachée au nœud abstrait « Oiseau », dont héritait par déduction logique le nœud subordonné « Canari »).

Rogers et McClelland pulvérisent ce modèle formaliste en proposant un réseau de neurones multicouche doté d’une couche de représentations internes continues. Dans leur modèle, un concept n’est plus un point fixe dans un arbre, mais un vecteur d’activation distribué au sein d’un espace sémantique continu de grande dimension. La proximité géométrique entre les vecteurs reflète la similarité des patrons statistiques partagés par les entités dans le monde réel. Les inférences sémantiques ne découlent pas de syllogismes déductifs, mais de la topologie d’attracteurs dynamiques façonnés par la cohérence statistique des expériences perceptives et linguistiques passées.

8.2 Pathologie du système sémantique et démence sémantique

L’éclatante supériorité explicative du modèle de Rogers et McClelland s’est révélée dans sa capacité à rendre compte avec une précision clinique remarquable des profils de dégradation observés chez les patients souffrant de démence sémantique. Cette pathologie neurodégénérative, liée à une atrophie progressive et bilatérale du lobe temporal antérieur (ATL), se caractérise par l’érosion sélective et isolée des connaissances conceptuelles, alors que la syntaxe, la mémoire épisodique récente et les fonctions visuo-spatiales demeurent longtemps préservées.

Les cliniciens avaient mis en évidence une trajectoire de dégradation hautement stéréotypée :

• Au stade initial de la maladie, le patient perd en premier lieu la capacité de discriminer et de nommer les entités au niveau subordonné le plus spécifique (il ne reconnaît plus un « rouge-gorge » ou un « canari », mais les désigne comme des « oiseaux »).
• À mesure que la maladie progresse, le patient perd le niveau de base (il ne distingue plus un « oiseau » d’un « chien », mais les qualifie tous d’« animaux » ou de « bêtes »).
• Aux stades avancés, le système conceptuel s’effondre dans une indifférenciation totale, où tout être vivant ou objet est simplement étiqueté comme « une chose ».
• Simultanément, les patients manifestent une « hyper-régularisation sémantique » : confrontés à un dessin de canard sans ailes ou de chien sans oreilles, ils ont tendance à leur attribuer les propriétés prototypiques les plus banales de leur super-catégorie.

En introduisant des dégradations synaptiques progressives (bruitage ou suppression de poids) au sein de leur réseau de neurones sémantique, Rogers et McClelland reproduisent cette séquence clinique exacte. Les représentations internes du modèle démontrent mathématiquement que les distinctions fines (subordonnées) reposent sur des micro-ondulations fragiles de l’espace vectoriel, qui sont les premières à être effacées par le bruit lésionnel. En revanche, les grandes catégories générales (animé vs inanimé) sont soutenues par de profonds bassins d’attraction façonnés par des régularités statistiques massives, résistant infiniment plus longtemps à la neurodégénérescence.

8.3 Développement conceptuel chez l’enfant

Le même modèle computationnel qui explique la dégradation pathologique de la mémoire conceptuelle chez le vieillard apporte un éclairage décisif sur le développement sémantique chez le jeune enfant, opérant ainsi une spectaculaire synthèse épistémologique entre ontogenèse et pathologie. Dans les années 1970 et 1980, le débat opposait les partisans d’une structuration catégorielle innée (postulant des modules conceptuels prédéterminés pour les « espèces naturelles ») aux théoriciens piagétiens ou empiristes.

McClelland démontre comment un réseau connexionniste soumis à un apprentissage perceptif et linguistique progressif effectue une différenciation conceptuelle par étapes successives. Au début de l’entraînement, l’espace d’activation interne du réseau est indifférencié. Puis, sous la pression de la rétropropagation, les poids synaptiques se configurent pour scinder d’abord l’univers en deux macro-domaines fondamentaux : les entités dotées de motricité autonome et de traits biologiques (les êtres animés) et les artefacts rigides manipulables (les objets inanimés).

Ce n’est que dans un second temps que la branche des animés se subdivise spontanément en sous-groupes (les oiseaux, les mammifères, les poissons), chaque sous-groupe se ramifiant à son tour pour isoler les individus singuliers. Ce phénomène de différenciation progressive émerge naturellement sans qu’aucun critère logique formel n’ait été injecté dans le réseau. McClelland dépasse ainsi l’opposition séculaire entre innéisme et empirisme : les catégories conceptuelles ne sont ni des idées platoniciennes innées, ni de simples collections de sensations brutes, mais des attracteurs structurés émergeant de l’interaction adaptative continue entre un réseau neuronal plastique et la covariance statistique du monde physique.

9. Cognition mathématique, prise de décision et processus continus

9.1 L’émergence des concepts mathématiques

Non content d’avoir révolutionné l’étude du langage et de la sémantique, James McClelland a étendu son paradigme au domaine réputé le plus hostile au connexionnisme : la cognition mathématique et le raisonnement formel. Pour les tenants du modèle symbolique classique, l’arithmétique représentait la preuve suprême de la nature discrète de l’esprit, articulée autour de concepts logiques purs, d’axiomes indécomposables et d’opérations algébriques exactes.

Dans ses travaux théoriques sur la genèse de l’arithmétique, McClelland démontre que la compréhension des nombres par le cerveau humain ne prend pas sa source dans des symboles formels abstraits, mais s’enracine dans un « sens du nombre » (number sense) continu et distribué, partagé avec d’autres espèces animales. Ce système primaire repose sur des représentations de magnitude approximative, encodées sous forme d’activations floues le long d’une ligne numérique mentale (mental number line).

À travers des simulations de réseaux connexionnistes, McClelland modélise comment l’apprentissage culturel et linguistique de l’arithmétique formelle vient se greffer sur ce substrat continu primitif. L’enfant n’apprend pas les tables de multiplication comme un processeur exécute une routine binaire : il développe un réseau d’attracteurs statistiques interconnectés reliant des configurations verbales, visuelles et quantitatives. Cela explique pourquoi les erreurs commises par les humains dans des calculs rapides ne sont jamais aléatoires (comme donner 4 589 comme résultat de 7 × 8), mais gravitent quasi systématiquement autour d’attracteurs voisins dans la table de multiplication (comme répondre 54 ou 64), trahissant la dynamique sous-jacente d’un réseau continu à propagation d’activation.

9.2 Dynamique de la prise de décision perceptive

L’un des apports méthodologiques les plus élégants de McClelland à la neuropsychologie contemporaine réside dans l’élaboration de modèles dynamiques de la prise de décision perceptive en temps continu. En collaboration avec Marius Usher, il conçoit au tournant des années 2000 le modèle de l’accumulateur compétitif avec fuite (Leaky Competing Accumulator ou LCA), publié dans la Psychological Review en 2001.

Le modèle LCA se propose d’élucider comment un réseau neuronal choisit entre plusieurs alternatives sensorielles contradictoires en présence d’un signal bruité et incertain (par exemple, décider si un ensemble de points mouvants sur un écran se déplace vers la gauche ou vers la droite) :

• Chaque décision potentielle est représentée par une unité de traitement intégrant continuellement des preuves sensorielles au fil du temps.
• Cette accumulation d’informations est soumise à une déperdition passive spontanée (la « fuite » ou leak), qui empêche le système de rester bloqué sur des signaux obsolètes.
• Les unités accumulatrices exercent une inhibition latérale réciproque puissante, chaque alternative tentant de supprimer ses rivales à mesure que son niveau de certitude augmente.
• La décision est actée dès que l’activation de l’une des unités franchit un seuil critique prédéfini.

Le modèle LCA a permis d’unifier sous un même formalisme mathématique élégant les données comportementales de distribution des temps de réponse (RT distributions) et les enregistrements électrophysiologiques unitaires réalisés par les neurophysiologistes (tels que William Newsome et Michael Shadlen) dans le cortex pariétal et préfrontal de primates non humains. McClelland a prouvé que la décision humaine n’est pas un calcul logique discret et instantané, mais le résultat d’une dynamique de relaxation compétitive non linéaire, ancrée dans la mécanique même des circuits neuronaux récurrents.

9.3 Processus cognitifs en temps continu

L’ensemble de ces contributions converge vers une position épistémologique radicale que McClelland a défendue avec constance tout au long de sa carrière : le rejet catégorique de la conception de la pensée comme une suite d’étapes discrètes et séquentielles, au profit d’une modélisation intégrale en temps continu.

Dans la psychologie cognitive traditionnelle issue de la méthode soustractive de Donders et des théories des stades de Sternberg, l’esprit était appréhendé comme une succession de modules opérant chacun de façon autonome avant de transmettre leur résultat fini à l’étape suivante (par exemple : Détection sensorielle → Identification lexicale → Sélection de la réponse → Exécution motrice). McClelland démontre que cette décomposition sérielle est une illusion méthodologique induite par des mesures expérimentales trop macroscopiques.

En formulant ses modèles sous la forme de systèmes d’équations différentielles couplées, McClelland montre que le traitement cognitif s’apparente à un écoulement continu (cascade model) : dès qu’une information parcellaire commence à être traitée au niveau sensoriel le plus élémentaire, elle commence immédiatement à se propager et à influencer les niveaux lexicaux, sémantiques et moteurs, bien avant que la décision perceptive ne soit achevée. La cognition n’est pas un échiquier où des pièces se déplacent coup par coup selon des règles fixes ; elle est un paysage hydrodynamique où des flux informationnels continus s’auto-organisent pour stabiliser temporairement des états de sens et d’action.

10. Contributions méthodologiques et outils de simulation computationnelle

10.1 Développement des environnements PDP++ et LENS

L’impact exceptionnel de James McClelland sur les sciences cognitives ne tient pas uniquement à ses percées théoriques, mais également à son investissement dévoué dans le développement d’outils logiciels ouverts et standardisés destinés à démocratiser la modélisation connexionniste à l’échelle planétaire. Conscient que l’hégémonie du modèle symbolique s’expliquait en partie par l’accessibilité intuitive du codage informatique conventionnel, McClelland s’est efforcé de doter les chercheurs et étudiants en psychologie de plateformes de simulation neuronale robustes et conviviales.

Dès la fin des années 1980, en collaboration avec David Rumelhart, il publie des manuels d’expérimentation accompagnés de disquettes logicielles contenant des programmes en langage C permettant d’exécuter pas à pas les modèles historiques présentés dans les volumes PDP (les célèbres manuels Explorations in Parallel Distributed Processing). Ces programmes fournissaient une interface graphique interactive permettant d’observer en direct l’évolution dynamique des activations vectorielles, la modification continue des poids synaptiques et la trajectoire des courbes d’erreur lors de la descente de gradient.

Au cours des années 1990, cette initiative franchit une étape majeure avec le développement de l’environnement PDP++, conçu en collaboration avec Randall O’Reilly et d’autres chercheurs de Carnegie-Mellon. Écrit en C++ orienté objet, PDP++ offrait un cadre modulaire, puissant et hautement paramétrable, permettant d’implémenter aussi bien des modèles récurrents, des réseaux auto-encodeurs que des algorithmes de type rétropropagation ou apprentissage hebbien compétitif. Plus tard, des plateformes complémentaires comme le simulateur LENS (Lightweight Efficient Network Simulator), développé sous son égide par Doug Rohde, ont permis d’accélérer considérablement la vitesse de calcul des simulations sur de très vastes corpus linguistiques. En rendant ces outils librement accessibles à la communauté scientifique internationale, McClelland a joué un rôle de pionnier dans l’avènement de la science ouverte (open science) et de la reproductibilité computationnelle.

10.2 Rigueur épistémologique dans la modélisation computationnelle

À une époque où la modélisation par réseaux de neurones était parfois taxée de laxisme méthodologique ou soupçonnée de comporter un trop grand nombre de paramètres libres (le fameux reproche du « réglage de courbes » ou curve fitting), James McClelland s’est illustré comme le champion d’une rigueur épistémologique intransigeante. Il a formalisé les canons méthodologiques stricts qui doivent présider à la construction d’un modèle computationnel en psychologie cognitive.

Pour McClelland, un modèle de réseau de neurones n’a de légitimité scientifique que s’il satisfait à un impératif de triple contrainte empirique simultanée :

• La fidélité aux taux de performance : Le réseau doit être capable d’atteindre le niveau de précision global manifesté par les humains dans la tâche cible.
• La reproduction des chronométries fines : Le modèle doit prédire fidèlement les variations temporelles (temps de réaction et latences d’activation) sous différentes conditions expérimentales et manipulations de charge cognitive.
• L’isomorphisme des patterns d’erreurs : Le réseau doit reproduire avec exactitude la nature qualitative des erreurs et des confusions systématiques commises par les sujets humains, qu’ils soient neurotypiques, enfants en cours d’acquisition ou patients cérébrolésés.

De plus, McClelland a constamment fustigé l’utilisation de réseaux de neurones conçus comme de simples « boîtes noires » statistiques opaques. Pour lui, le but du psychologue computationnel n’est pas simplement d’entraîner un modèle performant, mais d’ouvrir la boîte : disséquer analytiquement les représentations géométriques émergentes dans l’espace des unités cachées, comprendre les dynamiques vectorielles sous-tendant la convergence et extraire les principes computationnels universels qui transcendent les particularités de l’implémentation algorithmique.

10.3 Rapprochement avec les techniques d’imagerie cérébrale fonctionnelle

Avec l’explosion de l’imagerie par résonance magnétique fonctionnelle (IRMf) et de l’électroencéphalographie à haute densité (potentiels évoqués ou ERP) dans les années 1990 et 2000, McClelland comprend que la modélisation connexionniste doit devenir le langage médiateur indispensable reliant le signal biophysique macroscopique aux théories cognitives de haut niveau.

Il est l’un des premiers à démontrer comment les matrices de connectivité et les trajectoires d’activation vectorielles issues des réseaux PDP peuvent être corrélées directement avec les patterns d’activité hémodynamique mesurés dans le cerveau humain. McClelland a été un pionnier précoce des méthodologies d’analyse de similarité représentationnelle (Representational Similarity Analysis ou RSA), développées ultérieurement par des chercheurs comme Nikolaus Kriegeskorte. En comparant les matrices de distance géométrique calculées entre les unités cachées d’un réseau connexionniste et les matrices de distance calculées entre les voxels corticaux lors de la présentation des mêmes stimuli visuels ou sémantiques, McClelland a prouvé que les réseaux artificiels capturaient fidèlement la topologie représentationnelle du cortex temporal et ventral humain.

Cette approche a profondément transformé la neuro-imagerie cognitive : au lieu de se limiter à une « phrénologie moderne » consistant simplement à cartographier « où » s’allument des zones cérébrales lors d’une tâche, les neurosciences computationnelles ont pu enfin modéliser « comment » et « sous quelle forme mathématique » l’information est transformée et calculée au sein de ces réseaux distribués.

11. Controverses théoriques et débats épistémologiques majeurs

11.1 La querelle Fodor-Pylyshyn et la systématicité de la pensée

L’affrontement le plus fondamental et le plus célèbre sur le plan philosophique opposant le connexionnisme de McClelland à la tradition computationnelle classique éclate en 1988 avec la parution dans la revue Cognition de l’article manifeste des philosophes Jerry Fodor et Zenon Pylyshyn : Connectionism and cognitive architecture: A critical analysis. Fodor et Pylyshyn y lancent une offensive de fond contre le paradigme PDP, affirmant que les réseaux de neurones sont structurellement incapables de rendre compte de la véritable nature de la pensée humaine.

Leur argumentation repose sur trois propriétés cardinales de la cognition :

• La productivité : La capacité infinie de l’esprit à générer et comprendre un nombre illimité de pensées nouvelles à partir d’un ensemble fini d’éléments.
• La systématicité : Le fait intrinsèque que la capacité de concevoir une certaine pensée implique nécessairement la capacité de concevoir des pensées structurellement reliées (par exemple, quiconque est capable de comprendre la proposition « Jean aime Marie » est intrinsèquement capable de comprendre « Marie aime Jean »).
• La compositionalité : Le principe selon lequel la signification d’un énoncé complexe est strictement déterminée par la signification de ses parties syntaxiques et les règles formelles de leur combinaison.

Selon Fodor et Pylyshyn, ces propriétés exigent absolument un « langage de la pensée » (Language of Thought ou Mentalese) reposant sur des structures syntaxiques combinatoires composées de symboles discrets et de règles formelles insensibles au contenu. Pour eux, le connexionnisme se trouvait enfermé dans un dilemme fatal : soit il n’était qu’une simple théorie d’implémentation neuronale sans pertinence cognitive (réduisant le réseau au rôle de simple support physique d’une machine de Turing symbolique), soit, s’il prétendait être une théorie cognitive autonome, il était tout bonnement faux car incapable d’expliquer la systématicité de la pensée.

La réponse théorique articulée par McClelland et ses alliés (notamment Paul Smolensky) fut d’une grande profondeur épistémologique. McClelland contesta vigoureusement l’idée que la compositionnalité doive obligatoirement être symbolique, classique et concaténative. Il développa le concept de « compositionnalité fonctionnelle » et vectorielle : au sein d’un espace distribué de grande dimension, les représentations vectorielles peuvent se combiner de manière non linéaire (via des produits tensoriels ou des opérations circulaires de convolution) tout en préservant des relations de dépendance structurelle sophistiquées. McClelland démontra que la systématicité humaine n’est jamais absolue et rigide comme celle d’un compilateur logique, mais sensible au contexte et souple (par exemple, notre interprétation de « Jean aime Marie » est subtilement modulée par nos connaissances sémantiques sur Jean et Marie), une propriété que seuls les réseaux connexionnistes sont capables d’instancier avec élégance.

11.2 Confrontation avec l’approche bayésienne de la cognition

Au début des années 2000, une nouvelle controverse majeure émerge au sein des sciences cognitives, cette fois non pas face aux tenants du symbolisme classique, mais face au courant triomphant du « cerveau bayésien » et des modèles probabilistes de la cognition rationnelle, portés par des chercheurs de premier plan tels que Joshua Tenenbaum et Thomas Griffiths. Ces théoriciens soutiennent que l’esprit humain fonctionne comme une machine d’inférence statistique optimale, actualisant ses croyances sur le monde selon le théorème de Bayes et manipulant des distributions de probabilité a priori sur des représentations structurées.

S’engage alors un dialogue intellectuel serré entre McClelland et les bayésiens, culminant dans un débat mémorable publié dans la revue Trends in Cognitive Sciences en 2006. Tenenbaum et Griffiths reprochent aux réseaux de neurones de McClelland d’être trop « myopes », nécessitant des milliers d’exemples d’apprentissage là où un enfant bayésien infère une règle causale à partir d’un seul cas (one-shot learning) grâce à des a priori structurés au niveau computationnel de David Marr.

McClelland réplique en plaidant pour la primauté des contraintes mécanicistes et de la réalisabilité neuronale. Il soutient que les modèles bayésiens purs commettent une erreur téléologique en postulant une optimalité computationnelle abstraite et désincarnée, ignorant totalement comment de telles inférences formelles complexes pourraient être exécutées par des assemblées réelles de neurones sans exploser en termes de complexité combinatoire. McClelland démontre que le comportement apparemment « rationnel » ou « quasi-bayésien » manifesté par les humains n’est pas le produit d’un algorithme probabiliste formel programmé au sommet du système, mais la propriété statistique émergente naturelle de vastes réseaux connexionnistes qui s’ajustent dynamiquement à la structure de leur environnement physique et social.

11.3 Le problème de la plausibilité biologique de la rétropropagation

Tout au long de sa trajectoire académique, McClelland a également dû affronter des critiques venues cette fois de l’aile la plus dure des neurosciences fondamentales et de la neurobiologie cellulaire, ciblant le cœur algorithmique de ses modèles : l’algorithme de rétropropagation du gradient (backpropagation). Les neurophysiologistes faisaient valoir trois objections biologiques majeures à cet algorithme :

• Le problème du transport des poids (weight transport problem) : la rétropropagation exige que le calcul du gradient utilise exactement les mêmes poids synaptiques pour la transmission rétrograde de l’erreur que ceux utilisés pour la propagation antérograde du signal d’activité, une condition jugée hautement improbable sur le plan biophysique.
• L’absence de voies neuronales spécifiques connues capables de propager des signaux d’erreur mathématiques purs distincts des potentiels d’action normaux.
• La nécessité d’un superviseur externe explicite indiquant l’erreur exacte pour chaque dimension de sortie, ce qui ne correspond pas aux conditions réelles de l’apprentissage perceptif biologique.

Face à ces critiques légitimes, l’attitude de James McClelland s’est caractérisée par un pragmatisme épistémologique lucide doublé d’une recherche constante d’alternatives biologiquement plausibles. D’une part, il a toujours soutenu que la rétropropagation devait être comprise comme une formalisation mathématique idéale, une approximation de haut niveau décrivant comment un système adaptatif parvient à minimiser l’erreur globale, sans que chaque étape de dérivation ne doive obligatoirement correspondre à un filament axonal microscopique individuel.

D’autre part, McClelland et ses collaborateurs ont activement développé des variantes algorithmiques plus conformes à la neurophysiologie, telles que l’apprentissage hebbien contrastif (Contrastive Hebbian Learning ou algorithme GeneRec de Randall O’Reilly) ou les cadres computationnels fondés sur le codage prédictif (predictive coding). Dans ces modèles plus récents, les erreurs ne sont pas rétropropagées par des voies mystérieuses, mais calculées localement sous forme de discordances temporelles entre des prédictions générées par le cortex et des entrées sensorielles réelles, démontrant la capacité constante du connexionnisme à épouser les frontières les plus exigeantes de la neurobiologie contemporaine.

12. Héritage contemporain, impact sur l’intelligence artificielle et perspectives

12.1 Fondations directes du deep learning moderne

L’explosion technologique contemporaine de l’apprentissage profond (deep learning), qui a métamorphosé la société industrielle au cours de la décennie 2010 et 2020, trouve sa filiation généalogique et intellectuelle la plus directe et incontestable dans les travaux théoriques et empiriques initiés par James McClelland et le groupe PDP dans les années 1980.

Les trois pionniers unanimement célébrés comme les pères fondateurs de la révolution du deep learning — Geoffrey Hinton, Yann LeCun et Yoshua Bengio, colauréats du prestigieux Prix Turing en 2018 — ont tous évolué au cœur de cette matrice connexionniste historique. Geoffrey Hinton, coauteur des volumes PDP aux côtés de McClelland, n’a cessé de rappeler que les architectures modernes de réseaux profonds multicouches ne sont que l’expansion mathématique et informatique directe des principes fondamentaux posés à San Diego : représentations vectorielles distribuées, non-linéarités continues, descente de gradient et réorganisation plastique des matrices de poids.

Pendant la longue période de scepticisme technologique connue sous le nom de « deuxième hiver de l’intelligence artificielle » (dans les années 1990 et le début des années 2000), lorsque la majorité des financements industriels et des revues d’informatique délaissaient les réseaux neuronaux au profit de méthodes formelles plus restrictives comme les machines à vecteurs de support (SVM), McClelland, Hinton et une poignée d’irréductibles ont maintenu vivante la flamme théorique du connexionnisme. La résurrection spectaculaire du domaine à partir de 2012, propulsée par la puissance brute des processeurs graphiques (GPU) et l’accès à des volumes gigantesques de données numériques (big data), a apporté une confirmation éclatante à la thèse défendue par McClelland depuis quarante ans : la scalabilité computationnelle d’un système distribué est sans commune mesure avec les limites structurelles des architectures logiques rigides.

12.2 Distinction fondamentale entre IA moderne et sciences cognitives

Néanmoins, en observant l’hégémonie contemporaine de l’intelligence artificielle industrielle — incarnée par les modèles de fondation massifs, les architectures de transformeurs (Transformers) et les grands modèles de langage (LLM tels que ChatGPT ou Claude) —, James McClelland adopte une posture intellectuelle marquée par une lucidité critique aiguë. Il met solennellement en garde la communauté scientifique contre le risque de confondre le succès technologique d’ingénierie et l’élucidation authentique des mécanismes cognitifs de l’esprit humain.

Dans plusieurs essais et conférences récentes, McClelland rappelle la distinction cardinale qui sépare l’IA appliquée des sciences cognitives computationnelles :

• La frugalité de l’apprentissage : Les modèles de langage modernes nécessitent d’ingérer des trillions de jetons textuels — l’équivalent de millions de vies humaines de lecture ininterrompue — pour acquérir une compétence statistique, alors qu’un enfant apprend à maîtriser le langage et la structure du monde avec une exposition quantitative infiniment moindre.
• L’ancrage sensorimoteur incarné (embodiment) : Les transformeurs actuels fonctionnent sur des corrélations formelles au sein de données textuelles désincarnées, dépourvues de tout ancrage perceptif, moteur ou viscéral dans un environnement physique tridimensionnel, privant ces agents d’une véritable compréhension causale et expérientielle de la réalité.
• L’intégration architecturale : Alors que les modèles industriels s’appuient massivement sur des architectures homogènes entraînées en un seul bloc, le cerveau humain tire sa puissance et sa flexibilité de la coopération adaptative entre des systèmes complémentaires spécialisés, tels que le couplage néocortico-hippocampique formalisé par la théorie CLS.

Pour McClelland, l’intelligence artificielle moderne court le risque d’une régression épistémologique si elle oublie les contraintes imposées par la psychologie humaine et la neurobiologie. Les performances impressionnantes des modèles de langage à base d’attention ne doivent pas masquer leurs défaillances fondamentales en matière de raisonnement robuste, d’inférence causale et de mise à jour dynamique des connaissances, des défis qui ne pourront être surmontés que par un retour aux principes fondamentaux de l’intégration continue, du temps réel et de la complémentarité des systèmes d’apprentissage.

12.3 Activités contemporaines à l’Université Stanford et reconnaissance internationale

Après plus de deux décennies d’un magistère scientifique incontesté à l’Université Carnegie-Mellon, James McClelland rejoint en 2006 le corps professoral d’élite de l’Université Stanford en Californie, revenant ainsi sur la côte ouest qui avait vu naître le connexionnisme. À Stanford, il est nommé titulaire de la chaire Lucie Stern au département de psychologie et prend la direction fondatrice du Center for Mind, Brain, Computation and Technology, un institut interdisciplinaire rattaché au célèbre Wu Tsai Neurosciences Institute.

Dans ce sanctuaire académique, McClelland poursuit sans relâche ses recherches de pointe, explorant désormais les croisements féconds entre neurodynamique des populations de neurones, prise de décision mathématique et modélisation de la conscience d’accès. Sa stature intellectuelle a été consacrée par les distinctions scientifiques les plus prestigieuses à l’échelle mondiale :

• Le Prix Rumelhart en 2010, la plus haute distinction en sciences cognitives théoriques, nommé en l’honneur de son regretté collaborateur.
• Le Prix C.L. de Carvalho-Heineken pour les sciences cognitives en 2014, décerné par l’Académie royale néerlandaise des arts et des sciences, saluant l’ensemble de son œuvre novatrice.
• La Médaille Howard Crosby Warren en 1993, décernée par la Société des psychologues expérimentaux.
• Son élection à la très prestigieuse Académie nationale des sciences des États-Unis (National Academy of Sciences) et à l’Académie américaine des arts et des sciences.

Aujourd’hui professeur émérite, James McClelland incarne l’archétype du savant visionnaire qui aura traversé et façonné plus d’un demi-siècle de révolution scientifique. En arrachant la psychologie cognitive aux abstractions arides du formalisme logiciste pour l’enraciner dans la splendeur distribuée, dynamique et adaptative des réseaux neuronaux, il a non seulement réconcilié l’esprit avec son substrat biologique, mais il a offert à l’humanité les clés computationnelles permettant d’appréhender le mystère de sa propre pensée. Son legs demeure une source inépuisable d’inspiration, guidant les nouvelles générations de chercheurs vers cette frontière ultime où la neurobiologie moléculaire, les algorithmes mathématiques et l’expérience consciente s’unissent en une seule et même symphonie intelligible.

Références

Cattell, J. M. (1886). The time it takes to see and name objects. Mind, 11(41), 63–65. https://doi.org/10.1093/mind/os-XI.41.63

Collins, A. M., & Quillian, M. R. (1969). Retrieval time from semantic memory. Journal of Verbal Learning and Verbal Behavior, 8(2), 240–247. https://doi.org/10.1016/S0022-5371(69)80069-1

Fodor, J. A., & Pylyshyn, Z. W. (1988). Connectionism and cognitive architecture: A critical analysis. Cognition, 28(1–2), 3–71. https://doi.org/10.1016/0010-0277(88)90031-5

Griffiths, T. L., & Tenenbaum, J. B. (2006). Optimal predictions in everyday cognition. Psychological Science, 17(9), 767–773. https://doi.org/10.1111/j.1467-9280.2006.01780.x

Hebb, D. O. (1949). The Organization of Behavior: A Neuropsychological Theory. John Wiley & Sons.

Kumaran, D., Hassabis, D., & McClelland, J. L. (2016). What learning systems do intelligent agents need? Complementary learning systems theory updated. Trends in Cognitive Sciences, 20(7), 512–534. https://doi.org/10.1016/j.tics.2016.05.004

McClelland, J. L. (1979). On the time relations of mental processes: An examination of systems of processes in cascade. Psychological Review, 86(4), 287–330. https://doi.org/10.1037/0033-295X.86.4.287

McClelland, J. L., & Rumelhart, D. E. (1981). An interactive activation model of context effects in letter perception: Part 1. An account of basic findings. Psychological Review, 88(5), 375–407. https://doi.org/10.1037/0033-295X.88.5.375

McClelland, J. L., McNaughton, B. L., & O’Reilly, R. C. (1995). Why there are complementary learning systems in the hippocampus and neocortex: Insights from the successes and failures of connectionist models of learning and memory. Psychological Review, 102(3), 419–457. https://doi.org/10.1037/0033-295X.102.3.419

McClelland, J. L., & Rogers, T. T. (2003). The parallel distributed processing approach to semantic cognition. Nature Reviews Neuroscience, 4(4), 310–322. https://doi.org/10.1038/nrn1076

McClelland, J. L., & Patterson, K. (2002). Rules or associations in language? The past tense debate revisited. Trends in Cognitive Sciences, 6(11), 465–472. https://doi.org/10.1016/S1364-6613(02)01999-5

McCloskey, M., & Cohen, N. J. (1989). Catastrophic interference in connectionist networks: The sequential learning problem. Psychology of Learning and Motivation, 24, 109–165. https://doi.org/10.1016/S0079-7421(08)60536-8

Minsky, M., & Papert, S. (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press.

Neisser, U. (1967). Cognitive Psychology. Appleton-Century-Crofts.

Newell, A., & Simon, H. A. (1976). Computer science as empirical inquiry: Symbols and search. Communications of the ACM, 19(3), 113–126. https://doi.org/10.1145/360018.360022

Pinker, S., & Prince, A. (1988). On language and connectionism: Analysis of a parallel distributed processing model of language acquisition. Cognition, 28(1–2), 73–193. https://doi.org/10.1016/0010-0277(88)90032-7

Reicher, G. M. (1969). Perceptual recognition as a function of meaningfulness of stimulus material. Journal of Experimental Psychology, 81(2), 275–280. https://doi.org/10.1037/h0027768

Rogers, T. T., & McClelland, J. L. (2004). Semantic Cognition: A Parallel Distributed Processing Approach. MIT Press. https://doi.org/10.7551/mitpress/6143.001.0001

Rumelhart, D. E., & McClelland, J. L. (1982). An interactive activation model of context effects in letter perception: Part 2. The contextual enhancement effect and some tests and extensions of the model. Psychological Review, 89(1), 60–94. https://doi.org/10.1037/0033-295X.89.1.60

Rumelhart, D. E., & McClelland, J. L. (Eds.). (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Vol. 1: Foundations. MIT Press.

Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536. https://doi.org/10.1038/323533a0

Rumelhart, D. E., & McClelland, J. L. (1986). On learning the past tenses of English verbs. In J. L. McClelland & D. E. Rumelhart (Eds.), Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Vol. 2: Psychological and Biological Models (pp. 216–271). MIT Press.

Smolensky, P. (1988). On the proper treatment of connectionism. Behavioral and Brain Sciences, 11(1), 1–23. https://doi.org/10.1017/S0140525X00052432

Usher, M., & McClelland, J. L. (2001). The time course of perceptual choice: The leaky competing accumulator model. Psychological Review, 108(3), 550–592. https://doi.org/10.1037/0033-295X.108.3.550

Wheeler, D. D. (1970). Processes in word recognition. Cognitive Psychology, 1(1), 59–85. https://doi.org/10.1016/0010-0285(70)90005-8