David Rumelhart – 1942 2011

Biographie

L’histoire des sciences cognitives contemporaines et de l’intelligence artificielle est jalonnée de ruptures conceptuelles décisives, mais rares sont les figures dont les travaux ont opéré une refondation aussi radicale de notre compréhension de l’esprit que le psychologue et mathématicien américain David Everett Rumelhart. Né au cœur de l’Amérique rurale et formé aux méthodes quantitatives les plus exigeantes de la psychologie mathématique, Rumelhart a su très tôt identifier les limites fondamentales des modèles qui dominaient les sciences de l’esprit au milieu du XXe siècle. Alors que le paradigme symbolique classique postulait un esprit humain assimilable à un ordinateur numérique séquentiel opérant sur des représentations propositionnelles discrètes, Rumelhart a théorisé, formalisé et popularisé une vision radicalement alternative : celle du traitement distribué en parallèle (Parallel Distributed Processing ou PDP), plus communément désigné sous le terme de connexionnisme.

Par l’entremise de modèles mathématiques novateurs, d’un souci constant d’adéquation empirique avec les données de la psychologie expérimentale et d’une intuition exceptionnelle quant aux propriétés dynamiques des systèmes physiques complexes, Rumelhart a redéfini le paysage des sciences de l’esprit. Ses contributions s’étendent de la linguistique textuelle précoce — à travers sa théorie des schémas et de la grammaire des histoires — jusqu’à la réinvention et la diffusion universelle de l’algorithme de rétropropagation du gradient pour les réseaux de neurones artificiels multicouches. Cette avancée technique et conceptuelle, cosignée en 1986 avec Geoffrey Hinton et Ronald Williams, constitue le socle algorithmique direct de la révolution contemporaine de l’apprentissage profond (Deep Learning).

Pourtant, la portée intellectuelle de David Rumelhart dépasse largement le cadre strict de l’optimisation mathématique ou de l’ingénierie algorithmique. Son projet épistémologique visait avant tout à réconcilier l’architecture fonctionnelle de la pensée de haut niveau avec la réalité biologique, continue, bruyante et massivement parallèle du cerveau humain. En articulant une théorie du niveau « sub-symbolique » de la cognition, Rumelhart a offert une réponse élégante et pérenne aux apories du rationalisme computationnel classique. Tragiquement interrompue par une affection neurodégénérative précoce, son existence terrestre s’est achevée en 2011, mais son héritage scientifique demeure l’une des fondations les plus dynamiques et fécondes de la recherche contemporaine sur l’intelligence, tant naturelle qu’artificielle.

1. Introduction et repères biographiques fondamentaux (1942-2011)

1.1 Origines familiales, enfance et premier environnement intellectuel

David Everett Rumelhart voit le jour le 12 juin 1942 à Mitchell, une petite ville rurale du Dakota du Sud. Évoluant au sein d’un environnement caractérisé par les vastes paysages des Grandes Plaines américaines, le jeune David grandit dans une communauté où les valeurs de travail pragmatique, de modestie et d’entraide communautaire structurent la vie quotidienne. Loin des grands centres universitaires de la côte Est ou de la Californie, son milieu familial favorise néanmoins un profond respect pour le savoir, la curiosité méthodique et l’observation minutieuse de l’environnement matériel et biologique.

Dès son plus jeune âge, Rumelhart manifeste une inclination singulière pour les structures logiques formelles, la mécanique et les sciences naturelles. Là où ses pairs s’adonnent exclusivement aux jeux de plein air ou aux activités agricoles traditionnelles de la région, David passe de longues heures à explorer les propriétés géométriques des objets, à concevoir des puzzles logiques et à démonter des mécanismes physiques pour en comprendre le fonctionnement intime. Cet éveil précoce pour les mathématiques appliquées ne se manifeste pas sous la forme d’un pur intellectualisme désincarné, mais plutôt comme une tentative intuitive de décrypter les régularités cachées du monde tangible.

Sa scolarité primaire et secondaire au sein des écoles publiques de Mitchell est marquée par des résultats exceptionnels dans l’ensemble des matières quantitatives et scientifiques. Ses professeurs repèrent rapidement un esprit d’une grande rigueur analytique, capable d’appréhender des notions abstraites bien au-delà de son niveau scolaire. Parallèlement, sa passion pour la lecture et la littérature témoigne d’une curiosité pluridisciplinaire équilibrée : il s’intéresse déjà à la manière dont les textes racontent le monde et comment les êtres humains traitent et retiennent les récits. Les facteurs environnementaux et familiaux convergent pour encourager le jeune homme à franchir le pas vers l’enseignement supérieur, une trajectoire encore peu courante dans le contexte agraire de son Dakota du Sud natal des années 1950.

1.2 Études de premier cycle à l’Université de Dakota du Sud

À la fin des années 1950, David Rumelhart s’inscrit à l’Université du Dakota du Sud (USD), située à Vermillion. Ce choix universitaire, guidé à la fois par des contingences géographiques et par un attachement à sa terre natale, s’avère déterminant pour la genèse de sa pensée. Refusant de s’enfermer dans un cloisonnement disciplinaire étroit, il choisit d’embrasser simultanément deux cursus réputés exigeants et apparemment contrastés : la psychologie et les mathématiques. Il obtient son double baccalauréat universitaire (Bachelor of Arts) en 1963, couronnant un cursus d’une exceptionnelle densité conceptuelle.

Durant ces années de premier cycle, Rumelhart découvre avec enthousiasme les premiers modèles mathématiques appliqués aux sciences du comportement. La psychologie traverse alors une phase de mutation fondamentale, marquée par l’émergence de la psychométrie avancée et les premières formalisations probabilistes du comportement animal et humain. Plutôt que de voir les mathématiques comme un simple outil de statistique descriptive destiné à valider des hypothèses expérimentales après coup, Rumelhart conçoit les mathématiques comme un langage intrinsèque de modélisation théorique directe des processus mentaux.

Cette vision intégrée unissant rigueur probabiliste et observation psychologique se cristallise au contact d’enseignants locaux attentifs et de mentors académiques qui perçoivent chez le jeune étudiant un potentiel théorique hors du commun. Ces mentors l’incitent fortement à ne pas limiter ses ambitions académiques au niveau régional et à postuler auprès des plus prestigieux centres d’excellence de la recherche cognitive naissante. Convaincu que l’avenir de la psychologie réside dans la formalisation rigoureuse de ses processus dynamiques, Rumelhart prend la décision de poursuivre une formation doctorale au plus haut niveau de l’académie américaine.

1.3 Parcours doctoral à l’Université Stanford

En 1963, David Rumelhart est admis au sein du prestigieux département de psychologie de l’Université Stanford en Californie. Stanford constitue à cette époque l’un des épicentres mondiaux de la révolution cognitive naissante et le bastion incontesté de la psychologie mathématique. Rumelhart y rejoint le laboratoire dirigé par Richard C. Atkinson, une sommité internationale qui élaborera bientôt, avec Richard Shiffrin, le célèbre modèle modal de la mémoire humaine (le modèle Atkinson-Shiffrin).

Sous la direction d’Atkinson, Rumelhart s’immerge profondément dans l’étude des modèles d’apprentissage stochastiques, de la théorie des probabilités et de la formalisation des chaînes de Markov appliquées aux processus de rappel mémoriel et d’apprentissage séquentiel. Durant cette période d’intense fermentation intellectuelle, le jeune chercheur assimile les théories formelles de l’apprentissage développées par des pionniers comme Gordon Bower et William K. Estes. Il acquiert à Stanford une maîtrise technique absolue du calcul différentiel, de l’algèbre matricielle et des processus aléatoires, tout en assistant aux premiers débats passionnés sur la cybernétique, la théorie de l’information de Claude Shannon et les théories linguistiques naissantes de Noam Chomsky.

Rumelhart soutient avec brio sa thèse de doctorat en 1967, consacrée à la formalisation mathématique de l’apprentissage et des décisions perceptives sous incertitude. Sa thèse témoigne déjà d’un trait saillant de sa personnalité intellectuelle : la capacité à manier les outils mathématiques les plus sophistiqués sans jamais perdre de vue la plausibilité des phénomènes psychologiques réels observés en laboratoire. Diplômé de l’une des universités les plus renommées de la planète, il est immédiatement repéré par les grandes institutions de recherche comme l’un des théoriciens les plus prometteurs de sa génération.

2. Formation académique et ancrage dans la psychologie mathématique

2.1 L’influence de la psychologie mathématique classique

L’assise épistémologique de David Rumelhart s’enracine directement dans l’héritage intellectuel de la psychologie mathématique américaine des années 1950 et 1960. Cette discipline, largement inaugurée par les travaux de William K. Estes sur la théorie de l’échantillonnage de stimuli (Stimulus Sampling Theory), visait à arracher la psychologie à la simple rhétorique béhavioriste en lui conférant une armature axiomatique comparable à celle de la physique théorique. En s’appuyant également sur la théorie de la détection du signal popularisée par David Green et John Swets, la psychologie mathématique cherchait à formaliser la prise de décision humaine sous forme d’équations stochastiques et de matrices de transition d’états.

Toutefois, Rumelhart prend rapidement conscience des limites inhérentes à ces modèles probabilistes discrets. Si les chaînes de Markov permettaient de modéliser avec élégance des épreuves simples de conditionnement ou des tâches de mémoire élémentaire, elles peinaient dramatiquement dès lors qu’il s’agissait de rendre compte de la richesse, de la continuité et de la flexibilité contextuelle des conduites humaines complexes. Les modèles discrets traitaient les stimuli comme des entités atomiques et isolées, ignorant la microstructure continue de la perception et la dynamique interne des représentations cérébrales.

Face à ce constat, Rumelhart s’attelle à la recherche de formalismes dynamiques alternatifs capables de saisir les continuités comportementales sans renoncer à la rigueur mathématique. Cette quête intellectuelle marque la transition conceptuelle qui l’éloigne du béhaviorisme quantitatif finissant pour le faire entrer de plain-pied dans le paradigme du traitement précoce de l’information. Plutôt que de postuler une association directe et statique entre un stimulus probabiliste et une réponse motrice, Rumelhart commence à théoriser l’espace intermédiaire : le traitement interne, temporel et continu des signaux par un système cognitif complexe doté d’une architecture interne structurée.

2.2 L’intégration à l’Université de Californie à San Diego (UCSD)

Dès l’obtention de son doctorat en 1967, David Rumelhart est recruté en tant que professeur adjoint par l’Université de Californie à San Diego (UCSD). Fondé quelques années plus tôt, le campus de La Jolla jouit alors d’une liberté académique exceptionnelle et d’une volonté institutionnelle délibérée de briser les frontières départementales traditionnelles. Le département de psychologie de l’UCSD, jeune et dynamique, recrute de brillants esprits audacieux désireux de refonder la science de l’esprit sur des bases résolument interdisciplinaires.

À San Diego, Rumelhart noue une alliance intellectuelle déterminante avec Donald A. Norman, une figure majeure de la psychologie cognitive en pleine ascension. Norman, doté d’une vaste culture en ingénierie électrique et en psychologie humaine, partage avec Rumelhart l’ambition de construire une théorie globale de l’esprit fondée sur les mécanismes de la mémoire et du traitement de l’information. Ensemble, ils créent un laboratoire d’une rare vitalité, où se croisent psychologues expérimentalistes, linguistes, informaticiens et philosophes. Cette collaboration aboutit notamment à la publication, en 1975, d’un ouvrage pionnier : Explorations in Cognition, qui pose les jalons d’une étude computationnelle des systèmes mnésiques.

Sous l’impulsion de Rumelhart et de Norman, l’UCSD se transforme progressivement en l’un des pôles d’excellence les plus innovants de la planète pour la modélisation computationnelle du comportement humain. Rumelhart y trouve un cadre de travail idéal : loin des orthodoxies institutionnelles des universités plus anciennes, il dispose de la liberté d’expérimenter de nouveaux paradigmes de modélisation, d’accéder aux premiers calculateurs informatiques interactifs et d’attirer des cohortes d’étudiants brillants et non conventionnels qui formeront bientôt la garde rapprochée de la future révolution connexionniste.

2.3 Premières contributions à l’analyse formelle de la perception

Durant ses premières années professorales à l’UCSD, David Rumelhart concentre son énergie de recherche sur l’analyse quantitative de la perception visuelle humaine. Alors que la psychologie cognitive s’interroge sur les limites de la mémoire immédiate et sur les goulots d’étranglement attentionnels décrits par Donald Broadbent, Rumelhart développe des modèles mathématiques rigoureux destinés à quantifier avec une extrême précision le temps nécessaire au système nerveux pour extraire de l’information d’un stimulus visuel fugace.

En 1970, il publie un article fondateur intitulé A multicomponent theory of the perception of briefly exposed visual displays. Dans ce travail fondamental, Rumelhart s’attaque au problème classique de la reconnaissance de lettres et de mots présentés au tachistoscope. Il formule un modèle mathématique élégant qui combine la distribution continue de ressources attentionnelles limitées avec l’hypothèse audacieuse d’un traitement parallèle primitif des différentes composantes du stimulus sensoriel. Il démontre que la dégradation de la reconnaissance visuelle sous forte contrainte temporelle n’est pas due à un filtre séquentiel rigide, mais à la vitesse d’accumulation de l’information dans des canaux fonctionnant simultanément.

Cette contribution théorique majeure assoit définitivement la réputation internationale de David Rumelhart en tant qu’analyste quantitatif de premier ordre. Ses travaux démontrent qu’il est possible de rendre compte d’effets chronométriques subtils sans recourir à des métaphores cognitives floues, mais en s’appuyant sur des équations différentielles et des distributions probabilistes rigoureusement testées en laboratoire. Plus encore, ces premières recherches portent en germe une intuition qui ne cessera de guider ses travaux ultérieurs : l’architecture cognitive humaine opère fondamentalement de manière distribuée et parallèle, bien avant que la conscience n’impose l’illusion d’une pensée séquentielle et délibérative.

3. La crise du paradigme symbolique et la genèse d’une alternative

3.1 Les postulats du modèle computationnel classique et leurs impasses

Au tournant des années 1970, les sciences cognitives sont dominées de façon quasi hégémonique par l’approche symbolique classique, institutionnalisée sous le nom d’« hypothèse des systèmes de symboles physiques » par Allen Newell et Herbert Simon. Selon ce paradigme, souvent désigné sous l’acronyme GOFAI (Good Old-Fashioned Artificial Intelligence), la pensée n’est rien d’autre que la manipulation formelle de symboles physiques discrets selon des règles syntaxiques explicites, à l’image du fonctionnement d’une machine de Turing universelle ou d’un programme d’ordinateur conventionnel écrit en LISP.

Bien que cette métaphore ait permis de dépasser le béhaviorisme radical en conférant une légitimité computationnelle aux représentations mentales internes, Rumelhart perçoit très tôt les impasses insurmontables vers lesquelles ce formalisme entraîne la psychologie cognitive. La première impasse réside dans l’incapacité criante des systèmes symboliques à faire preuve de « dégradation gracieuse » (graceful degradation). Dans un programme séquentiel traditionnel, la rupture d’une seule ligne de code ou l’altération d’un seul symbole syntaxique entraîne l’effondrement catastrophique de l’ensemble du système. À l’inverse, l’esprit humain et le cerveau biologique continuent de fonctionner remarquablement bien face au bruit ambiant, à des entrées sensorielles incomplètes ou à des lésions neuronales localisées.

La seconde impasse concerne le traitement des contraintes contextuelles multiples et simultanées. La reconnaissance d’une simple forme manuscrite, la compréhension d’une phrase polysémique ou l’interprétation d’une scène visuelle complexe nécessitent l’intégration instantanée de milliers d’indices contextuels interdépendants qui se contraignent mutuellement. Les algorithmes séquentiels de recherche arborescente dans un espace d’états symbolique explosent de manière combinatoire face à de tels défis, révélant une inadéquation structurelle fondamentale entre le mode opératoire de l’ordinateur classique et la nature fluide de la perception humaine.

3.2 Le rejet de la métaphore de l’ordinateur de von Neumann

Face à ces contradictions, Rumelhart en vient à rejeter formellement la métaphore fondatrice de la première révolution cognitive : celle de l’ordinateur à architecture de von Neumann. Dans une architecture classique de von Neumann, il existe une distinction stricte et immuable entre l’unité centrale de traitement (CPU), qui exécute séquentiellement des instructions logiques à très haute fréquence d’horloge, et la mémoire passive, au sein de laquelle des symboles sont stockés dans des cases d’adressage discrètes en attendant d’être extraits puis réécrits.

Rumelhart souligne l’incompatibilité physiologique flagrante entre cette architecture technologique et la biologie du système nerveux central. Le cerveau humain est constitué d’environ cent milliards de neurones, des processeurs biologiques comparativement extrêmement lents, dont le temps de réponse élémentaire est de l’ordre de la milliseconde — soit un million de fois plus lent qu’un processeur électronique moderne. Pourtant, un être humain est capable d’identifier un visage familier ou de comprendre un mot en moins de 300 à 500 millisecondes. Ce constat physique fondamental, souvent résumé sous l’appellation de la « règle des cent étapes » (the 100-step rule), prouve mathématiquement qu’un calcul cognitif complexe ne peut pas reposer sur l’exécution d’un programme séquentiel de millions de lignes de code : le cerveau ne dispose que de quelques dizaines ou centaines d’étapes de calcul pour accomplir ces prodiges.

La conclusion que tire Rumelhart est limpide : la cognition humaine repose sur une architecture computationnelle massivement parallèle, où le traitement et le stockage de l’information ne sont pas physiquement séparés. Dans le cerveau, la mémoire réside au sein même des connexions synaptiques qui réalisent le calcul. Le calcul n’est pas une procédure exécutée par une unité centrale délocalisée, mais un phénomène émergent distribué au sein même de la matrice des interconnexions du réseau.

3.3 La quête d’une plausibilité biologique et psychologique

Le rejet du formalisme de von Neumann ne conduit pas pour autant David Rumelhart vers un réductionnisme neurophysiologique naïf qui consisterait à abandonner la psychologie pour se dissoudre dans la neuroanatomie descriptive. Rumelhart demeure avant tout un psychologue cognitiviste soucieux de formaliser des lois fonctionnelles de l’esprit. Son ambition n’est pas de simuler chaque canal ionique ou chaque détail biochimique de la synapse, mais de concevoir des abstractions computationnelles « biologiquement inspirées » et « psychologiquement plausibles ».

Cette plausibilité repose sur la reconnaissance des propriétés intrinsèques du tissu nerveux : une robustesse naturelle face au bruit, une tolérance remarquable aux pannes locales, une vitesse de convergence remarquable dans les tâches d’association floue, et une capacité innée à s’adapter continuellement à l’environnement par plasticité synaptique. Pour Rumelhart, les théories psychologiques de haut niveau — qu’il s’agisse de la prise de décision, de la lecture, de la compréhension du langage ou du raisonnement analogique — doivent être rigoureusement compatibles avec l’infrastructure micro-analytique qui les implémente.

Il formule ainsi l’exigence d’une nouvelle science cognitive capable d’unir les phénomènes macroscopiques décrits par la psychologie expérimentale et les mécanismes microscopiques de réseaux d’unités interconnectées. La quête de Rumelhart devient alors celle d’un cadre formel unifié où l’apprentissage n’est plus envisagé comme l’accumulation de règles propositionnelles explicites dans une base de données statique, mais comme une modification continue et graduelle de paramètres de connectivité guidée par l’interaction dynamique avec l’expérience sensorielle.

4. La théorie des schémas et la compréhension du discours

4.1 Développement et formalisation de la grammaire des histoires

Avant d’initier la révolution connexionniste au début des années 1980, David Rumelhart consacre une part majeure de ses recherches des années 1970 à la compréhension du discours et à la linguistique textuelle. En 1975, il publie un article retentissant qui pose les fondations de ce qui sera universellement désigné sous le terme de « grammaire des histoires » (story grammar) : Notes on a schema for stories. Inspiré par les approches formelles de Noam Chomsky en syntaxe de la phrase, Rumelhart démontre qu’il existe également une syntaxe de haut niveau gouvernant l’organisation narrative des récits.

Le modèle computationnel de Rumelhart formalise la structure narrative interne sous forme d’un ensemble de règles de réécriture génératives hiérarchiques. Un récit canonique se décompose formellement en un cadre (setting), un thème (theme), une intrigue (plot) et une résolution (resolution), l’intrigue elle-même étant constituée d’épisodes contenant des événements initiateurs, des réactions internes, des buts formulés, des tentatives d’action et des conséquences observables. Rumelhart démontre expérimentalement que cette grammaire interne n’est pas un simple artefact théorique pour critiques littéraires, mais constitue la structure cognitive même à travers laquelle l’esprit humain encode, stocke et rappelle les informations textuelles.

À travers des expériences rigoureuses de rappel libre et de résumé de textes, il prouve que les sujets humains procèdent par une reconstruction active guidée par des attentes structurales. Si un récit expérimental viole l’ordre attendu de la grammaire de l’histoire — par exemple en déplaçant la conséquence avant la tentative d’action —, le temps de lecture s’allonge considérablement, les taux d’erreur de mémorisation explosent et les sujets, lors du rappel ultérieur, réorganisent spontanément le texte pour le rendre conforme à la structure canonique attendue. La compréhension du langage n’est donc pas une simple réception passive de symboles lexicaux, mais une imposition active de structures formelles de sens préexistantes.

4.2 La formalisation de la théorie des schémas cognitifs

Le succès de la grammaire des histoires conduit David Rumelhart à généraliser cette approche à l’ensemble du système de connaissances humaines, aboutissant à la formulation de sa célèbre théorie des schémas cognitifs. Dans un essai séminal publié en 1980, Schemata: the building blocks of cognition, Rumelhart définit les schémas comme les paquets organisés de connaissances prototypiques qui constituent les briques fondamentales de toute notre vie mentale. Qu’il s’agisse de concevoir une table, d’assister à une conférence académique, de lire un roman ou de conduire une voiture, notre appréhension de la réalité est médiatisée par des schémas mentaux.

Dans sa théorisation formelle, un schéma fonctionne de manière analogue à une procédure informatique paramétrable ou à une théorie scientifique miniature. Un schéma comporte un réseau de relations reliant un ensemble de variables. Lorsque nous faisons l’expérience d’une situation empirique particulière, ces variables sont instanciées par les caractéristiques contingentes de l’événement. Crucialement, Rumelhart introduit la notion de « valeurs par défaut » (default values) : si une information contextuelle fait défaut dans l’environnement, le schéma l’infère automatiquement en lui assignant la valeur typique attendue, permettant ainsi au sujet d’anticiper et d’agir en dépit d’une information parcellaire.

En outre, Rumelhart propose une typologie pionnière des modes d’apprentissage humain, articulée en trois processus distincts :

• L’accrétion (accretion) : l’encodage direct de nouveaux faits ou données empiriques qui instancient simplement les variables de schémas conceptuels déjà existants, sans modifier la structure de ces derniers.
• Le réglage ou ajustement (tuning) : la modification fine et continue des paramètres internes d’un schéma déjà constitué pour l’adapter avec plus de précision aux contraintes fluctuantes de l’environnement ou à de nouveaux cas limites.
• La restructuration (restructuring) : la création discontinue et complexe de tout nouveaux schémas cognitifs par recombinaison analogique ou réorganisation profonde, correspondant aux ruptures conceptuelles majeures lors du développement intellectuel ou des révolutions scientifiques personnelles.

4.3 De la structure symbolique au substrat sub-symbolique

Cependant, à la fin des années 1970, David Rumelhart se heurte à une contradiction théorique interne qui va précipiter sa trajectoire vers le connexionnisme. Tels qu’ils étaient alors implémentés dans les programmes d’intelligence artificielle classiques ou décrits en psychologie cognitive (notamment sous la forme des frames de Marvin Minsky ou des scripts de Roger Schank), les schémas souffraient d’une rigidité architecturale rédhibitoire. Ces structures symboliques statiques peinaient à rendre compte de l’extrême plasticité des concepts humains : comment un même schéma conceptuel pouvait-il s’adapter instantanément à des métaphores poétiques inattendues, à des variations environnementales infinies ou à la fusion sans couture de concepts jusque-là disjoints ?

Rumelhart prend conscience que l’erreur fondamentale consistait à considérer les schémas comme des structures réifiées ou des programmes informatiques stockés de façon préfabriquée dans un tiroir mnésique. Dans un saut conceptuel d’une rare audace, il émet l’hypothèse que les schémas ne sont pas des objets symboliques explicites, mais des « états stables émergents » (emergent stable states). Un schéma n’existe pas en tant que tel lorsqu’il n’est pas utilisé ; il est reconstruit dynamiquement au moment même où la situation l’exige.

Cette transition théorique majeure marque le passage de la structure symbolique de haut niveau vers le substrat « sub-symbolique ». Au lieu d’écrire des règles syntaxiques pour définir ce qu’est un récit, une pièce d’habitation ou un visage, Rumelhart commence à concevoir ces connaissances comme la convergence énergétique d’un vaste réseau distribué constitué de micro-unités simples qui s’excitent et s’inhibent mutuellement. Loin de renier ses travaux narratifs des années 1970, il réalise que les schémas cognitifs sont la manifestation macroscopique globale d’une microstructure connexionniste sous-jacente. Ce pont conceptuel entre linguistique cognitive et calcul distribué constitue la rampe de lancement de l’architecture PDP.

5. L’émergence du connexionnisme et l’architecture PDP

5.1 Fondation et dynamique du groupe de recherche PDP

Au début des années 1980, le campus de l’UCSD devient l’épicentre d’une insurrection intellectuelle pacifique mais radicale contre l’orthodoxie computationnelle symbolique. David Rumelhart, en symbiose étroite avec son collègue et complice théorique James L. McClelland, prend l’initiative de constituer un collectif pluridisciplinaire d’avant-garde qu’ils baptisent le PDP Research Group (Groupe de recherche sur le traitement distribué en parallèle). Ce groupe informel réunit des esprits brillants issus de multiples horizons : des psychologues expérimentaux, de jeunes informaticiens formés aux architectures parallèles, des neurobiologistes curieux de modélisation mathématique et des théoriciens visionnaires comme le jeune professeur britannique Geoffrey Hinton.

L’atmosphère intellectuelle de ce groupe est marquée par une émulation permanente, une passion débridée et une absence totale de respect pour les dogmes établis de l’intelligence artificielle de l’époque. Les réunions de travail hebdomadaires à San Diego prennent la forme de séminaires marathon où l’on décortique les modèles d’apprentissage, où l’on teste des architectures mathématiques sur les premiers micro-ordinateurs interactifs et où l’on débat avec véhémence de la nature des représentations mentales. L’enthousiasme est galvanisé par la certitude partagée que l’alliance de la modélisation mathématique et de la simulation informatique permet enfin de percer les mystères de la microstructure de l’esprit.

L’objectif central et fédérateur du groupe PDP est limpide : rompre avec la fiction de l’esprit-ordinateur séquentiel pour fonder une nouvelle psychologie cognitive computationnelle basée sur le traitement massivement parallèle et distribué. Là où les laboratoires du MIT ou de Stanford consacrent des millions de dollars aux systèmes experts rigides reposant sur des bases de faits propositionnelles, le groupe de l’UCSD parie tout sur des réseaux d’éléments interconnectés dont l’intelligence émerge de la simple force statistique de leurs connexions pondérées.

5.2 La publication des deux volumes fondamentaux de 1986

Ce formidable travail d’équipe culmine en 1986 avec la publication par les presses du MIT Press d’un ouvrage collectif monumental en deux volumes, souvent salué comme la « Bible du connexionnisme » : Parallel Distributed Processing: Explorations in the Microstructure of Cognition (Volume 1 : Foundations, co-dirigé par David Rumelhart et James McClelland ; Volume 2 : Psychological and Biological Models, co-dirigé par McClelland et Rumelhart).

Ces deux tomes constituent un tour de force théorique, méthodologique et mathématique sans équivalent dans l’histoire moderne des sciences de l’esprit. Rumelhart et ses collaborateurs y présentent de manière exhaustive et formelle les piliers de l’architecture PDP, en décrivant avec une minutie exemplaire :

• Les unités de traitement (processing units) : éléments simples de calcul caractérisés par un niveau d’activation scalaire continu, mimant l’état d’excitation d’une population de neurones.
• La matrice de connectivité et de poids synaptiques (weights) : l’ensemble des forces de liaison scalaires (positives pour l’excitation, négatives pour l’inhibition) qui déterminent l’influence d’une unité sur une autre.
• Les règles de propagation et fonctions de transfert non linéaires : fonctions mathématiques continues (notamment la fonction logistique sigmoïde) permettant d’intégrer les signaux afférents et de générer une valeur de sortie bornée.
• Les algorithmes de plasticité et d’apprentissage : règles formelles déterminant l’ajustement dynamique des poids synaptiques en fonction des corrélations d’activation ou de l’erreur constatée en sortie.

L’ouvrage introduit une dichotomie conceptuelle dévastatrice entre les « représentations locales » (où chaque unité symbolise un concept unique, comme le fameux neurone de la grand-mère) et les « représentations hautement distribuées » (où un concept donné correspond à un patron global d’activation réparti sur des milliers d’unités, chaque unité participant simultanément au codage d’une myriade de concepts distincts). La parution de ces volumes provoque un séisme intellectuel immédiat : réimprimés à de multiples reprises, ils deviennent instantanément l’une des publications les plus citées de toute l’histoire de la psychologie et de l’informatique théorique, divisant la communauté académique entre enthousiasme pionnier et résistances dogmatiques passionnées.

5.3 Les concepts fondamentaux du modèle PDP

Au cœur du modèle PDP théorisé par David Rumelhart se déploie une constellation de principes opérationnels qui dissolvent bon nombre des apories classiques de la philosophie de l’esprit. Le premier de ces principes est celui de la « satisfaction simultanée de contraintes multiples » (constraint satisfaction). Dans le monde réel, un problème cognitif n’est que très rarement réductible à une suite logique linéaire d’inférences ; il s’agit presque toujours d’une situation où de multiples indices faibles, parfois contradictoires, doivent être pondérés simultanément. Dans un réseau PDP, chaque connexion synaptique agit comme une contrainte probabiliste douce (soft constraint) : le réseau évolue spontanément vers un état d’équilibre global qui maximise la satisfaction du plus grand nombre de ces contraintes, résolvant en une fraction de seconde des problèmes d’optimisation combinatoire inextricables pour une machine séquentielle.

Le second principe fondamental est la propriété de « mémoire adressable par le contenu » (content-addressable memory). Contrairement aux bases de données conventionnelles où une donnée ne peut être retrouvée que si l’on fournit son adresse physique exacte, un réseau distribué peut réactiver l’intégralité d’un souvenir complexe à partir d’un fragment sensoriel infime, flou ou partiellement corrompu. Ce mécanisme de « complétion de patrons » (pattern completion) explique de manière naturelle l’immédiateté avec laquelle la vision d’une silhouette familière ou les premières notes d’un refrain réactivent instantanément l’intégralité d’un épisode biographique dans la conscience humaine.

Enfin, Rumelhart formalise la dynamique interne de ces systèmes à l’aide de concepts empruntés à la physique statistique et à la théorie des systèmes dynamiques non linéaires. L’état d’un réseau est conceptualisé comme une trajectoire continue dans un espace d’états multidimensionnel (déterminé par le vecteur d’activation de toutes les unités) qui descend le long d’un paysage d’énergie pour converger vers des attracteurs locaux stables (analysables par les fonctions d’énergie de type Lyapunov). Cette mathématisation rigoureuse offre une base théorique solide à l’idée que les concepts, les catégories et les schémas mentaux ne sont rien d’autre que des bassins d’attraction géométriques au sein d’un univers physique dynamique.

6. L’algorithme de rétropropagation du gradient

6.1 Origines historiques et dépassement des verrous théoriques

Pour que le projet connexionniste pût rivaliser avec les prétentions de l’intelligence artificielle symbolique, il lui fallait résoudre un verrou théorique historique qui paralysait la recherche sur les réseaux neuronaux depuis près de deux décennies. En 1969, Marvin Minsky et Seymour Papert avaient publié leur célèbre et dévastateur ouvrage Perceptrons, dans lequel ils démontraient formellement les limites mathématiques intrinsèques du perceptron simple inventé par Frank Rosenblatt. Minsky et Papert prouvaient qu’un réseau dépourvu de couches intermédiaires était incapable d’apprendre des fonctions logiques élémentaires non linéairement séparables, dont le problème paradigmatique du OU exclusif (XOR).

Bien que Minsky et Papert eussent reconnu qu’un réseau multicouche (comportant des « unités cachées » intercalées entre les entrées et les sorties) pouvait théoriquement calculer n’importe quelle fonction booléenne, ils prophétisaient avec pessimisme qu’il n’existait aucune méthode mathématique générale capable de modifier les poids des couches internes pour leur faire apprendre des représentations utiles. Cette mise en garde pessimiste coupa net les financements de la recherche sur les réseaux neuronaux et plongea le domaine dans ce que les historiens nomment le premier « hiver de l’intelligence artificielle ».

Certes, les principes mathématiques de l’optimisation par différentiation en chaîne avaient été explorés indépendamment par plusieurs théoriciens dans des contextes variés — notamment par Paul Werbos dans sa thèse de 1974 consacrée à l’analyse dynamique en économie, par David Parker en 1985, et parallèlement en France par le jeune chercheur Yann LeCun. Toutefois, ces formulations antérieures étaient demeurées largement ignorées de la communauté scientifique générale et cantonnées à des cercles mathématiques étroits, faute d’une démonstration concrète de leur puissance et de leur signification pour la modélisation cognitive. C’est David Rumelhart qui va jouer le rôle d’accélérateur et de catalyseur intellectuel décisif, en réalisant que la dérivation rigoureuse d’une règle d’erreur pour les fonctions de transfert continues était la clé universelle capable de briser définitivement le verrou de Minsky et Papert.

6.2 L’article historique de Nature (1986)

L’apothéose de cette percée mathématique survient le 9 octobre 1986 avec la publication dans la prestigieuse revue internationale Nature d’un article d’à peine quatre pages, mais dont le retentissement allait bouleverser l’histoire des sciences computationnelles : Learning representations by back-propagating errors, co-écrit par David E. Rumelhart, Geoffrey E. Hinton et Ronald J. Williams.

Dans ce texte magistral, les auteurs formalisent mathématiquement la « règle du delta généralisée » (generalized delta rule). Ils démontrent que si l’on remplace les fonctions de seuil discontinu des anciens perceptrons par une fonction d’activation non linéaire continûment différentiable — en l’occurrence la fonction sigmoïde :

f(x) = 1 / (1 + e^-x)

il devient alors possible d’appliquer le théorème fondamental de la dérivation des fonctions composées (la chain rule du calcul infinitésimal) pour propager le signal d’erreur calculé sur la couche de sortie en remontant vers l’arrière à travers toutes les couches cachées du réseau jusqu’aux unités d’entrée.

L’algorithme de rétropropagation du gradient procède selon une dynamique séquentielle élégante en deux phases :

1. La passe avant (forward pass) : le signal d’entrée se propage à travers les couches successives par calcul matriciel et application de la fonction d’activation non linéaire, produisant un état sur la couche de sortie. Cet état est comparé à la réponse cible attendue pour calculer l’erreur globale quadratique.
2. La passe arrière (backward pass) : la dérivée de l’erreur par rapport à chaque poids de connexion est calculée récursivement de la sortie vers les couches cachées. Les poids sont ensuite modifiés d’une fraction proportionnelle à l’opposé du gradient de l’erreur, garantissant une descente optimale vers le minimum de la surface d’erreur multidimensionnelle.

Pour administrer la preuve éclatante de la supériorité de leur méthode, Rumelhart et ses co-auteurs démontrent comment un réseau multicouche muni de rétropropagation résout avec une aisance déconcertante le problème historique du OU exclusif (XOR). Mais la découverte la plus spectaculaire de l’article réside dans ce qui se produit au sein des couches cachées : sans qu’aucune instruction humaine explicite ne leur soit fournie, les unités intermédiaires s’organisent spontanément pour fabriquer des « représentations internes » abstraites, capturant les propriétés structurelles profondes et les invariants sémantiques cachés des données d’entrée.

6.3 Portée théorique et impact immédiat de la rétropropagation

L’impact de la rétropropagation du gradient formalisée par Rumelhart, Hinton et Williams est immédiat et incalculable. Sur le plan théorique, l’algorithme résout de manière mathématiquement irréfutable le redoutable « défi de l’assignation de crédit » (credit assignment problem). Dans un système complexe constitué de millions d’interactions enchevêtrées, comment savoir quelle unité interne et quel paramètre précis est responsable de l’erreur constatée lors du comportement final ? La dérivation du gradient fournit une métrique déterministe et locale permettant à chaque synapse d’ajuster sa force en fonction exclusive de sa contribution effective à la variance d’erreur globale.

Cette percée soulève néanmoins d’intenses débats au sein de la communauté des neurosciences fondamentales. Plusieurs neurophysiologistes de premier plan, parmi lesquels Francis Crick, adressent des critiques virulentes au modèle de Rumelhart en pointant son manque patent de « plausibilité biologique directe ». Dans le cerveau réel, les axones neuronaux conduisent les potentiels d’action de manière unidirectionnelle (du soma vers la terminaison synaptique) ; il n’existe aucune preuve anatomique évidente d’un mécanisme de transport rétrograde capable de renvoyer un signal différentiel continu le long de la même fibre synaptique pour guider la plasticité des synapses antérieures.

Conscient de ces limites, David Rumelhart ne prétend pas que la rétropropagation constitue une copie conforme de la biologie axonale. Il la défend comme une démonstration computationnelle d’existence : la preuve absolue que des architectures parallèles distribuées sont capables de découvrir par elles-mêmes des représentations de haut niveau sans avoir besoin d’un programmateur omniscient qui implémenterait des règles logiques à la main. En surmontant l’impasse de 1969, Rumelhart rouvre grand les portes de la recherche sur les réseaux artificiels et positionne la rétropropagation comme le socle algorithmique universel sur lequel s’édifiera, plusieurs décennies plus tard, tout l’édifice de l’intelligence artificielle moderne.

7. Modélisation connexionniste de la mémoire et de la perception

7.1 Le modèle interactif d’activation et de reconnaissance des mots

L’une des illustrations les plus spectaculaires de la fécondité empirique des idées de David Rumelhart demeure le célèbre modèle d’activation interactive (Interactive Activation Model), conçu et publié en collaboration avec James McClelland en 1981 dans la revue Psychological Review. Cet article historique propose de modéliser avec une précision mathématique totale l’un des phénomènes les plus énigmatiques de la psychologie cognitive expérimentale : l’« effet de supériorité du mot » (démontré expérimentalement par Gerald Reicher en 1969), selon lequel une lettre de l’alphabet est identifiée beaucoup plus rapidement et avec un taux d’erreur bien moindre lorsqu’elle est présentée au sein d’un mot signifiant réel (par exemple le ‘T’ dans ‘CHAT’) que lorsqu’elle apparaît isolée ou au sein d’une chaîne aléatoire de consonnes (comme dans ‘PTKF’).

Pour expliquer cette anomalie sans recourir à des systèmes d’inférence symbolique ad hoc, McClelland et Rumelhart bâtissent une architecture neuronale structurée en trois niveaux hiérarchiques distincts : le niveau des traits visuels élémentaires (segments de lignes horizontales, verticales ou obliques), le niveau des lettres de l’alphabet, et le niveau des mots du lexique. La révolution architecturale réside dans l’abandon de la chaîne de traitement séquentielle au profit d’interactions bidirectionnelles continues et massives :

• Le traitement ascendant (bottom-up) : la détection sensorielle de traits visuels excite les unités de lettres correspondantes et inhibe celles qui ne possèdent pas ces traits.
• Le traitement descendant (top-down) : dès lors que certaines unités de lettres commencent à s’activer, elles propagent leur énergie vers les unités du niveau mot qui contiennent ces lettres ; simultanément, les représentations des mots entiers s’activent et renvoient immédiatement un flux d’excitation vers l’arrière, amplifiant l’activation des lettres composantes avant même que le traitement sensoriel direct ne soit entièrement achevé.
• L’inhibition latérale (lateral inhibition) : au sein d’un même niveau (entre lettres concurrentes ou entre mots rivaux), des connexions inhibitrices mutuelles organisent une compétition dynamique où seule l’hypothèse la plus cohérente finit par triompher.

Grâce à cette dynamique continue, le modèle de Rumelhart et McClelland reproduit à la milliseconde près les courbes expérimentales de la chronométrie mentale humaine. Pour la première fois dans l’histoire de la psychologie, un comportement perceptif de haut niveau est intégralement expliqué comme la résultante émergente d’une réverbération continue de signaux à travers un réseau sans qu’aucune règle de raisonnement explicite n’ait été programmée dans le système.

7.2 La mémoire distribuée et l’oubli catastrophique

Dans le sillage de leurs travaux sur l’activation interactive, David Rumelhart s’attelle à repenser de fond en comble la théorie générale de la mémoire humaine. Dans le cadre connexionniste, une trace mnésique n’est plus une copie statique d’un événement stockée dans un tiroir ou une case d’adressage mémoriel isolé. Les souvenirs sont superposés au sein d’une même et unique matrice de poids synaptiques. La mémoire humaine est par essence distribuée et superpositionnelle.

Cette approche mathématique offre une explication naturelle et immédiate à plusieurs propriétés centrales de la cognition humaine qui défiaient l’approche symbolique classique. La première est la capacité de généralisation spontanée : lorsqu’un réseau distribué est exposé à de multiples occurrences d’objets singuliers (par exemple différents chiens spécifiques rencontrés au fil des jours), la superposition des ajustements de poids fait émerger de manière automatique la représentation prototypique de la catégorie « chien », sans qu’il soit jamais nécessaire de stocker séparément chaque exemplaire individuel. Le prototype est simplement la résultante centrale des forces synaptiques moyennes gravées par l’expérience.

Néanmoins, Rumelhart identifie également une vulnérabilité redoutable inhérente à ces réseaux à mémoires distribuées : le phénomène d’« oubli catastrophique » (catastrophic forgetting ou catastrophic interference). Dès lors qu’un réseau ayant appris un ensemble de tâches A est soudainement entraîné de manière intensive sur un nouvel ensemble de tâches B, l’application brutale de la descente de gradient sur les données B vient réécrire et écraser de manière irrémédiable les configurations synaptiques qui encodaient les connaissances de la tâche A. Cette découverte fondamentale conduira Rumelhart et McClelland à formuler les bases conceptuelles de ce qui deviendra la théorie des systèmes d’apprentissage complémentaires (Complementary Learning Systems ou CLS), postulant la nécessité d’une division du travail biologique entre une structure d’apprentissage rapide et épisodique (le système hippocampique) et un système d’intégration lente, continue et statistique des régularités (le néocortex cérébral).

7.3 La modélisation de l’attention et des processus sériels

L’un des reproches les plus fréquents adressés au paradigme PDP par les tenants de la psychologie classique portait sur son incapacité supposée à modéliser la nature séquentielle, sérielle et orientée dans le temps de bon nombre de nos conduites conscientes — qu’il s’agisse de la résolution d’un problème d’arithmétique mentale, de la planification motrice ou de l’articulation de la parole. Comment un système fonctionnant de manière massivement parallèle pouvait-il générer des séquences temporelles rigoureuses sans recourir à un compteur d’instruction séquentiel de type ordinateur de von Neumann ?

David Rumelhart s’empare de ce problème en démontrant que le temps et la séquentialité peuvent être modélisés comme des propriétés émergentes de réseaux récurrents. En réinjectant l’état d’activation interne des couches cachées à l’instant t comme une entrée supplémentaire pour le réseau à l’instant t+1 (une architecture préfigurant directement les célèbres réseaux de Jordan et d’Elman), le système acquiert une dynamique interne sensible à l’histoire temporelle des événements. Le décours temporel n’est plus une coordonnée externe imposée par une horloge centrale, mais une trajectoire dynamique continue guidée par l’état interne du substrat connexionniste.

Dans le domaine de l’attention visuelle sélective, Rumelhart propose des simulations mathématiques novatrices démontrant comment un champ d’unités parallèles en compétition dynamique peut rendre compte de la capture attentionnelle par des stimuli saillants et du balayage séquentiel d’une scène visuelle complexe. L’attention n’est plus envisagée comme un faisceau lumineux métaphorique manipulé par un homoncule cartésien, mais comme un point de focalisation énergétique instable émergeant spontanément de l’interaction entre les gradients de saillance sensorielle et les attentes descendantes du réseau.

8. Le débat linguistique : l’acquisition du passé des verbes anglais

8.1 Le modèle connexionniste de Rumelhart et McClelland (1986)

En 1986, au sein du second volume du recueil Parallel Distributed Processing, David Rumelhart et James McClelland publient un chapitre qui va déclencher la controverse théorique la plus féroce et la plus féconde de toute l’histoire de la psycholinguistique moderne : On learning the past tenses of English verbs. Ce travail s’attaque directement au saint des saints de l’orthodoxie linguistique dominée depuis trois décennies par le paradigme génératif de Noam Chomsky : l’acquisition de la morphologie grammaticale.

La morphologie du prétérit anglais présentait un cas d’école fascinant. D’un côté, il existe une règle générale régulière consistant à ajouter le suffixe ‘-ed’ à la racine verbale (par exemple look devenant looked). De l’autre, il subsiste une nébuleuse de verbes irréguliers réfractaires à toute règle rigide, dont la conjugaison implique des mutations vocaliques internes ou des formes supplétives (comme sing devenant sang, ou go devenant went). L’approche cognitiviste classique affirmait qu’un enfant ne pouvait acquérir cette langue qu’en intériorisant une règle algorithmique explicite dans un module syntaxique inné, tout en mémorisant les exceptions irrégulières dans un lexique déclaratif séparé.

Pour pulvériser cette certitude, Rumelhart et McClelland conçoivent un réseau de neurones artificiels entraîné à mapper la racine phonologique d’un verbe vers sa forme au passé. Pour encoder la parole sous forme distribuée continue, ils développent un système ingénieux basé sur les « wickelfeatures » (inspirées des travaux de Wayne Wickelgren), décomposant chaque phonème en triplets contextuels sensibles aux sons qui le précèdent et le suivent. Le résultat de la simulation stupéfie le monde académique :

• Sans qu’aucune règle de grammaire abstraite ne lui ait jamais été implantée dans son code, le réseau apprend avec succès à conjuguer les verbes réguliers et irréguliers.
• Le modèle reproduit spontanément la célèbre « courbe d’apprentissage en U » observée chez les jeunes enfants : au début, le réseau mémorise correctement les quelques verbes irréguliers fréquents ; puis, à mesure qu’il est exposé à une masse de verbes réguliers, il commence à commettre des erreurs spectaculaires de sur-régularisation (par exemple produire comed à la place de came ou goed pour went) ; enfin, avec un entraînement accru, il réajuste ses poids pour retrouver une performance parfaite sur les deux catégories.

Pour Rumelhart, la démonstration est éclatante : un comportement apparemment guidé par l’application d’une règle formelle peut émerger purement et simplement d’un système associatif statistique distribué, sans qu’aucune règle symbolique n’existe nulle part dans le processeur.

8.2 La riposte cognitiviste symbolique : la critique de Pinker et Prince

L’affront fait à la linguistique générative classique suscite une contre-offensive intellectuelle d’une virulence inouïe. En 1988, les linguistes et psychologues cognitivistes Steven Pinker et Alan Prince publient dans la revue Cognition une réplique fleuve de près de cent pages, devenue tout aussi célèbre que l’article initial : On language and connectionism: Analysis of a parallel distributed processing model of language acquisition.

Pinker et Prince soumettent le modèle de Rumelhart et McClelland à un examen critique impitoyable. Sur le plan empirique et technique, ils reprochent au modèle de dépendre d’artefacts d’entraînement non représentatifs de la vie réelle d’un enfant : pour déclencher la transition vers la sur-régularisation, Rumelhart et McClelland avaient brutalement augmenté la proportion de verbes réguliers dans le jeu de données d’entraînement, ce qui, selon Pinker et Prince, provoquait une rupture artificielle dans la dynamique d’apprentissage. De surcroît, ils critiquent vertement l’utilisation des wickelfeatures, arguant que cette représentation phonologique conduit le réseau à des erreurs aberrantes que les enfants humains ne commettent jamais, telles que la fusion phonologique de verbes partageant des sonorités accessoires (des phénomènes de contamination phonologique qualifiés d’« illusions de Bling »).

Sur le plan théorique, Pinker et Prince profitent de cette brèche pour réaffirmer la supériorité absolue de l’approche symbolique en défendant le « modèle à double voie » (dual-mechanism model). Selon cette théorie, le cerveau humain abrite obligatoirement deux modules cognitifs qualitativement distincts : une mémoire associative associative pour stocker les verbes irréguliers idiosyncrasiques, et un processeur computationnel formel dédié à l’application aveugle et universelle de la règle algébrique régulière (‘Ajouter -ed’). L’attaque de Pinker et Prince vise à refouler le connexionnisme aux marges de la psychologie, en affirmant que les réseaux distribués peuvent tout au plus simuler des mécanismes associatifs de bas niveau, mais sont ontologiquement incapables de capturer la structure algébrique combinatoire du langage humain.

8.3 Conséquences pour la linguistique cognitive et le développementaliste

Loin d’anéantir le programme de recherche inauguré par Rumelhart, la querelle homérique du prétérit anglais dynamise de façon spectaculaire les sciences du langage et la psychologie du développement pour les trois décennies suivantes. Le travail pionnier de Rumelhart fissure irréversiblement le dogme chomskien de l’innéisme grammatical radical et de la nécessité absolue d’une « grammaire universelle » inscrite dans le code génétique pour expliquer l’acquisition du langage face à la prétendue pauvreté du stimulus.

En démontrant que la sensibilité statistique aux régularités de l’environnement sonore peut suffire à structurer la compétence morphologique, Rumelhart ouvre la voie au courant de la linguistique cognitive et à l’essor des modèles de l’« apprentissage statistique » (statistical learning). Dans les années 1990, des psychologues du développement de premier plan comme Jenny Saffran, Richard Aslin et Elissa Newport confirmeront expérimentalement en laboratoire que les nourrissons âgés de quelques mois seulement possèdent des capacités prodigieuses d’extraction implicite de régularités distributionnelles et de probabilités transitionnelles dans le flux de la parole, validant brillamment l’intuition fondatrice de Rumelhart.

De plus, le modèle de 1986 inspirera directement la génération suivante de chercheurs connexionnistes, à l’instar de Jeffrey Elman. Ce dernier perfectionnera l’architecture de Rumelhart en introduisant les réseaux récurrents simples (Simple Recurrent Networks) capables de traiter le langage non plus à travers des artefacts phonologiques statiques comme les wickelfeatures, mais comme un flux temporel continu, prouvant de manière irréfutable que des réseaux neuronaux peuvent apprendre des hiérarchies syntaxiques complexes sans jamais manipuler de symboles discrets. Le pari audacieux de David Rumelhart avait définitivement déplacé les lignes de front de la science linguistique.

9. Collaborations intellectuelles majeures et dynamique de réseau

9.1 La synergie Rumelhart – McClelland : un tandem révolutionnaire

Dans l’histoire moderne des sciences cognitives, peu de collaborations académiques ont égalé en fécondité, en symbiose et en impact historique le tandem formé par David Rumelhart et James « Jay » McClelland. Durant toutes les années 1980 à l’Université de Californie à San Diego, les deux hommes forment le centre de gravité indiscutable du mouvement connexionniste, au point que la communauté scientifique les associe couramment sous le sigle indissociable « Rumelhart & McClelland ».

Leur alliance intellectuelle reposait sur une complémentarité méthodologique et psychologique remarquable. Rumelhart apportait une puissance mathématique redoutable, une capacité d’abstraction analytique hors du commun et une maîtrise souveraine des formalismes physiques et probabilistes. McClelland, tout en étant un modélisateur chevronné, possédait une intuition psychologique phénoménale, un sens aigu des réalités du comportement humain et un talent exceptionnel pour concevoir des expériences psycholinguistiques décisives. Là où Rumelhart formulait les équations d’activation et dérivait les théorèmes d’optimisation par le gradient, McClelland veillait sans cesse à confronter les architectures aux subtilités empiriques de la perception auditive, de la lecture et de la mémoire.

Leur processus de travail commun était caractérisé par une absence totale d’ego et une volonté partagée de faire progresser la théorie. Les bureaux des deux chercheurs, situés côte à côte dans le département de psychologie de La Jolla, étaient en communication constante. Ils passaient des journées entières à noircir des tableaux noirs d’équations différentielles, de diagrammes de flux et de fragments de code de simulation. Cette synergie d’une exceptionnelle intensité culmina dans la co-direction, la co-rédaction et la défense acharnée des deux tomes manifestes du traitement distribué en parallèle en 1986, scellant pour l’éternité leur binôme au panthéon de l’histoire intellectuelle.

9.2 Les échanges cruciaux avec Geoffrey Hinton

Au sein de la nébuleuse connexionniste naissante, la relation entre David Rumelhart et Geoffrey Hinton constitue un autre axe névralgique de transmission et d’innovation théorique. Hinton, alors jeune professeur d’origine britannique passé par Cambridge et Édimbourg, rejoint le groupe PDP de l’UCSD au début des années 1980, attiré par la liberté intellectuelle qui y règne. Hinton apportait avec lui une vision profondément originale de l’apprentissage machine, centrée sur l’analogie thermodynamique et la physique statistique.

À cette période, Hinton travaillait avec Terrence Sejnowski sur le développement des machines de Boltzmann, un modèle de réseau stochastique fascinant mais dont les algorithmes d’apprentissage par recuit simulé souffraient d’une lenteur computationnelle rédhibitoire pour des applications pratiques à grande échelle. La rencontre entre la rigueur analytique de Rumelhart et l’imagination physique de Hinton va s’avérer prodigieusement étincelante. Rumelhart cherchait une méthode déterministe pour guider l’apprentissage dans des réseaux multicouches déterministes continus ; Hinton s’intéressait aux paysages énergétiques et à l’extraction de représentations distribuées dans des unités cachées.

Leur travail collaboratif avec le mathématicien Ronald Williams aboutira à l’adoption définitive du formalisme du calcul différentiel matriciel appliqué à la fonction logistique, donnant naissance à la publication conjointe de l’article de 1986 dans Nature. Les échanges entre Rumelhart et Hinton ont permis de féconder deux traditions qui allaient marquer le siècle suivant : d’une part, la psychologie computationnelle de San Diego axée sur la modélisation de l’esprit humain, et d’autre part, la branche de l’apprentissage automatique (Machine Learning) que Hinton portera plus tard à Toronto jusqu’à l’avènement triomphal de l’apprentissage profond contemporain.

9.3 Le cercle élargi de San Diego et Stanford

L’influence de David Rumelhart s’est également exercée à travers un écosystème exceptionnellement riche de doctorants, de post-doctorants et de collègues seniors qui allaient devenir les figures de proue de l’intelligence artificielle et des neurosciences modernes. Parmi les jeunes chercheurs passés par son laboratoire ou profondément marqués par son mentorat direct figurent notamment Michael I. Jordan, aujourd’hui considéré comme l’un des pères fondateurs de l’apprentissage automatique statistique moderne, Paul Smolensky, qui formalisera l’architecture sub-symbolique et la théorie de l’optimalité en linguistique, et David Zipser, pionnier de la modélisation computationnelle du cortex pariétal et de la neurobiologie spatiale.

Au sein même de San Diego, les débats passionnés entre Rumelhart et Donald Norman jouent un rôle crucial dans le développement de l’ingénierie cognitive et de l’ergonomie des interactions homme-machine. Norman, tout en soutenant l’élan connexionniste, mettait en garde contre le risque de perdre de vue l’expérience subjective de l’utilisateur et l’écologie sociale de la cognition, incitant Rumelhart à toujours préserver un pont entre la micro-analyse neuronale et l’intelligence située dans le monde réel.

En 1987, David Rumelhart quitte la douceur côtière de La Jolla pour retourner à l’Université Stanford en tant que professeur titulaire de psychologie. À Stanford, au cœur d’une Silicon Valley en pleine effervescence technologique, Rumelhart continue d’étendre son rayonnement transdisciplinaire. Ses idées irriguent directement la philosophie de l’esprit émergente : des philosophes de premier plan comme Paul Churchland, Patricia Churchland et Andy Clark trouvent dans les modèles mathématiques de Rumelhart le carburant empirique nécessaire pour élaborer le matérialisme éliminatif et la théorie de la cognition incarnée, démontrant que la vision de Rumelhart avait réussi à dépasser le cadre strict de la psychologie pour redéfinir l’épistémologie de son époque.

10. Implications philosophiques et méthodologiques pour les sciences cognitives

10.1 La querelle Fodor-Pylyshyn contre le connexionnisme

L’essor fulgurant de l’architecture PDP et des réseaux connexionnistes ne tarda pas à provoquer un violent réflexe d’auto-défense intellectuelle de la part des gardiens de l’orthodoxie philosophique du cognitivisme symbolique classique. En 1988, les philosophes de l’esprit Jerry Fodor et Zenon Pylyshyn publient dans la revue Cognition un long article polémique destiné à porter un coup d’arrêt définitif aux prétentions du groupe de Rumelhart : Connectionism and cognitive architecture: A critical analysis.

L’offensive de Fodor et Pylyshyn s’articule autour d’un dilemme philosophique redoutable. Selon eux, la pensée humaine possède des propriétés fondamentales non négociables : la productivité (la capacité de générer une infinité de pensées nouvelles à partir d’un stock fini d’éléments), la compositionnalité (la signification d’un énoncé complexe dépend de la signification de ses parties et de ses règles de combinaison syntaxique) et, par-dessus tout, la « systématicité » (quiconque est capable de comprendre la pensée ‘Jean aime Marie’ est intrinsèquement et nécessairement capable de comprendre la pensée ‘Marie aime Jean’). Pour Fodor et Pylyshyn, ces propriétés universelles ne peuvent s’expliquer que si l’esprit humain fonctionne comme un langage de la pensée (un Mentalese) doté d’une syntaxe combinatoire classique d’opérations sur des symboles discrets. Dès lors, le connexionnisme se retrouve enfermé dans une impasse :

• Soit les réseaux neuronaux implémentent une architecture de symboles classiques (auquel cas le connexionnisme n’est qu’une simple théorie de l’implémentation neurologique sans intérêt conceptuel pour la psychologie cognitive) ;
• Soit les réseaux prétendent se passer totalement de la syntaxe combinatoire, et ils sont alors mathématiquement et philosophiquement incapables d’expliquer la systématicité et la productivité de l’esprit humain.

David Rumelhart et ses alliés relèvent le défi avec une remarquable profondeur philosophique. Rumelhart refuse catégoriquement ce faux dilemme en théorisant la « compositionnalité sans syntaxe explicite » au niveau sub-symbolique. Dans un réseau distribué, deux concepts ne sont pas assemblés comme des briques de plastique rigides ; leurs représentations vectorielles interagissent continûment au sein d’un même espace de haute dimension, se modifiant mutuellement par le contexte. La systématicité de la pensée n’est pas une règle formelle innée et absolue, mais une propriété statistique douce qui émerge naturellement de la topologie géométrique des représentations distribuées. Cette riposte redéfinit le statut ontologique des représentations mentales : celles-ci cessent d’être des étiquettes linguistiques internes pour devenir des trajectoires dynamiques au sein de variétés différentiables.

10.2 Le physicalisme non réducteur et l’émergence cognitive

Sur le plan métaphysique et épistémologique, l’œuvre de David Rumelhart opère une rupture salutaire avec le dualisme cartésien résiduel qui hantait la première révolution cognitive. Les tenants du fonctionnalisme classique soutenaient la thèse de la « réalisabilité multiple » (multiple realizability), affirmant que le logiciel de l’esprit (le software) pouvait être étudié de manière totalement indépendante du support matériel (le hardware), qu’il s’agisse d’un cerveau biologique fait de neurones carbonés, d’un ordinateur au silicium ou d’un système de poulies hydrauliques. Cette posture avait eu pour conséquence perverse de déconnecter artificiellement la psychologie de l’architecture physique du cerveau.

Rumelhart propose au contraire un physicalisme non réducteur fondé sur le concept d’« émergence cognitive ». Les phénomènes mentaux de haut niveau — la conscience, l’intentionnalité, la catégorisation conceptuelle, le raisonnement — ne sont ni des entités immatérielles flottant au-dessus du cerveau, ni de simples décharges ioniques observables au microscope. Ils sont des propriétés macroscopiques émergentes résultant de l’interaction hautement non linéaire de millions de micro-unités computationnelles simples.

Cette approche s’aligne étroitement avec les théories neurophilosophiques développées par Paul Churchland et Patricia Churchland. Elle réhabilite l’idée que l’architecture physique conditionne intimement la nature de la pensée qui peut s’y déployer. En démontrant comment la physique des réseaux dynamiques peut donner naissance à des fonctionnalités intelligentes sans postuler d’opérateur central, Rumelhart ancre définitivement la science de l’esprit dans le cadre naturel des systèmes physiques complexes auto-organisés.

10.3 Transformation méthodologique de la psychologie scientifique

L’apport de David Rumelhart ne se mesure pas seulement à ses théories conceptuelles, mais également à la métamorphose méthodologique radicale qu’il a imposée à la psychologie scientifique. Avant la diffusion de ses travaux, la psychologie cognitive procédait principalement par déduction verbale : un chercheur concevait une expérience de temps de réaction, observait un effet statistique significatif, puis formulait une hypothèse théorique exprimée en langage naturel, souvent accompagnée d’un diagramme de boîtes reliées par des flèches unidirectionnelles.

Rumelhart a érigé la « simulation computationnelle explicite » au rang de standard absolu de preuve et d’exploration empirique. Pour lui, une théorie psychologique ne possède de valeur scientifique réelle que si elle est capable de tourner sous la forme d’un modèle algorithmique exécutable, dont chaque paramètre est mathématiquement explicité et dont les sorties numériques peuvent être comparées terme à terme avec les distributions statistiques recueillies en laboratoire sur des sujets humains. Cette exigence a contraint toute une génération de psychologues à se former intensivement à l’algèbre linéaire, au calcul matriciel, aux équations différentielles et à la programmation scientifique.

Par ce déplacement méthodologique, Rumelhart a fait glisser le centre de gravité de l’analyse psychologique du niveau des chronométries comportementales descriptives vers la géométrie et la topologie des espaces vectoriels de haute dimension. Dès lors, étudier la mémoire, la perception ou le langage devenait l’analyse de la façon dont un réseau neuronal déforme son espace d’états interne pour séparer des classes de stimuli et projeter des invariants conceptuels. Cette standardisation méthodologique a jeté un pont pérenne et rigoureux entre la psychologie expérimentale, les neurosciences computationnelles et l’ingénierie mathématique.

11. Maladie, fin de vie et reconnaissance institutionnelle

11.1 L’atteinte par la maladie de Pick et le déclin progressif

Alors que David Rumelhart est au zénith de sa gloire académique et que ses théories s’imposent à l’échelle planétaire, le destin frappe le brillant chercheur avec une cruauté indicible. À la fin des années 1990, alors qu’il n’est âgé que d’une cinquantaine d’années, ses collègues et ses proches remarquent de subtils changements dans son comportement : de légères difficultés d’élocution, des hésitations inhabituelles dans l’organisation de ses cours magistraux à Stanford et des oublis discrets dans la gestion de ses projets de recherche.

Les investigations neurologiques approfondies aboutissent à un diagnostic dévastateur : David Rumelhart est atteint d’une dégénérescence lobaire fronto-temporale, et plus spécifiquement de la maladie de Pick. Cette affection neurodégénérative incurable attaque de manière préférentielle les lobes frontaux et temporaux du cortex cérébral — les régions mêmes qui soutiennent le langage élaboré, la planification exécutive et le raisonnement abstrait dont Rumelhart avait passé sa vie à décrypter les mécanismes computationnels.

Le déclin de ses facultés intellectuelles s’avère inexorable. L’homme qui avait formulé les équations de la rétropropagation du gradient et théorisé la plasticité de l’esprit voit son propre système neuronal se dégrader progressivement, offrant le spectacle poignant d’un génie de la pensée subissant dans sa chair l’effondrement de ses propres réseaux de communication interne. Dès 1998, la progression de la maladie contraint Rumelhart à abandonner définitivement son poste professoral à l’Université Stanford et à se retirer de toute recherche active. Ses dernières années se déroulent dans la sérénité d’une structure de soins spécialisée à Chelsea, dans le Michigan, entouré de l’affection de sa famille. Il s’éteint paisiblement le 13 mars 2011, à l’âge de 68 ans, laissant la communauté scientifique mondiale dans un deuil profond.

11.2 Prix, distinctions et hommages de ses pairs

De son vivant et tout au long de sa brillante carrière, la communauté académique internationale n’a pas manqué de célébrer l’originalité exceptionnelle et la puissance transformatrice des travaux de David Rumelhart. En 1987, au moment même de la parution de ses manifestes sur l’architecture PDP, la prestigieuse Fondation MacArthur lui décerne son illustre bourse (le MacArthur Fellowship, communément désigné sous le titre de « Genius Grant »), récompensant les créateurs les plus novateurs et audacieux de leur génération.

En 1991, Rumelhart reçoit la consécration suprême de l’académie américaine en étant officiellement élu membre de la National Academy of Sciences (NAS) dans la section de psychologie et de sciences cognitives. La communauté des neurosciences et de la psychologie le distingue également par l’attribution du prestigieux prix Howard Crosby Warren de la Society of Experimental Psychologists en 1993, ainsi que par les plus hautes récompenses scientifiques de l’American Psychological Association (APA).

Au-delà des médailles institutionnelles, les hommages unanimes rendus par ses pairs au lendemain de sa disparition soulignent non seulement la stature du savant, mais également la dimension humaine de l’homme. Ses collaborateurs les plus proches, de James McClelland à Geoffrey Hinton en passant par Don Norman, ont tous témoigné de l’extrême gentillesse de Rumelhart, de son humilité naturelle face à la complexité de la nature, de son écoute attentive vis-à-vis des étudiants les plus timides et de son absence totale d’arrogance intellectuelle. David Rumelhart était ce rare prodige qui préférait faire triompher une idée en la partageant généreusement plutôt qu’en revendiquant jalousement la paternité exclusive de chaque formule mathématique.

11.3 Création du prestigieux Prix Rumelhart

Afin d’honorer de son vivant la mémoire de son génie et d’inscrire son nom pour l’éternité au fronton de la recherche sur l’esprit, la Robert J. Glushko and Pamela Samuelson Foundation décide en 2000 d’instituer une distinction sans équivalent : le Prix David E. Rumelhart (David E. Rumelhart Prize for Contributions to the Theoretical Foundations of Human Cognition). Créé avec la participation active de Robert Glushko, un ancien doctorant de Rumelhart à l’UCSD, le prix est décerné pour la première fois en 2001.

Doté d’une récompense substantielle de 100 000 dollars, le Prix Rumelhart est immédiatement reconnu dans le monde entier comme l’équivalent du « Prix Nobel des sciences cognitives ». Il est attribué annuellement lors de la conférence internationale de la Cognitive Science Society à un chercheur ou une équipe ayant apporté une contribution théorique fondamentale, formelle et pérenne à la compréhension des fondements computationnels de la pensée humaine. Les premiers lauréats du prix témoignent de l’exigence et du prestige de cette distinction :

• 2001 : Geoffrey E. Hinton, pour ses travaux pionniers en apprentissage non supervisé et représentations distribuées.
• 2002 : Richard M. Shiffrin, pour ses modèles formels de la mémoire et de l’attention.
• 2003 : Aravind Joshi, pour ses contributions théoriques à la linguistique computationnelle.
• 2005 : James L. McClelland, couronnant l’autre moitié du tandem historique de la révolution connexionniste.
• 2010 : James Anderson, pour ses travaux pionniers sur les modèles de mémoires associatives.
• 2015 : Michael I. Jordan, l’ancien élève de Rumelhart, récompensé pour ses avancées en modélisation probabiliste et apprentissage machine.

Par cette institution pérenne, le nom de David Rumelhart continue d’incarner chaque année l’audace conceptuelle, la rigueur mathématique et la volonté indomptable de sonder les mystères de la cognition par les outils de la formalisation computationnelle.

12. Postérité et résurgence dans l’intelligence artificielle moderne

12.1 De l’architecture PDP aux réseaux de neurones profonds contemporains

Pendant les années 1990 et le début des années 2000, le connexionnisme traverse une seconde période de relatif reflux médiatique, souvent qualifiée de « second hiver des réseaux de neurones ». Faute de puissance de calcul informatique suffisante et face à la rareté des jeux de données d’apprentissage massifs et numérisés, les réseaux de neurones multicouches de l’époque étaient longs à converger et souvent surpassés par des méthodes d’optimisation convexe plus maniables, comme les machines à vecteurs de support (SVM) de Vladimir Vapnik.

Cependant, la décennie 2010 a opéré la revanche historique et triomphale la plus éclatante de toute l’histoire des technologies modernes avec l’explosion de l’apprentissage profond (Deep Learning). Cette révolution contemporaine, qui propulse aujourd’hui la reconnaissance vocale, la vision par ordinateur, la conduite autonome et les modèles de langage de grande taille (LLM comme GPT ou Gemini), ne repose sur rien d’autre que sur la filiation directe et l’amplification computationnelle colossale des principes formalisés par David Rumelhart en 1986. Les algorithmes fondamentaux qui font tourner les supercalculateurs d’aujourd’hui — qu’il s’agisse de la descente de gradient stochastique (SGD), de la rétropropagation du gradient ou de l’ajustement adaptatif des taux d’apprentissage — sont les descendants directs de la règle du delta généralisée.

Plus remarquable encore : la notion d’« embedding » (plongement lexical ou vectoriel), qui constitue le cœur absolu du traitement automatique des langues contemporain depuis des modèles comme Word2Vec jusqu’aux Transformeurs modernes, est la matérialisation technologique exacte des « représentations distribuées » théorisées par Rumelhart dans le premier volume du PDP. L’idée qu’un mot, une image ou une idée complexe n’est pas un identifiant symbolique discret, mais un point dans un espace vectoriel continu de dimension 512, 1024 ou 4096, où la distance géométrique code la proximité sémantique, est la victoire posthume intégrale de l’intuition de Rumelhart sur le rationalisme de von Neumann.

12.2 Impact durable sur les neurosciences computationnelles

La postérité de David Rumelhart ne s’est pas cantonnée aux serveurs des ingénieurs de la Silicon Valley ; elle a profondément fertilisé les neurosciences contemporaines. Alors que Francis Crick et les physiologistes des années 1980 raillaient le manque de réalisme anatomique de l’architecture PDP, les neurosciences modernes ont fini par valider à grande échelle le bien-fondé de ses abstractions fonctionnelles.

Les techniques d’imagerie par résonance magnétique fonctionnelle (IRMf) à haute résolution spatiale et les enregistrements électrophysiologiques multi-électrodes ont révélé que le cerveau encode effectivement l’information visuelle, auditive et motrice sous forme de « codage de population » (population coding), exactement comme le prédisaient les modèles de représentations distribuées de Rumelhart. Des recherches contemporaines majeures, à l’image des travaux de James DiCarlo au MIT sur le cortex visuel ventral des primates, ont prouvé que les réseaux de neurones convolutifs profonds — entraînés par rétropropagation du gradient — constituent les meilleurs prédicteurs computationnels jamais découverts pour expliquer l’activité neuronale mesurée dans les aires visuelles V1, V4 et IT.

Cette convergence renouvelée entre intelligence artificielle et biologie du cerveau confirme la fécondité épistémologique de la vision de Rumelhart. En refusant à la fois le réductionnisme aveugle et le fonctionnalisme désincarné, il a offert aux neurosciences computationnelles la grammaire conceptuelle adéquate pour analyser les pathologies de la connectivité cérébrale, la réorganisation corticale post-lésionnelle et la plasticité synaptique adaptative.

12.3 Bilan épistémologique : la vision prophétique de David Rumelhart

Avec le recul historique que confère le XXIe siècle, la stature scientifique de David Everett Rumelhart apparaît sous son véritable jour : il fut l’architecte discret mais souverain de la plus grande métamorphose computationnelle de l’esprit jamais accomplie. Là où d’autres théoriciens ont privilégié l’éclat oratoire ou la controverse polémique, Rumelhart a œuvré avec la sérénité du mathématicien et la rigueur du naturaliste, laissant parler la puissance intrinsèque de ses équations et l’élégance de ses simulations informatiques.

Son œuvre a réussi le tour de force de réconcilier ce que la philosophie avait séparé depuis Descartes : la matérialité physique continue du monde naturel et la structure signifiante complexe de la pensée de haut niveau. En inventant le niveau sub-symbolique, en démontrant la viabilité du traitement distribué en parallèle et en fournissant à l’humanité l’algorithme capable de faire apprendre des représentations internes à des matrices aveugles, David Rumelhart a posé les rails sur lesquels l’intelligence artificielle s’élance désormais à une vitesse vertigineuse.

À l’heure où les machines génèrent du langage fluide, reconnaissent des formes avec une précision surhumaine et assistent les chercheurs dans le décryptage des structures moléculaires les plus complexes, les principes formulés dans un modeste laboratoire de La Jolla au début des années 1980 résonnent avec une acuité intacte. David Rumelhart a non seulement réécrit l’histoire des sciences cognitives de son siècle, mais il a dessiné la carte conceptuelle qui guide encore aujourd’hui notre exploration des frontières de l’intelligence.

Références

• Fodor, J. A., & Pylyshyn, Z. W. (1988). Connectionism and cognitive architecture: A critical analysis. Cognition, 28(1-2), 3–71. https://doi.org/10.1016/0010-0277(88)90031-5
• McClelland, J. L., & Rumelhart, D. E. (1981). An interactive activation model of the effect of context in perception: Part I. An account of basic findings. Psychological Review, 88(5), 375–407. https://doi.org/10.1037/0033-295X.88.5.375
• McClelland, J. L., & Rumelhart, D. E. (Eds.). (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Vol. 2: Psychological and Biological Models. MIT Press. https://mitpress.mit.edu/9780262631105/parallel-distributed-processing/
• Minsky, M., & Papert, S. (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press. https://mitpress.mit.edu/9780262540230/perceptrons/
• Norman, D. A., Rumelhart, D. E., & the LNR Research Group. (1975). Explorations in Cognition. W. H. Freeman. https://openlibrary.org/books/OL5184852M/Explorations_in_cognition
• Pinker, S., & Prince, A. (1988). On language and connectionism: Analysis of a parallel distributed processing model of language acquisition. Cognition, 28(1-2), 73–193. https://doi.org/10.1016/0010-0277(88)90032-7
• Rumelhart, D. E. (1970). A multicomponent theory of the perception of briefly exposed visual displays. Journal of Mathematical Psychology, 7(2), 191–218. https://doi.org/10.1016/0022-2496(70)90044-1
• Rumelhart, D. E. (1975). Notes on a schema for stories. In D. G. Bobrow & A. Collins (Eds.), Representation and Understanding: Studies in Cognitive Science (pp. 211–236). Academic Press. https://doi.org/10.1016/B978-0-12-108550-6.50013-6
• Rumelhart, D. E. (1980). Schemata: The building blocks of cognition. In R. J. Spiro, B. C. Bruce, & W. F. Brewer (Eds.), Theoretical Issues in Reading Comprehension (pp. 33–58). Lawrence Erlbaum Associates. https://doi.org/10.4324/9781315107493-4
• Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536. https://doi.org/10.1038/323533a0
• Rumelhart, D. E., & McClelland, J. L. (1982). An interactive activation model of the effect of context in perception: Part II. The contextual enhancement effect and some tests and extensions of the model. Psychological Review, 89(1), 60–94. https://doi.org/10.1038/323533a0
• Rumelhart, D. E., & McClelland, J. L. (Eds.). (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Vol. 1: Foundations. MIT Press. https://mitpress.mit.edu/9780262680530/parallel-distributed-processing/
• Werbos, P. J. (1974). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences (Doctoral dissertation, Harvard University). https://www.osti.gov/biblio/5984407