Jeffrey Elman – 1948 2018

Biographie

L’histoire des sciences cognitives contemporaines est jalonnée de ruptures épistémologiques majeures, mais peu d’entre elles ont ébranlé aussi profondément les fondements de la linguistique, de la psychologie du développement et de l’intelligence artificielle que l’œuvre pionnière de Jeffrey Locke Elman (1948-2018). À une époque où le dogme du nativisme symbolique, incarné avec force par Noam Chomsky et Jerry Fodor, postulait l’existence d’un organe du langage pré-câblé et de représentations formelles désincarnées, Elman a proposé une vision radicalement alternative : celle d’un esprit dynamique, incarné et auto-organisé, où les structures linguistiques complexes émergent spontanément de l’interaction temporelle entre un système d’apprentissage distribué et un flux informationnel continu.

Figure centrale de la seconde vague du connexionnisme au sein du groupe PDP (Parallel Distributed Processing) à l’Université de Californie à San Diego, Jeffrey Elman est mondialement reconnu pour avoir conçu en 1990 le réseau récurrent simple (Simple Recurrent Network, ou SRN), souvent baptisé « réseau d’Elman ». Cette architecture computationnelle novatrice a doté les réseaux de neurones artificiels d’une mémoire de travail interne implicite, rendant possible le traitement de la temporalité sans faire appel à un stockage statique ou à des règles syntaxiques explicites. Loin de se cantonner à des simulations purement informatiques, ses travaux ont transformé notre compréhension de l’acquisition du langage par l’enfant, de la dynamique sémantique et de la neurobiologie cognitive, posant ainsi les jalons des grands modèles de langage et des neurosciences prédictives contemporaines.

Au-delà de ses découvertes computationnelles, Elman fut un penseur d’une envergure exceptionnelle, artisan d’un pont théorique entre la biologie évolutive, le développement cortical et la morphosyntaxe. À travers l’ouvrage séminal Rethinking Innateness (1996), coécrit avec d’éminents collaborateurs tels qu’Elizabeth Bates et Mark Johnson, il a déconstruit l’opposition binaire stérile entre l’inné et l’acquis, proposant le cadre de l’émergentisme développemental qui inspire encore aujourd’hui la recherche internationale. Ce dossier universitaire exhaustif retrace la trajectoire biographique, théorique, empirique et méthodologique de Jeffrey Elman, analysant en profondeur comment sa conception du temps et de l’espace d’états a redéfini à jamais l’étude de la cognition humaine.

1. Biographie et formation intellectuelle de Jeffrey Elman (1948-2018)

1.1 Les premières années et le parcours académique initial

Né le 22 mars 1948 à Los Angeles, en Californie, Jeffrey Locke Elman a grandi dans un environnement intellectuel stimulant qui a très tôt nourri sa curiosité pour les structures formelles de la pensée humaine et la complexité des interactions sociales. Durant sa jeunesse, il manifeste une fascination marquée pour les mécanismes de la communication verbale, observant les subtilités par lesquelles des signaux physiques éphémères parviennent à véhiculer des significations partagées au sein d’une communauté culturelle.

Cette curiosité le conduit sur les bancs de l’Université Harvard, où il entreprend des études de premier cycle particulièrement éclectiques et rigoureuses. Il y poursuit un double cursus en linguistique et en relations sociales, une formation hybride combinant l’anthropologie sociale, la sociologie et la psychologie expérimentale. Ce premier cadre académique lui permet de comprendre la langue non pas comme un artefact purement désincarné ou abstrait, mais comme une pratique humaine profondément ancrée dans des contextes interactifs et développementaux. À Harvard, il se confronte aux premiers développements de la grammaire générative, tout en conservant une réserve critique face à l’isolement méthodologique dans lequel ce paradigme enferme l’analyse du langage.

Désireux d’ancrer ses réflexions dans la réalité matérielle et mesurable du signal vocal, Elman rejoint l’Université du Texas à Austin pour préparer son doctorat en linguistique générale, sous la direction de phonéticiens renommés. Sa thèse, soutenue en 1977, est consacrée à la phonétique acoustique et physiologique, examinant la dynamique temporelle de la production et de la perception de la parole. Cette plongée méticuleuse dans les propriétés spectrales et temporelles du flux acoustique continu s’avère déterminante : elle lui révèle le caractère artificiel des segmentations phonologiques traditionnelles. Elman prend conscience que le signal sonore de la parole ne comporte aucune frontière nette entre les phonèmes ou les mots. Cette observation fondamentale de la variabilité acoustique et de la coarticulation deviendra l’un des moteurs de son engagement théorique futur : comment l’esprit humain parvient-il à extraire de la discrétion et de la structure à partir d’un flux continu, temporellement fuyant et fondamentalement bruité ?

1.2 L’installation à l’Université de Californie à San Diego (UCSD)

Immédiatement après l’obtention de son doctorat à Austin en 1977, Jeffrey Elman est recruté comme professeur adjoint au sein du département de linguistique de l’Université de Californie à San Diego (UCSD). À cette époque, le campus de La Jolla est en pleine ébullition intellectuelle, devenant l’épicentre d’une contestation feutrée mais radicale des dogmes dominants de l’intelligence artificielle symbolique et du cognitivisme traditionnel fondé sur la métaphore de l’ordinateur de von Neumann.

Peu après son arrivée, Elman noue des liens scientifiques décisifs avec les membres fondateurs du groupe PDP (Parallel Distributed Processing), animé par les psychologues computationnels David Rumelhart et James McClelland, ainsi que par le neurobiologiste Francis Crick et le philosophe des sciences Paul Churchland. Parallèlement, il engage un dialogue intellectuel et amical intense avec la psycholinguiste Elizabeth Bates. Bates menait alors des travaux empiriques novateurs sur l’acquisition du langage chez les tout-petits et la plasticité neuronale chez les enfants cérébrolésés, documentant des faits cliniques incompatibles avec la vision rigide d’une grammaire modulaire innée.

Immergé dans ce creuset exceptionnel, Elman opère une transition conceptuelle majeure. Il délaisse progressivement les outils formels de la linguistique descriptive pour s’approprier les mathématiques des systèmes dynamiques non linéaires et les formalismes des réseaux de neurones artificiels distribués. Dans ce cadre d’apprentissage connexionniste, le cerveau n’est plus perçu comme un processeur séquentiel manipulant des chaînes de symboles logiques, mais comme une assemblée hautement interconnectée de processeurs élémentaires dont les états collectifs évoluent dans un espace vectoriel continu. Elman saisit immédiatement le potentiel révolutionnaire de cette approche pour réconcilier la variabilité temporelle du signal acoustique avec les régularités syntaxiques de haut niveau, posant les bases d’un programme de recherche qui redéfinira la modélisation du langage.

1.3 Évolution institutionnelle et consécration académique

Tout au long de ses quatre décennies à l’UCSD, Jeffrey Elman s’affirme non seulement comme un chercheur prolifique, mais aussi comme un bâtisseur d’institutions d’une efficacité remarquable. Conscient que l’étude de l’esprit requiert une dissolution institutionnelle des frontières disciplinaires traditionnelles, il s’investit corps et âme, aux côtés de Donald Norman, David Rumelhart et Elizabeth Bates, dans la création du tout premier département de sciences cognitives au monde, fondé officiellement à l’UCSD en 1986. Il en devient rapidement l’un des piliers pédagogiques et scientifiques, occupant la chaire de direction et modelant des programmes d’enseignement interdisciplinaires qui serviront de référence planétaire.

De 1993 à 2002, Elman prend la direction du prestigieux Centre de recherche sur le langage (Center for Research in Language, CRL) de l’UCSD. Sous sa direction, le CRL devient une référence mondiale pour l’étude croisée du langage, de la modélisation informatique, de l’aphasiologie et de la psycholinguistique développementale. Elman favorise un environnement d’émulation intellectuelle où les doctorants en informatique travaillent main dans la main avec des neurologues cliniciens et des linguistes de terrain. Son autorité scientifique et ses talents diplomatiques le conduisent ensuite à exercer les fonctions de doyen associé, puis de doyen de la division des sciences sociales de l’UCSD de 2006 à 2014. Durant son mandat décanal, il impulse une politique ambitieuse de recrutement interdisciplinaire, crée des chaires universitaires novatrices et promeut activement l’égalité des chances et la diversité au sein de l’université.

La communauté scientifique internationale a largement salué la rigueur et l’audace de ses travaux. En 2007, la Cognitive Science Society lui décerne sa plus haute distinction, le prestigieux prix David E. Rumelhart, récompensant ses contributions formelles et conceptuelles à l’analyse des fondements théoriques de la cognition humaine. Élu membre de l’American Academy of Arts and Sciences et de l’Association for Psychological Science, Elman a continué à publier et à enseigner jusqu’à sa disparition soudaine le 28 juin 2018, laissant derrière lui une œuvre colossale dont la résonance théorique et technologique n’a cessé de croître à l’ère de l’intelligence artificielle générative.

2. Le contexte épistémologique : Rupture avec le paradigme symbolique

2.1 L’hégémonie du modèle chomskien dans les années 1970 et 1980

Pour mesurer pleinement la portée révolutionnaire des travaux de Jeffrey Elman, il est indispensable de reconstituer le paysage théorique dominant au cours des années 1970 et 1980. Durant cette période, la linguistique et la psychologie cognitive étaient presque entièrement dominées par le paradigme de la grammaire générative, inauguré par Noam Chomsky, et sa déclinaison philosophique formulée par Jerry Fodor sous la forme de l’hypothèse du modularisme et du langage de la pensée (Language of Thought ou Mentalais).

Ce paradigme reposait sur plusieurs postulats fondamentaux :

• La pauvreté du stimulus : L’argument selon lequel l’environnement linguistique de l’enfant est trop fragmenté, bruité et lacunaire pour lui permettre d’induire par apprentissage les structures formelles complexes du langage naturel sans l’aide d’un savoir inné préalable.
• La grammaire universelle innée : L’hypothèse de l’existence d’une structure génétique spécifiant a priori les principes et paramètres de toutes les langues humaines, matérialisée dans un « organe du langage » cortical dédié.
• La modularité stricte de l’esprit : La conception de systèmes de traitement de l’information étanches, encapsulés informationnellement, indépendants des facultés cognitives générales telles que l’apprentissage statistique, la mémoire de travail ou la perception.
• Le calcul symbolique : La définition de la cognition comme une manipulation mécanique de représentations symboliques discrètes et arbitraires, régie par des règles logiques explicites et formelles, comparable à l’exécution d’un algorithme par une machine de Turing.

Toutefois, dès le milieu des années 1980, ce modèle structuraliste et computationnel classique montre des signes de blocage théorique et empirique. Il peine à rendre compte de l’acquisition naturelle du langage chez l’enfant en temps réel, se heurte au problème de l’ancrage des symboles (symbol grounding problem) soulevé par Stevan Harnad, et reste aveugle aux contraintes temporelles continues du traitement de la parole. De plus, il traite la variabilité lexicale, l’ambiguïté syntaxique et les exceptions régulières comme des impuretés périphériques, incapables de trouver une place élégante dans un système de règles rigides et déterministes. Face à cette abstraction computationnelle imperméable aux données biologiques, le besoin d’un cadre conceptuel alternatif, capable d’intégrer le temps, la continuité et la plasticité de l’apprentissage empirique, devient une urgence scientifique.

2.2 L’émergence de la révolution connexionniste

La publication en 1986 des deux volumes historiques de l’équipe de recherche menée par David Rumelhart et James McClelland, intitulés Parallel Distributed Processing: Explorations in the Microstructure of Cognition, marque le coup d’envoi de la seconde révolution connexionniste. Ce courant conteste de front la métaphore classique de l’esprit comme logiciel s’exécutant sur un matériel neuronal accessoire. Le connexionnisme propose au contraire de s’inspirer directement de l’architecture micro-structurale du cerveau : des réseaux d’unités simples, massivement interconnectées par des poids synaptiques pondérés, opérant de manière parallèle et distribuée.

Dans ce cadre renouvelé, la représentation mentale n’est plus un symbole discret logé dans une case mémoire statique, mais un profil d’activation distribué sur une population d’unités de calcul. De même, les règles ne sont plus des instructions algorithmiques stockées explicitement dans un programme centralisé, mais des régularités émergentes matérialisées par la force relative des poids synaptiques façonnés par l’expérience statistique. L’analogie biologique fournit une contrainte de plausibilité fondamentale : les systèmes cognitifs réels font face à la dégradation gracieuse des performances en cas de lésion, tolèrent le bruit dans le signal d’entrée et exploitent la similarité géométrique entre représentations vectorielles pour généraliser à de nouvelles situations.

Toutefois, les premiers réseaux neuronaux multicouches (comme le perceptron multicouche entraîné par l’algorithme de rétropropagation du gradient popularisé par Rumelhart, Hinton et Williams) présentaient une faiblesse majeure : ils étaient strictement non récurrents (feedforward). Ces réseaux recevaient un vecteur d’entrée statique spatialisé et généraient un vecteur de sortie, traitant chaque motif d’information de manière isolée, sans mémoire de ce qui avait précédé. Or, le langage naturel, la musique, la locomotion ou la pensée conceptuelle se déploient intrinsèquement dans le temps. C’est précisément à ce carrefour épistémologique crucial que Jeffrey Elman intervient : il entreprend de briser le carcan du traitement spatialisé de l’information pour réintroduire la dynamique temporelle continue au cœur même de l’architecture connexionniste.

3. L’invention du réseau récurrent simple (Réseau d’Elman)

3.1 Architecture computationnelle du réseau récurrent simple (SRN)

En 1990, Jeffrey Elman publie dans la revue Cognitive Science son article le plus emblématique, intitulé « Finding Structure in Time », dans lequel il dévoile l’architecture du réseau récurrent simple (désormais universellement désigné par le sigle SRN ou sous le nom d’« Elman Net »). L’objectif d’Elman était de résoudre un problème computationnel récurrent : comment un réseau neuronal peut-il être sensible à l’histoire séquentielle des événements passés sans avoir besoin d’allouer au préalable une fenêtre temporelle fixe ou un tampon de mémoire tampon (buffer memory) aux dimensions arbitraires ?

L’architecture du SRN repose sur un principe d’une remarquable simplicité géométrique et computationnelle. Le réseau est composé de quatre couches distinctes d’unités :

• La couche d’entrée (input layer) : Elle reçoit à chaque pas de temps discret t le stimulus courant encodé vectoriellement (par exemple, un mot ou une lettre).
• La couche cachée (hidden layer) : Elle traite le stimulus reçu et projette son activation vers la couche de sortie à travers des connexions synaptiques ajustables.
• La couche de sortie (output layer) : Elle produit le vecteur d’activation attendu à l’instant t (souvent la prédiction de l’élément suivant dans la séquence, à l’instant t+1).
• La couche de contexte (context layer) : Elle constitue le cœur de l’innovation d’Elman. À chaque pas de temps t, les activations des unités de la couche cachée sont copiées à l’identique (via des liaisons de poids fixes égales à 1.0) dans ces unités de contexte. Au pas de temps suivant (t+1), les unités de contexte réinjectent ces informations dans la couche cachée via des poids synaptiques standards, modifiables par l’apprentissage.

Cette boucle de rétroaction interne modifie profondément la nature du traitement : l’état de la couche cachée à l’instant t dépend non seulement de l’entrée extérieure au même instant, mais également de son propre état interne antérieur à l’instant t-1. Par ce mécanisme de récursion, le réseau encode une trace compressible et continue de l’ensemble de son histoire séquentielle. Il est essentiel de distinguer le SRN du réseau récurrent proposé antérieurement par Michael I. Jordan en 1986. Dans le réseau de Jordan, la boucle de rétroaction provenait de la couche de sortie pour alimenter les unités d’état. Or, comme la sortie est contrainte par la cible d’apprentissage immédiate, le réseau de Jordan ne conserve qu’une trace de ses actions ou prédictions passées. Le réseau d’Elman, quant à lui, recycle son état interne caché, c’est-à-dire sa propre représentation latente du monde. Il confère ainsi au système la liberté d’inventer et d’organiser ses propres représentations abstraites de l’histoire contextuelle en fonction des exigences de la tâche.

3.2 Le traitement mathématique de la temporalité

Sur le plan mathématique, le réseau d’Elman transforme la dimension temporelle unidirectionnelle en une trajectoire géométrique continue à l’intérieur d’un espace d’états multidimensionnel. Si l’on désigne par x(t) le vecteur d’entrée au temps t, par h(t) le vecteur d’activation de la couche cachée, et par c(t) l’état des unités de contexte, le fonctionnement dynamique du modèle s’articule autour des équations matricielles canoniques suivantes :

Puisque la couche de contexte conserve l’état caché antérieur, nous avons :

c(t) = h(t – 1)

L’état de la couche cachée au temps t est calculé en appliquant une fonction d’activation non linéaire (généralement la fonction sigmoïde ou la tangente hyperbolique) à la somme pondérée des entrées courantes et du contexte antérieur :

h(t) = σ(W_ih · x(t) + W_ch · c(t) + b_h)

Où W_ih représente la matrice des poids entre l’entrée et la couche cachée, W_ch la matrice des poids récurrents reliant le contexte à la couche cachée, et b_h le vecteur de biais.

Enfin, la sortie y(t) est calculée en projetant l’état caché vers la couche supérieure :

y(t) = g(W_ho · h(t) + b_o)

Où g est une fonction d’activation (telle que le softmax pour les distributions de probabilités ou la sigmoïde) et W_ho la matrice des poids de projection.

L’apprentissage dans le SRN s’effectue par l’algorithme standard de rétropropagation du gradient (ou par une version tronquée de la rétropropagation à travers le temps, Truncated Backpropagation Through Time). À chaque transition temporelle, l’erreur quadratique entre la sortie prédite y(t) et la cible effective est calculée, et le gradient est propagé en arrière vers les connexions W_ho, W_ih et W_ch. Les connexions entre la couche cachée et la couche de contexte restant figées à l’unité, le calcul demeure remarquablement efficace et économe en ressources computationnelles.

En projetant continuellement l’état antérieur dans le calcul présent, le réseau ne se contente pas d’enregistrer des tranches de temps juxtaposées : il compresse les dépendances passées. Les représentations de la couche cachée deviennent des attracteurs dynamiques capables d’absorber des dépendances séquentielle non linéaires sans subir l’explosion combinatoire qui paralyse habituellement les modèles markoviens d’ordre supérieur ou les arbres syntaxiques classiques.

3.3 Implications théoriques pour la modélisation cognitive

L’introduction du réseau récurrent simple a provoqué un séisme conceptuel dans la modélisation de la cognition humaine. Le premier dogme renversé par Jeffrey Elman est la séparation dualiste traditionnelle, héritée de l’architecture de von Neumann, entre le processeur et la mémoire, entre les données statiques stockées en mémoire vive et le programme opératoire chargé de les manipuler.

Dans le SRN, la mémoire n’est pas un tiroir ou un réceptacle passif dans lequel des symboles sont déposés pour être relus ultérieurement. Elle est une propriété fonctionnelle globale et intrinsèque du flux d’activation :

• La mémoire de travail correspond à l’état transitoire d’activation active distribuée au sein de la couche cachée et du contexte.
• La mémoire à long terme s’incarne dans la constellation des milliers de poids synaptiques pondérés répartis sur l’ensemble du réseau, acquis lentement au fil de l’expérience.
• L’effondrement du concept de « tampon » : Les modèles psycholinguistiques computationnels dominants supposaient que le traitement de la parole nécessitait une mémoire tampon à capacité fixe conservant les n derniers mots pour les soumettre à un analyseur syntaxique (parser). Le SRN prouve qu’un système dynamique peut traiter des flux séquentiels sans aucun tampon explicite, l’information contextuelle étant récursivement repliée et modifiée par chaque nouvelle entrée.

Par ailleurs, le SRN a invalidé l’idée selon laquelle la perception d’un stimulus serait un acte isolé et neutre. Dans un réseau récurrent, le même mot entrant (par exemple le mot « court ») produira un profil d’activation neuronale totalement différent selon qu’il succède au mot « Le temps » (où il sera traité comme un adjectif ou un verbe selon la suite) ou au mot « Le cheval » (où il sera catégorisé comme un verbe d’action). Le contexte passé informe et transforme littéralement la représentation du stimulus présent. Cette démonstration formelle offrait un support mathématique rigoureux à l’intuition gestaltiste et développementale selon laquelle la perception humaine est toujours médiée par un horizon d’attente temporellement situé.

4. « Finding Structure in Time » (1990) : L’article séminal

4.1 Méthodologie et cadre expérimental de l’étude

L’article « Finding Structure in Time », paru en 1990, est unanimement célébré comme l’un des textes les plus influents des sciences cognitives modernes. Pour tester les capacités réelles de son architecture récurrente, Jeffrey Elman ne s’est pas tourné vers des tâches simplistes de reconnaissance de formes statiques, mais a soumis son réseau à un défi fondamental de la linguistique : la découverte autonome de structures cachées au sein d’un flux temporel continu, sans supervision humaine explicite ni étiquetage catégoriel préalable.

Elman a articulé son étude autour d’un protocole d’apprentissage auto-supervisé reposant sur la tâche de prédiction séquentielle : à chaque étape temporelle, le réseau reçoit l’élément courant d’une séquence et doit prédire l’élément qui surviendra immédiatement après. Dans l’une des expériences les plus célèbres de l’article, il conçoit un langage artificiel miniature composé d’un lexique strict de 29 mots distincts, agencés selon une grammaire génératrice régissant l’ordre syntaxique des catégories : noms animés et inanimés, verbes transitifs et intransitifs, pronoms relatifs et compléments d’objet. Les phrases ainsi générées (par exemple « boy who chases dogs sees cat ») sont concaténées bout à bout pour former un flux ininterrompu de plusieurs milliers de mots, débarrassé de tout signe de ponctuation, de marqueur de pause ou de séparateur de phrase.

À chaque pas de temps, un mot est présenté au réseau sous la forme d’un vecteur binaire orthogonal (un encodage de type one-hot où chaque dimension correspond à un mot unique du vocabulaire). Le réseau calcule son activation interne et projette sur sa couche de sortie une distribution de valeurs entre 0 et 1. L’erreur d’apprentissage est mesurée par l’écart quadratique moyen entre cette prédiction et le mot qui apparaît effectivement au pas de temps suivant. Ce dispositif élimine toute tricherie téléologique : aucun enseignant externe ne dicte au réseau les classes de mots ou les frontières de syntagmes ; le système n’a accès qu’à la dynamique statistique séquentielle de son environnement informationnel.

4.2 Découverte des frontières de mots et segmentation statistique

L’une des expériences fondamentales présentées dans l’article de 1990 concerne la segmentation du signal acoustique continu. Pour simuler ce défi auquel fait face tout nouveau-né immergé dans le flux de la parole parentale, Elman entraîne son réseau sur une séquence continue de lettres individuelles constituant des mots concaténés sans espaces (par exemple, la chaîne continue : « manyyearspass… »). Le réseau reçoit une lettre à la fois et doit tenter de prédire la lettre suivante.

En analysant l’évolution de l’erreur quadratique de prédiction au fil de la lecture séquentielle de la séquence, Elman met en lumière un phénomène statistique saisissant :

• À l’intérieur d’un mot connu (par exemple, après avoir reçu les lettres « m-a-n »), l’erreur de prédiction s’effondre de manière drastique, car le faisceau des continuations possibles est hautement contraint par la régularité lexicale (la probabilité que la lettre suivante soit un « y » est très élevée).
• En revanche, dès que la dernière lettre du mot est atteinte, l’erreur de prédiction culmine et explose brusquement. À la frontière entre deux mots, l’incertitude quant à l’identité du mot suivant est maximale, entraînant un pic massif d’entropie dans la couche de sortie du réseau.

Cette observation a des répercussions considérables : elle prouve de manière irréfutable que la segmentation d’un flux temporel continu en unités discrètes (mots, morphèmes) ne nécessite pas la présence de marqueurs acoustiques invariants ou de séparateurs physiques explicites dans le signal. Le réseau récurrent découvre par lui-même les frontières lexicales simplement en observant les oscillations de sa propre capacité prédictive. Cette avancée computationnelle a constitué le précurseur direct des travaux révolutionnaires de la psycholinguiste Jenny Saffran et de ses collègues en 1996 sur l’apprentissage statistique chez les nourrissons de 8 mois. Elman a prouvé théoriquement ce que la psychologie expérimentale allait bientôt confirmer en laboratoire : la transition de probabilité conditionnelle entre séquences phonémiques constitue un mécanisme naturel, puissant et universel pour segmenter la langue maternelle.

4.3 Hiérarchies catégorielles et représentations implicites

L’apport le plus profond de l’article de 1990 réside sans doute dans l’analyse interne des représentations géométriques formées par le réseau au terme de son apprentissage prédictif de phrases entières. Une fois le réseau entraîné à prédire le mot suivant dans le flux continu de 29 mots, Elman s’est interrogé sur la nature exacte du savoir emmagasiné dans la couche cachée. Pour percer cette boîte noire computationnelle, il a appliqué une technique statistique d’analyse multivariée novatrice dans ce contexte : l’analyse en composantes principales (ACP) ainsi que la classification hiérarchique ascendante appliquées aux vecteurs d’activation de la couche cachée déclenchés par chaque mot.

Les résultats visualisés sous la forme de dendrogrammes révèlent une organisation interne époustouflante :

• Ségrégation grammaticale primaire : Le premier facteur discriminant sépare nettement les vecteurs de la couche cachée associés aux noms de ceux associés aux verbes.
• Sous-catégorisation sémantique et syntaxique : Au sein de la région des noms, l’espace se subdivise spontanément en un sous-espace réservé aux animés (boy, girl, dog, cat) et un autre aux inanimés (rock, car, book).
• Raffinement des sous-classes fonctionnelles : Parmi les animés, le réseau sépare les êtres humains des animaux prédateurs ; parmi les verbes, il regroupe séparément les verbes intransitifs ne tolérant aucun objet direct (sleep) et les verbes transitifs exigeant un complément d’objet animé ou comestible (eat, break, see).

Ce résultat apporte une réponse cinglante à l’un des arguments cardinaux de la philosophie analytique et du nativisme fodorien. Fodor affirmait qu’un système ne manipulant pas des symboles logiques discrets ne pourrait jamais former de véritables catégories abstraites ni respecter des rôles thématiques syntaxiques. Elman a démontré que la topologie de l’espace vectoriel d’un réseau récurrent encode des hiérarchies de concepts d’une subtilité remarquable sous forme de régions d’attraction, sans qu’aucune étiquette explicite (« NOM », « VERBE », « ANIMÉ ») n’ait jamais été implantée dans son architecture. La structure linguistique n’est pas préprogrammée : elle émerge de la compression dimensionnelle des contraintes de co-occurrence prédictive.

5. L’acquisition du langage sans grammaire universelle

5.1 Traitement des dépendances à longue distance et de la récursivité

L’un des défis les plus redoutables lancés par les linguistes générativistes aux partisans du connexionnisme concernait la capacité à traiter les dépendances à longue distance et la récursivité. Dans Syntactic Structures (1957), Noam Chomsky avait formulé une critique célèbre affirmant que les modèles séquentiels fondés sur des chaînes de Markov ou des automates à états finis étaient fondamentalement incapables de gérer les structures syntaxiques du langage naturel. En effet, dans une phrase comme « The dog that chased the two cats was barking », l’accord grammatical singulier du verbe « was » dépend du sujet éloigné « dog », ignorant complètement les noms pluriels intercalés « cats » dans la proposition subordonnée relative.

Pour Chomsky, ce phénomène prouvait sans équivoque que la compétence linguistique repose nécessairement sur une grammaire hors-contexte (context-free grammar) ou une grammaire générative transformationnelle manipulant des arbres syntaxiques hiérarchiques, hors de portée d’architectures connexionnistes inductives basées sur des régularités linéaires. Jeffrey Elman a relevé ce défi de manière frontale dans une série d’expériences mémorables menées entre 1991 et 1993. Il a conçu un corpus linguistique généré par une grammaire complexe autorisant l’enchâssement récursif de propositions relatives :

« Boys who dogs chase see cats » ou encore « The girl who the boy who dogs bite loves sees horses ».

Face à ces constructions, le réseau récurrent d’Elman a réussi à prédire avec précision la marque du verbe principal au singulier ou au pluriel, même lorsque plusieurs propositions subordonnées imbriquées séparaient le sujet de son verbe. L’analyse des trajectoires dynamiques dans l’espace d’états de la couche cachée a révélé le mécanisme sous-jacent : lorsqu’une proposition relative s’ouvre avec le pronom relatif « who », l’état caché du réseau est propulsé dans une sous-région spécifique de son espace vectoriel. Cette région agit comme un attracteur maintenant l’accord du sujet principal en suspension latente, tout en autorisant les calculs locaux de la proposition subordonnée. Une fois la relative achevée, la dynamique interne se rétablit et ramène l’état du système à la coordonnée exacte requise pour l’accord du verbe principal. Elman a ainsi démontré que la récursivité n’exige pas obligatoirement une pile de mémoire formelle (stack) manipulée par un compilateur symbolique : elle peut être instanciée par une dynamique continue d’attracteurs dans un espace vectoriel multidimensionnel.

5.2 La nature des règles linguistiques revisitée

Ces découvertes ont conduit Elman à proposer une refondation complète du concept de « règle linguistique ». Dans le cadre rationaliste orthodoxe, une règle est une proposition formelle déterministe (par exemple, SN → Dét + N ou Passé → Base + « -ed ») qui s’applique de manière binaire : une séquence linguistique est jugée valide ou invalide selon qu’elle respecte ou viole l’algorithme sous-jacent.

Or, cette vision mathématique idéalisée entre en contradiction flagrante avec les données empiriques de la linguistique de corpus et de la psycholinguistique comportementale, qui attestent toutes de phénomènes massifs de gradience, de variabilité et de sensibilité au contexte. Dans la vision connexionniste défendue par Elman :

• La règle comme équilibre de contraintes : Une règle n’a pas d’existence physique ou logique séparée du réseau synaptique. Elle représente un faisceau convergent de contraintes statistiques douces (soft constraints) qui stabilisent le traitement d’une séquence.
• La tolérance aux irrégularités : Contrairement aux systèmes symboliques rigides qui plantent face à une omission ou une anomalie, les réseaux d’Elman manifestent une dégradation gracieuse des performances. Ils sont capables d’interpréter des énoncés agrammaticaux ou ambigus en calculant le meilleur compromis probabiliste possible entre les contraintes en jeu.
• Le comportement gouverné par des règles sans règles : Elman a forgé l’expression percutante de « comportement gouverné par des règles » sans manipulation explicite de symboles. Tout comme les alvéoles d’un nid d’abeille adoptent une forme hexagonale parfaite sans qu’aucune abeille ne possède de plan géométrique abstrait dans son cerveau, le langage émerge sous une forme structurée et quasi-systématique à partir des dynamiques interactives d’unités de calcul élémentaires.

Cette approche théorique converge de manière éclatante avec la linguistique fondée sur l’usage (usage-based linguistics) développée par Michael Tomasello et Joan Bybee, ainsi qu’avec la grammaire de construction. Loin de nécessiter un dispositif inné d’acquisition du langage (Language Acquisition Device ou LAD), l’enfant construit sa maîtrise grammaticale pas à pas, à travers la sédimentation statistique et l’analogie distribuée issue des interactions communicatives quotidiennes.

6. « Rethinking Innateness » (1996) et le paradigme émergentiste

6.1 Genèse et portée de l’ouvrage collectif

En 1996, les éditions du MIT Press publient un ouvrage qui allait redéfinir en profondeur le paysage des sciences du développement : Rethinking Innateness: A Connectionist Perspective on Development. Coécrit par un collectif exceptionnel réunissant Jeffrey Elman, Elizabeth Bates, Mark H. Johnson, Annette Karmiloff-Smith, Domenico Parisi et Kim Plunkett, cet opus monumental est le fruit de plusieurs années de séminaires et de collaborations interdisciplinaires intenses.

L’ouvrage est conçu comme une réponse théorique et empirique majeure au nativisme radical alors triomphant, popularisé auprès du grand public par Steven Pinker dans son best-seller The Language Instinct (1994) et défendu philosophiquement par Jerry Fodor. Pinker et ses pairs soutenaient l’hypothèse d’une architecture cognitive rigoureusement modulaire, où chaque domaine de la compétence humaine (reconnaissance des visages, grammaire, théorie de l’esprit) découlerait de programmes génétiques spécifiques ayant sélectionné des circuits cérébraux pré-câblés au cours de l’évolution des hominidés.

Elman et ses coauteurs ne réfutent pas l’existence de contraintes biologiques fondamentales, mais ils attaquent sans concession la métaphore néo-cartésienne du gène comme plan architectural complet pré-câblant des représentations mentales complexes. S’appuyant sur les découvertes les plus récentes de l’embryologie, de la génétique moléculaire et des neurosciences développementales, ils démontrent qu’il n’y a tout simplement pas assez de matériel génétique dans le génome humain pour encoder les connexions synaptiques précises du cortex cérébral. Dès lors, le problème scientifique n’est pas de savoir si le langage est inné ou acquis, mais d’élucider la nature exacte des contraintes qui canalisent le développement ontogénétique.

6.2 La typologie tripartite des contraintes innées

L’apport conceptuel le plus pérenne de Rethinking Innateness réside dans l’élaboration d’une typologie tripartite rigoureuse des contraintes biologiques innées, permettant de remplacer les invocations vagues de l’« instinct » par des mécanismes mécanistiques vérifiables :

• 1. Les contraintes chronotopiques (temporelles) : Elles concernent le calendrier génétique du développement (l’hétérochronie). La régulation de la prolifération cellulaire, de la synaptogenèse, de l’élagage synaptique et de la myélinisation s’effectue selon un rythme temporel strictement coordonné dans différentes aires cérébrales. Une infime modification dans la chronologie de ces événements de maturation suffit à reconfigurer radicalement les compétences cognitives finales, car certaines aires matures traitent l’environnement avant d’autres.
• 2. Les contraintes architecturales : Elles renvoient à la forme et à la connectivité structurelle du cerveau au niveau cellulaire et mésoscopique : la composition laminaire des colonnes corticales, la densité des connexions locales par rapport aux faisceaux à longue distance, le type de transmetteurs synaptiques ou encore le degré d’inhibition latérale. Ces contraintes déterminent le style de calcul d’une aire cérébrale (par exemple, haute résolution spatiale versus intégration multimodale rapide) sans pour autant déterminer les représentations qu’elle hébergera.
• 3. Les contraintes représentationnelles : Elles stipuleraient que le génome pré-câble à la naissance des représentations spécifiques d’objets, de morphèmes ou de règles grammaticales précises dans les circuits corticaux. Elman et ses collègues démontrent que cette troisième catégorie est virtuellement inexistante dans le cortex humain. S’il existe des représentations innées précâblées dans les circuits sous-corticaux primitifs (comme le réflexe de succion ou la réponse de sursaut), le néocortex se caractérise au contraire par une omnipotence plastique et une capacité phénoménale d’auto-organisation face aux stimuli expérientiels.

Cette distinction révolutionnaire met fin au mirage de la grammaire universelle génétiquement inscrite : le cerveau n’a pas besoin de naître avec les règles de la syntaxe ; il lui suffit de naître avec une architecture d’apprentissage plastique soumise à un calendrier de maturation temporelle calibré pour interagir avec un environnement social riche en régularités statistiques.

6.3 La notion d’émergence en sciences cognitives

Au cœur de l’épistémologie d’Elman se trouve le concept d’émergence. Emprunté à la physique des systèmes complexes et à la théorie du chaos déterministe, l’émergentisme stipule que des structures macroscopiques hautement organisées et qualitatives peuvent naître spontanément d’interactions microscopiques simples et non linéaires, sans qu’aucun agent central ni plan directeur ne contienne la maquette finale.

Cette approche dépasse le faux débat entre l’empirisme béhavioriste naïf (qui conçoit l’esprit comme une page blanche passive) et le nativisme génétique rigide (qui voit l’esprit comme un automate pré-câblé) en s’appuyant sur l’épigénèse probabiliste, un cadre biologique théorisé par Gilbert Gottlieb. Le développement cognitif n’est pas une simple lecture d’un code génétique linéaire, mais une trajectoire dynamique co-construite à chaque instant par les rétroactions mutuelles entre les gènes, l’activité neuronale spontanée, la motricité corporelle et l’environnement socioculturel.

L’impact de cette conceptualisation sur la compréhension de la spécialisation cérébrale est profond. Alors que la neuropsychologie fodorienne postulait des modules innés préexistants dès le départ, Elman et Annette Karmiloff-Smith introduisent le concept de modularisation progressive :

• Le cerveau du nouveau-né ne commence pas par être modulaire ; il le devient au cours de son développement.
• Des aires cérébrales initialement multipotentielles se spécialisent progressivement sous l’effet conjugué des contraintes architecturales initiales et des flux d’information spécifiques qu’elles traitent préférentiellement.
• L’aire de Broca ou l’aire visuelle des mots (VWFA) ne sont pas des puces électroniques gravées génétiquement pour la grammaire ou la lecture, mais le produit optimal d’une dynamique auto-organisatrice qui canalise ces fonctions dans ces zones précises en raison de leur connectivité globale.

7. L’hypothèse du « Starting Small » et les contraintes de maturation

7.1 L’article de 1993 : « Learning and development in neural networks »

En 1993, Jeffrey Elman publie dans la revue Cognition une étude expérimentale magistrale intitulée « Learning and development in neural networks: The importance of starting small », qui illustre à la perfection la puissance opérationnelle du paradigme émergentiste. Cette recherche est née d’un échec expérimental initial particulièrement instructif.

Cherchant à entraîner un grand réseau récurrent simple doté d’une importante capacité de mémoire de travail à maîtriser une grammaire artificielle complexe autorisant de multiples propositions relatives imbriquées, Elman constate que le réseau échoue systématiquement à converger. Face à l’immensité combinatoire de la tâche et à l’interférence massive des dépendances lointaines, les gradients d’erreur s’égarent, et le réseau s’enlise inexorablement dans des minima locaux sous-optimaux, incapable de généraliser la structure sous-jacente.

Elman a alors l’intuition de reproduire une limitation biologique bien connue : celle de l’immaturité cognitive du nourrisson. Pourquoi les bébés humains mettent-ils tant de temps à développer leur mémoire de travail et leurs capacités attentionnelles ? Loin d’y voir un défaut évolutif ou un handicap passager, Elman s’inspire de l’hypothèse « Less is More » formulée par la psycholinguiste Elissa Newport en 1990 dans ses études sur l’acquisition du langage des signes et des langues secondes. Newport avait suggéré que les limitations sensorielles et mémorielles de l’enfant constituent en réalité un avantage computationnel protecteur : en limitant la quantité d’informations qu’il peut traiter simultanément, l’enfant est contraint d’extraire des unités élémentaires simples avant de tenter de combiner des blocs plus complexes.

7.2 Les deux voies du « Starting Small »

Pour tester cette intuition sur le plan computationnel, Elman formalise et compare deux méthodologies distinctes pour guider l’apprentissage du réseau récurrent :

Les résultats de ces simulations sont sans équivoque : dans les deux cas, le réseau réussit brillamment là où le réseau adulte pleinement mature avait échoué. En limitant initialement sa fenêtre temporelle, le réseau est contraint d’apprendre d’abord les corrélations locales immédiates (comme l’accord direct entre un nom et son verbe adjacent). Lorsque sa mémoire s’étend ensuite pour embrasser des dépendances plus éloignées, il a déjà fixé une armature de représentations stables qui lui permet de décomposer la complexité récursive sans être désorienté par le bruit statistique. Elman démontre ainsi que l’imperfection développementale n’est pas une faiblesse : elle constitue le moteur computationnel nécessaire à la réussite de l’apprentissage.

7.3 Débats et réplications ultérieures

L’article de 1993 a suscité un débat passionné et a poussé la communauté connexionniste à des vérifications méthodologiques méticuleuses. En 1999, Douglas Rohde et David Plaut publient un article critique retentissant (« Language acquisition in the absence of explicit morphological cues: More is more »). Rohde et Plaut rapportent qu’en modifiant légèrement certains paramètres architecturaux, notamment en utilisant une variante d’algorithme avec un taux d’apprentissage optimisé et des contextes sémantiques plus riches, des réseaux connexionnistes peuvent parfois apprendre la grammaire sans devoir obligatoirement passer par la phase de restriction de mémoire initiale, suggérant que « More is more » pouvait également s’appliquer selon les conditions d’ingénierie logicielle.

Jeffrey Elman a accueilli ces critiques avec une remarquable rigueur scientifique, publiant des clarifications théoriques nuancées. Il a souligné que l’enjeu central de son travail n’était pas d’affirmer qu’aucun algorithme mathématique ne pourrait jamais résoudre une grammaire sans contrainte, mais d’établir que, dans les conditions écologiques du système nerveux biologique — marqué par un bruit permanent, des ressources métaboliques limitées et un apprentissage en temps réel —, la maturation temporelle offre une solution robuste, naturelle et élégante pour contourner les blocages computationnels.

Au XXIe siècle, l’héritage de cette intuition s’est avéré éclatant. En 2009, le chercheur en intelligence artificielle Yoshua Bengio et son équipe ont formalisé le concept de Curriculum Learning, directement inspiré du « starting small » d’Elman. Le principe selon lequel un modèle d’apprentissage profond doit d’abord être exposé à des exemples simples avant de recevoir des données hautement complexes est aujourd’hui devenu l’un des piliers méthodologiques de l’entraînement des modèles d’IA les plus avancés. De surcroît, le modèle d’Elman continue de servir de paradigme de référence pour éclairer les troubles du neurodéveloppement, tels que les troubles du spectre de l’autisme ou les troubles spécifiques du langage, où une perturbation infime du rythme de maturation synaptique peut altérer en cascade l’ensemble des acquisitions cognitives supérieures.

8. Sémantique dynamique et représentations lexicales

8.1 Les mots en tant que modulateurs d’état mental

Parallèlement à ses percées en syntaxe, Jeffrey Elman a mené une refonte radicale de la sémantique lexicale. Dans la tradition cognitiviste et linguistique dominante, un mot est couramment conçu comme une entrée dans un « lexique mental », analogue à un dictionnaire interne statique. Dans cette vision archivistique, le mot est une étiquette symbolique passive associée à un ensemble de traits sémantiques discrets ou à un pointeur conceptuel invariant stocké dans un casier mémoriel.

Elman s’est insurgé contre cette réification du lexique, proposant une approche radicalement non représentationnelle et dynamique du mot dans des articles fondateurs tels que « Connectionist approaches to language acquisition » et ses écrits ultérieurs sur la dynamique sémantique. Pour Elman :

• Le mot comme opérateur : Un mot n’est pas un objet statique que le cerveau manipule, extrait ou empile. Un mot est un opérateur dynamique qui altère et sculpte l’état interne du système.
• La trajectoire dans l’espace d’états : L’esprit est à tout instant situé dans un état d’activation multidimensionnel. La survenue d’un mot agit comme une force vectorielle qui propulse l’état mental courant vers une nouvelle région du paysage mental, modifiant instantanément son horizon de prédictions et d’attentes.
• L’ancrage situationnel : Le sens d’un mot n’est jamais isolé ; il réside dans l’ensemble des transformations qu’il opère sur le contexte dans lequel il est proféré. Un même mot ne produit jamais deux fois exactement la même transformation mathématique, car le contexte d’arrivée n’est jamais identique au précédent.

Cette vision dynamique du mot s’articule directement avec la sémantique cognitive développée par George Lakoff, Ronald Langacker et Leonard Talmy. Tout comme pour la sémantique de la gestalt et de l’incarnation, le sens linguistique n’est pas une vérité propositionnelle abstraite régie par des conditions de vérité logiques, mais une modulation phénoménale et incarnée de la disposition à agir, à anticiper et à percevoir le monde.

8.2 La sémantique distributionnelle et vectorielle précoce

L’une des contributions les plus prophétiques de Jeffrey Elman est d’avoir été l’artisan pionnier de la sémantique distributionnelle computationnelle et des représentations vectorielles denses (embeddings). En s’appuyant sur l’aphorisme célèbre du linguiste britannique John Rupert Firth (1957) — « You shall know a word by the company it keeps » (On connaît un mot par la compagnie qu’il fréquente) —, Elman a été le premier à prouver expérimentalement comment un réseau de neurones artificiels peut déduire des géométries sémantiques subtiles à partir de la seule co-occurrence statistique prédictive des formes lexicales dans un flux temporel.

Dans ses expériences de 1990 et de la décennie suivante, le réseau ne disposait d’aucune information visuelle ou sensorimotrice externe pour comprendre ce qu’était un « chien » ou un « rocher ». Pourtant, parce que le mot « chien » apparaissait après des verbes comme « mordre », « courir », « aboyer » ou « nourrir », tandis que le mot « rocher » apparaissait après « jeter », « casser » ou « rouler », l’espace vectoriel interne du réseau a regroupé ces concepts dans des zones topologiques distinctes mais dotées de métriques de proximité précises. Elman a ainsi démontré que :

• La polysémie d’un mot est naturellement résolue par la déformation continue de son vecteur en fonction du contexte antécédent, sans nécessiter d’entrées lexicales dupliquées pour chaque acception.
• La métaphore et l’analogie émergent spontanément de la proximité géométrique de trajectoires au sein de l’espace vectoriel d’activation.
• La flexibilité contextuelle du sens chez l’adulte — où un même terme adopte une tonalité sémantique différente selon l’interlocuteur ou la situation — découle naturellement de la nature non linéaire des attracteurs synaptiques.

Vingt-trois ans avant l’explosion de modèles tels que Word2Vec (développé par Tomas Mikolov chez Google en 2013) ou GloVe (Pennington et al., 2014), Jeffrey Elman avait déjà inventé et théorisé le principe fondamental qui régit l’ensemble de la sémantique vectorielle contemporaine : la projection des relations sémantiques sous la forme de distances et de directions vectorielles continues générées par une tâche d’auto-prédiction contextuelle.

9. Contributions à la psycholinguistique expérimentale

9.1 Le traitement du langage en temps réel (Online Processing)

Jeffrey Elman n’a jamais conçu ses modèles computationnels comme de simples exercices mathématiques désincarnés ; ils étaient pour lui des hypothèses fonctionnelles rigoureuses destinées à être testées contre les comportements humains en temps réel. C’est pourquoi son influence sur la psycholinguistique expérimentale contemporaine a été déterminante, en particulier dans le domaine du traitement du langage en ligne (online language processing).

Jusqu’aux années 1990, le modèle dominant d’analyse syntaxique chez l’adulte reposait sur l’hypothèse d’une analyse étapiste et modulaire (notamment incarnée par le modèle Garden-Path de Lyn Frazier). Selon cette approche, face à une phrase syntaxiquement ambiguë comme :

« The horse raced past the barn fell » (Le cheval couru devant la grange est tombé),

un analyseur syntaxique autonome applique aveuglément des principes formels économiques (comme l’attachement minimal) pour interpréter initialement « raced » comme le verbe principal de la proposition. Lorsque l’analyseur heurte le mot final « fell », il échoue, déclenche une rupture de traitement et est contraint d’engager un réanalyse coûteux.

Jeffrey Elman a défendu une vision radicalement inverse : le traitement du langage humain s’effectue par intégration immédiate, continue et parallèle de contraintes multiples (constraint-satisfaction models). Grâce au suivi des mouvements oculaires (eye-tracking) lors de la lecture et dans des paradigmes de monde visuel (visual world paradigm), les psycholinguistes ont constaté que le système cognitif n’attend pas d’arriver à la fin d’une phrase pour résoudre une ambiguïté. Si le sujet de la phrase est un nom inanimé incapable d’effectuer l’action par lui-même :

« The apple fell from the basket was rotten »,

le regard du lecteur ne manifeste aucun effet de « garden-path », car les contraintes sémantiques et thématiques de l’inanimé « pomme » bloquent immédiatement l’interprétation d’agent actif au profit d’une proposition passive réduite. Les réseaux récurrents d’Elman simulaient parfaitement ces patrons de temps de lecture milliseconde par milliseconde. En calculant en temps réel la distribution probabiliste des suites possibles à chaque mot, le réseau prédit précisément l’ampleur du coût cognitif humain face à des configurations inattendues, démontrant que le cerveau utilise activement l’ensemble des contraintes sémantiques, syntaxiques et discursives disponibles pour anticiper en permanence le déroulement du signal.

9.2 L’interaction entre modèles computationnels et neurophysiologie

L’engagement d’Elman dans l’étude des fondements physiologiques de la cognition l’a conduit à nouer des collaborations étroites avec des pionnières de l’électrophysiologie cognitive, notamment Marta Kutas à l’UCSD, célèbre pour sa codécouverte du potentiel évoqué N400.

L’onde N400 est une déflexion négative du potentiel électroencéphalographique survenant environ 400 millisecondes après la présentation d’un mot qui viole les attentes sémantiques du contexte (par exemple, « Il prend son café avec du lait et du chausson »). Elman et ses collègues ont apporté une modélisation computationnelle élégante de ce marqueur neurophysiologique :

• L’amplitude de l’onde N400 correspond directement à la quantité de surprise informationnelle ou d’erreur de prédiction vectorielle générée par le mot entrant au sein de l’état caché du réseau récurrent.
• De même, la composante P600, traditionnellement interprétée comme un indice d’infraction purement syntaxique par les générativistes, a pu être rethéorisée comme le coût de réorganisation structurelle de l’espace d’états lorsqu’une trajectoire dynamique doit franchir une barrière d’attraction pour s’adapter à une séquence inattendue mais grammaticalement valide.

Parallèlement, Elman a profondément influencé la neuropsychologie de l’aphasiologie. En collaboration avec Elizabeth Bates, il a contesté la dichotomie classique établie au XIXe siècle entre l’aphasie de Broca (présentée comme un déficit purement syntaxique) et l’aphasie de Wernicke (présentée comme un déficit purement lexical). En simulant des lésions cérébrales par l’introduction de bruit aléatoire ou la destruction graduelle d’unités au sein de réseaux récurrents simples entraînés, Elman et Bates ont reproduit les dissociations observées chez les patients cérébrolésés. Ils ont démontré qu’une lésion diffuse touchant le traitement temporel dégrade préférentiellement les marqueurs morphosyntaxiques complexes sans qu’il soit nécessaire d’invoquer la destruction d’un « module syntaxique » autonome. Ces résultats ont validé expérimentalement l’interdépendance organique profonde entre le vocabulaire et la grammaire au sein d’une architecture distribuée partagée.

10. Le rôle institutionnel et le mentorat de Jeffrey Elman

10.1 Bâtisseur des sciences cognitives à l’échelle mondiale

L’ampleur de l’impact scientifique d’un chercheur ne se mesure pas seulement au nombre de ses articles ou de ses citations, mais également à sa capacité à forger de nouveaux écosystèmes institutionnels durables. Jeffrey Elman a été sans conteste l’un des plus grands bâtisseurs institutionnels de la science contemporaine. À une époque où les universités mondiales demeuraient solidement retranchées derrière les frontières disciplinaires héritées du XIXe siècle — la psychologie ignorant l’informatique, les départements de linguistique rejetant les neurosciences —, Elman a œuvré inlassablement pour abattre ces cloisons.

En cofondant et en développant le département de sciences cognitives de l’UCSD, il a posé les bases d’un nouveau modèle pédagogique et épistémologique. Il a conçu des maquettes d’enseignement révolutionnaires où les étudiants devaient obligatoirement valider des compétences solides en programmation informatique, en calcul matriciel, en neuroanatomie clinique, en modélisation connexionniste, en linguistique formelle et en philosophie de l’esprit. Ce modèle d’intégration radicale, d’abord regardé avec scepticisme par les traditionalistes, a rapidement suscité l’admiration générale avant d’être essaimé et copié par les plus prestigieuses universités d’Amérique du Nord, d’Europe et d’Asie.

Elman s’est également distingué par son habileté à financer et à structurer des consortiums de recherche interdisciplinaires de classe mondiale. À la tête du Center for Research in Language et plus tard comme doyen des sciences sociales, il a soutenu l’acquisition de plateformes technologiques de pointe — des premiers systèmes d’imagerie par résonance magnétique fonctionnelle (IRMf) dédiés à la cognition humaine jusqu’aux calculateurs parallèles haute performance —, tout en préservant un esprit de convivialité démocratique et de partage intellectuel qui caractérisait la culture du campus de La Jolla.

10.2 Transmission académique et formation de chercheurs majeurs

L’héritage d’Elman est également magnifié par sa posture de mentor dévoué, généreux et d’une exceptionnelle bienveillance intellectuelle. Loin de chercher à s’entourer de disciples dociles répétant ses thèses, Jeffrey Elman encourageait systématiquement ses doctorants et chercheurs post-doctoraux à interroger ses propres modèles, à explorer des pistes divergentes et à tester des architectures alternatives.

Parmi les générations de chercheurs qu’il a formés et inspirés se trouvent de futures figures de proue internationales de la psycholinguistique computationnelle, de la modélisation connexionniste et de la neuro-imagerie :

• Ken McRae (spécialiste de la sémantique computationnelle et des représentations conceptuelles) ;
• Morten Christiansen (théoricien de l’évolution du langage et de l’apprentissage séquentiel à Cornell University) ;
• Bob McMurray (pionnier du traitement lexical en temps réel et de la dynamique de l’audition) ;
• Franklin Chang (développeur de modèles connexionnistes avancés de la production syntaxique).

Elman a également été un pionnier dans la démocratisation des outils de recherche computationnelle. À une époque où la simulation de réseaux de neurones exigeait des compétences logicielles complexes en programmation C sous environnement Unix, il a co-développé et mis à disposition gratuitement le logiciel pédagogique Tlearn (accompagné d’un manuel d’exercices pratiques destiné aux étudiants). Cet outil intuitif a permis à des milliers d’étudiants et de chercheurs à travers le monde, qui n’avaient pas de formation initiale en informatique lourde, d’expérimenter directement l’apprentissage récurrent, démocratisant le connexionnisme à l’échelle planétaire.

Enfin, durant son mandat de doyen, il s’est engagé avec passion pour l’équité, la diversité et l’inclusion au sein du corps professoral et des cohortes étudiantes. Il a mis en place des politiques actives de mentorat pour soutenir les carrières des femmes chercheuses et des universitaires issus de minorités sous-représentées dans les filières scientifiques et technologiques (STEM), laissant le souvenir d’un leader académique aussi humain et chaleureux que rigoureux intellectuellement.

11. Débats théoriques et controverses scientifiques

11.1 La confrontation avec le nativisme de Jerry Fodor et Steven Pinker

Le déploiement des travaux de Jeffrey Elman s’est opéré au cœur d’une des batailles épistémologiques les plus intenses de l’histoire des sciences cognitives : le conflit sans merci opposant le paradigme connexionniste aux partisans du calcul symbolique orthodoxe. Dès 1988, les philosophes Jerry Fodor et Zenon Pylyshyn avaient publié un brûlot retentissant (« Connectionism and cognitive architecture: A critical analysis ») affirmant que les réseaux de neurones étaient intrinsèquement incapables d’expliquer les deux propriétés fondamentales de l’esprit humain :

• La productivité : La capacité d’engendrer et de comprendre un nombre infini de pensées ou de phrases nouvelles à partir d’un ensemble fini d’éléments.
• La systématicité : Le principe selon lequel la capacité de penser ou d’énoncer une pensée (par exemple « Jean aime Marie ») implique nécessairement la capacité intrinsèque de comprendre sa contrepartie structurelle (« Marie aime Jean »), en vertu de leur forme propositionnelle combinatoire.

Fodor et Pylyshyn soutenaient que si un réseau de neurones parvenait à simuler ces comportements, ce ne serait qu’en se bornant à implémenter bêtement une architecture symbolique sous-jacente, rendant le niveau neuronal scientifiquement redondant pour la psychologie cognitive.

Jeffrey Elman a apporté une réponse magistrale à ces critiques. À travers ses simulations de SRN, il a prouvé que la systematicité et la productivité peuvent être réalisées par compositionnalité fonctionnelle et géométrique sans nécessiter de compositionnalité concaténative classique. Dans un réseau d’Elman, le vecteur représentant la proposition « Jean aime Marie » n’est pas une simple juxtaposition spatiale des étiquettes « Jean », « aime » et « Marie » ; il est un point précis dans un espace non linéaire qui partage des relations vectorielles métriques mesurables avec le point « Marie aime Jean ». La structure n’a pas besoin de symboles explicites pour être opérante : elle vit dans la topologie des transformations continues.

Une autre controverse majeure a éclaté autour du débat sur la double voie dans la morphologie verbale, mené notamment par Steven Pinker et Gary Marcus. Pinker affirmait que le traitement de la langue anglaise exige deux mécanismes cérébraux dissociés : un système associatif mémoriel pour les formes verbales irrégulières (sing → sang) et un moteur de règles symboliques déterministe pour les formes régulières (walk → walked). Gary Marcus (1998) a vertement critiqué les réseaux connexionnistes, prétendant qu’ils étaient incapables d’extrapoler des règles régulières à des mots présentant des motifs phonologiques entièrement nouveaux, situés « hors de la distribution d’apprentissage » (out of distribution). Elman et ses collègues ont réfuté l’obligation d’un double système computationnel, démontrant qu’un réseau récurrent distribué unique peut intégrer à la fois le traitement des régularités universelles et l’absorption des exceptions historiques à travers une hiérarchie continue de contraintes partagées.

11.2 Limites reconnues et défis computationnels des années 1990

Malgré ses triomphes théoriques indéniables, Jeffrey Elman n’a jamais caché les limitations computationnelles strictes qui pesaient sur son architecture dans les années 1990. Ces limites étaient à la fois théoriques, algorithmiques et matérielles :

Le premier écueil fondamental était le problème de l’évanouissement du gradient (vanishing gradient problem), formalisé mathématiquement par Sepp Hochreiter en 1991 et Yoshua Bengio en 1994. Dans un réseau récurrent simple, lors de la rétropropagation du gradient d’erreur à travers de multiples pas de temps successifs, les gradients subissent des multiplications répétées par les matrices de poids. Si ces poids sont inférieurs à 1, le signal d’erreur s’éteint de manière exponentielle au fur et à mesure que l’on remonte dans le passé ; s’ils sont supérieurs à 1, il explose (exploding gradient). Par conséquent, en pratique, le SRN d’Elman perdait sa capacité de guidage synaptique dès que les dépendances séquentielles dépassaient une douzaine de pas de temps discrets, limitant son aptitude à traiter de très longs discours narratifs.

Le deuxième verrou concernait la taille étriquée des vocabulaires et des corpus utilisés à cette époque :

• En raison de la modestie des puissances de calcul disponibles sur les ordinateurs des années 1980 et 1990, les expériences d’Elman reposaient sur des vocabulaires artificiels de quelques dizaines de mots et des phrases générées par des grammaires formelles closes.
• Les critiques soulignaient à juste titre que la réussite d’un modèle sur un corpus miniature de 29 mots ne garantissait absolument pas son passage à l’échelle (scalability) face au lexique foisonnant, chaotique et illimité d’une véritable langue vivante naturelle parlée par des millions d’individus.
• De plus, l’encodage d’entrée sous forme de vecteurs orthogonaux one-hot imposait un goulet d’étranglement dimensionnel et supposait une séparation préalable des mots, éludant ainsi une partie des défis du traitement du signal vocal brut.

Elman était pleinement lucide face à ces défis de passage à l’échelle. Pour lui, le SRN constituait un modèle de principe (proof of concept) démonstratif, visant à détruire les verrous épistémologiques du dogme générativiste, plutôt qu’une solution d’ingénierie industrielle achevée. Il appelait de ses vœux le développement d’architectures récurrentes plus sophistiquées, dotées de mécanismes de contrôle de flux capables de préserver l’information temporelle sur de très longues échelles.

12. L’héritage intellectuel et technologique à l’ère de l’IA moderne

12.1 De l’Elman Net aux architectures LSTM, GRU et Transformers

Avec le recul historique offert par les décennies récentes, la filiation directe unissant les réseaux récurrents simples de Jeffrey Elman aux triomphes les plus éclatants de l’intelligence artificielle générative moderne apparaît avec une clarté éblouissante. Jeffrey Elman doit être reconnu à sa juste place comme l’un des pères conceptuels fondateurs du traitement automatique du langage naturel moderne (NLP).

Pour résoudre le problème de l’évanouissement du gradient qui bridait le SRN d’Elman, Sepp Hochreiter et Jürgen Schmidhuber ont conçu en 1997 l’architecture LSTM (Long Short-Term Memory), plus tard simplifiée sous la forme du modèle GRU (Gated Recurrent Unit) par Kyunghyun Cho en 2014. Les LSTM ont enrichi la boucle récurrente inventée par Elman en lui adjoignant des « portes » non linéaires (portes d’entrée, d’oubli et de sortie) capables de maintenir l’état cellulaire invariant sur des centaines de pas de temps. Durant deux décennies (des années 1990 jusqu’à la fin des années 2010), les réseaux de neurones récurrents de type Elman et LSTM ont constitué le moteur exclusif de tous les systèmes de reconnaissance vocale (comme Apple Siri), de traduction automatique (comme Google Translate) et de modélisation linguistique séquentielle.

En 2017, la publication de l’article révolutionnaire de Vaswani et al. (« Attention Is All You Need ») introduit l’architecture des Transformers, qui a donné naissance aux grands modèles de langage contemporains (Large Language Models ou LLM) tels que GPT-4, Claude ou LLaMA. Bien que les Transformers remplacent la boucle de récursion temporelle pas-à-pas par un mécanisme d’attention spatialisé et parallélisable sur de gigantesques grappes de processeurs graphiques (GPU), leur principe moteur fondamental demeure une réplication à échelle planétaire de la vision inaugurée par Jeffrey Elman en 1990 :

• La prédiction du mot suivant comme tâche d’auto-supervision universelle : Tout comme le réseau récurrent de 1990 apprenait à segmenter la grammaire sans supervision en prédisant la lettre ou le mot suivant dans un flux de texte, les modèles d’IA les plus avancés d’aujourd’hui ne font rien d’autre que d’optimiser la prédiction auto-régressive du prochain token sur des milliards de documents textuels.
• L’émergence des concepts dans des espaces géométriques latents : La capacité ahurissante des LLM modernes à déduire la syntaxe, le raisonnement logique élémentaire, le code informatique et les rôles sémantiques sans programmation formelle valide de manière éclatante l’hypothèse centrale d’Elman : la régularité statistique massive injectée dans une architecture connexionniste vectorielle suffit à faire émerger la structure abstraite du monde.

Jeffrey Elman avait vu juste avec trente ans d’avance : le langage naturel ne requiert pas un algorithme génératif symbolique ; il est le fruit de la compression prédictive de la temporalité de l’information.

12.2 Résonance contemporaine en neurosciences computationnelles

L’héritage d’Elman est tout aussi vibrant au sein des neurosciences computationnelles théoriques. L’une des théories neurobiologiques les plus influentes du XXIe siècle, le codage prédictif (Predictive Coding) et le principe de l’énergie libre formulés par Karl Friston, ainsi que les travaux d’Andy Clark sur le cerveau prédictif (The Predictive Mind), plongent leurs racines les plus solides dans le paradigme inauguré par Jeffrey Elman.

Dans ce cadre neurocomputationnel unifié :

• Le cerveau n’est plus envisagé comme un récepteur passif qui attend d’être stimulé par le monde pour enregistrer des informations, mais comme un moteur d’inférence active (active inference engine).
• Le cortex projette en permanence des prédictions descendantes (top-down) sur les flux sensoriels entrants et n’utilise les signaux ascendants (bottom-up) que pour calculer des erreurs de prédiction servant à corriger ses modèles internes.
• Cette conception est l’exacte réplique de l’architecture du réseau récurrent d’Elman, où l’état caché contextuel formule à chaque instant une attente prédictive sur l’état futur immédiat.

Par ailleurs, les modèles récurrents d’Elman demeurent aujourd’hui l’un des outils de référence les plus performants pour modéliser l’activité dynamique du cortex préfrontal dans les tâches de prise de décision, de contrôle temporel et de maintien de la mémoire de travail chez les primates. Les neurophysiologistes contemporains observent couramment que des populations entières de neurones préfrontaux et temporaux forment des trajectoires de dimension réduite au sein d’un espace d’états continu, évoluant le long d’attracteurs dynamiques exactement similaires à ceux qu’Elman décrivait dans ses dendrogrammes et ses projections en composantes principales en 1990.

Enfin, la résurgence spectaculaire de l’émergentisme à travers les avancées de l’épigénétique, de la biologie des systèmes et de la neuro-plasticité a définitivement relégué le nativisme génétique rigide au rang d’anachronisme historique. La vision défendue par Jeffrey Elman — celle d’un esprit incarné, plastique, temporellement situé et indissociable de son histoire développementale — n’a jamais été aussi féconde. En nous apprenant à trouver « la structure dans le temps », Jeffrey Locke Elman n’a pas seulement réinventé la modélisation connexionniste : il a offert à l’humanité une clé théorique universelle pour comprendre comment la pensée la plus élaborée jaillit de la matière vivante en constante évolution.

Références

• Bates, E., & Elman, J. L. (1996). Learning reconnection. Nature, 383(6600), 584-585. https://doi.org/10.1038/383584a0
• Bengio, Y., Louradour, J., Collobert, R., & Weston, J. (2009). Curriculum learning. In Proceedings of the 26th annual international conference on machine learning (pp. 41-48). https://doi.org/10.1145/1553374.1553380
• Chomsky, N. (1957). Syntactic Structures. Mouton & Co. https://doi.org/10.1515/9783112316009
• Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179-211. https://doi.org/10.1207/s15516709cog1402_1
• Elman, J. L. (1991). Distributed representations, simple recurrent networks, and grammatical structure. Machine Learning, 7(2-3), 195-225. https://doi.org/10.1007/BF00114844
• Elman, J. L. (1993). Learning and development in neural networks: The importance of starting small. Cognition, 48(1), 71-99. https://doi.org/10.1016/0010-0277(93)90058-4
• Elman, J. L. (1995). Language and space: A cognitive view. In P. Bloom, M. A. Peterson, L. Nadel, & M. F. Garrett (Eds.), Language and Space (pp. 347-384). MIT Press.
• Elman, J. L. (2004). An alternative view of the mental lexicon. Trends in Cognitive Sciences, 8(7), 301-306. https://doi.org/10.1016/j.tics.2004.05.003
• Elman, J. L. (2009). On the meaning of words and dinosaur bones: Lexical knowledge without a lexicon. Cognitive Science, 33(4), 547-582. https://doi.org/10.1111/j.1551-6709.2009.01023.x
• Elman, J. L., Bates, E. A., Johnson, M. H., Karmiloff-Smith, A., Parisi, D., & Plunkett, K. (1996). Rethinking Innateness: A Connectionist Perspective on Development. MIT Press. https://mitpress.mit.edu/9780262550307/rethinking-innateness/
• Fodor, J. A., & Pylyshyn, Z. W. (1988). Connectionism and cognitive architecture: A critical analysis. Cognition, 28(1-2), 3-71. https://doi.org/10.1016/0010-0277(88)90031-5
• Friston, K. (2010). The free-energy principle: A unified brain theory?. Nature Reviews Neuroscience, 11(2), 127-138. https://doi.org/10.1038/nrn2787
• Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735
• Jordan, M. I. (1986). Serial Order: A Parallel Distributed Processing Approach (Institute for Cognitive Science Report No. 8604). University of California, San Diego.
• Marcus, G. F. (1998). Rethinking eliminative connectionism. Cognitive Psychology, 37(3), 243-282. https://doi.org/10.1006/cogp.1998.0694
• Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781. https://arxiv.org/abs/1301.3781
• Newport, E. L. (1990). Maturational constraints on language learning. Cognitive Science, 14(1), 11-28. https://doi.org/10.1207/s15516709cog1401_2
• Pinker, S. (1994). The Language Instinct: How the Mind Creates Language. William Morrow & Co. https://doi.org/10.1037/e412952005-009
• Rohde, D. L., & Plaut, D. C. (1999). Language acquisition in the absence of explicit morphological cues: More is more. Cognition, 72(1), 67-109. https://doi.org/10.1016/S0010-0277(99)00031-7
• Rumelhart, D. E., McClelland, J. L., & the PDP Research Group. (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition (Vols. 1-2). MIT Press. https://mitpress.mit.edu/9780262680530/parallel-distributed-processing/
• Saffran, J. R., Aslin, R. N., & Newport, E. L. (1996). Statistical learning by 8-month-old infants. Science, 274(5294), 1926-1928. https://doi.org/10.1126/science.274.5294.1926
• Tomasello, M. (2003). Constructing a Language: A Usage-Based Theory of Language Acquisition. Harvard University Press. https://www.hup.harvard.edu/books/9780674017641
• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems (Vol. 30, pp. 5998-6008). https://arxiv.org/abs/1706.03762