Kosslyn Les Expériences de la Théorie du Double Codage – Allan Paivio L’Image

L’exploration des architectures internes de l’esprit humain a longtemps oscillé entre le primat accordé au verbe et la prégnance phénoménologique de la vision. Au cœur des sciences cognitives modernes, la question de la nature du format représentationnel constitue l’une des controverses les plus fécondes du XXe siècle. Comment l’esprit encode-t-il, conserve-t-il et manipule-t-il le réel ? L’intelligence se réduit-elle à une manipulation formelle de symboles abstraits et amodaux s’apparentant à un langage logique, ou mobilise-t-elle des simulations analogiques préservant la structure métrique et perceptive du monde physique ? Cette interrogation a trouvé ses formulations théoriques et expérimentales les plus abouties dans les travaux croisés de deux figures majeures de la psychologie cognitive : Allan Paivio et Stephen Kosslyn.

D’un côté, Allan Paivio a posé les fondations de la théorie du double codage (Dual Coding Theory, ou DCT), proposant une partition structurelle et fonctionnelle de la mémoire humaine en deux sous-systèmes indépendants mais interconnectés : l’un verbal, régi par les logogens, et l’autre non verbal, articulé autour des imagens. En explorant la puissance mnésique de l’image (« The Picture ») et le célèbre effet de supériorité de l’image (Picture Superiority Effect), Paivio a démontré que l’esprit humain n’est pas une machine textuelle unifiée, mais un système hybride tirant son efficacité de la redondance figurative. De l’autre côté, Stephen Kosslyn a transformé cette intuition structurale en une théorie computationnelle et dynamique de l’imagerie mentale visuelle, introduisant des paradigmes chronométriques rigoureux — au premier rang desquels le balayage mental (mental scanning) — pour prouver que les représentations visuelles possèdent des propriétés spatiales intrinsèques, quasi-picturales, ancrées dans la topographie neuronale du cortex cérébral.

Ce traité se propose d’analyser l’édification de ces deux paradigmes fondamentaux, d’en disséquer les protocoles expérimentaux, d’évaluer le grand débat théorique qui les a opposés aux tenants du réductionnisme propositionnel, et d’examiner leur résonance contemporaine au sein des neurosciences cognitives, de la pédagogie multimédia et de l’intelligence artificielle générative.

1. Fondements épistémologiques et émergence de la cognition visuelle

1.1 La rupture avec le béhaviorisme et la réhabilitation de l’image mentale

Le statut épistémologique des représentations internes a connu une éclipse majeure durant la première moitié du XXe siècle sous l’hégémonie du béhaviorisme radical. Pour des théoriciens comme John B. Watson et plus tard B.F. Skinner, l’esprit humain était assimilé à une « boîte noire » dont l’exploration introspective relevait du non-sens scientifique. Watson proclamait explicitement que la pensée n’était rien d’autre qu’un discours sub-vocal, réduisant toute activité cognitive à des micromouvements musculaires du larynx. Dans ce paradigme stimulus-réponse (S-R), l’image mentale était reléguée au rang d’illusion subjective, d’épiphénomène mystique dépourvu de toute efficacité causale et impropre à la vérification empirique intersubjective.

La révolution cognitive des années 1950 et 1960, catalysée par la théorie de la communication de Claude Shannon, la linguistique générative de Noam Chomsky et la publication de l’ouvrage séminal d’Ulric Neisser, Cognitive Psychology (1967), a brisé ce carcan positiviste. Il devenait impératif de postuler des structures de traitement internes pour expliquer la complexité des comportements humains, la mémoire et l’acquisition du langage. Cependant, les premiers modèles de cette révolution cognitive étaient profondément imprégnés par la métaphore de l’ordinateur de von Neumann : l’esprit était conçu comme un processeur séquentiel manipulant des chaînes de symboles logiques et discrets. L’image, dans sa nature continue et analogique, demeurait suspecte.

La légitimation scientifique de l’image mentale a nécessité l’invention d’outils méthodologiques novateurs capables de mesurer indirectement, mais avec une précision absolue, les opérations mentales invisibles. L’émergence des paradigmes chronométriques — inspirés des travaux pionniers de Franciscus Donders au XIXe siècle et réactivés par Saul Sternberg — a permis de substituer à l’introspection naïve des mesures rigoureuses de temps de réaction (TR) et de taux d’erreur. Les expériences fondatrices de Roger Shepard et Jacqueline Metzler (1971) sur la rotation mentale d’objets tridimensionnels ont apporté la preuve irréfutable que les représentations internes pouvaient être transformées de façon continue dans un espace psychologique isomorphe à l’espace physique, ouvrant la voie à une réévaluation complète de la cognition visuelle.

1.2 Les postulats initiaux d’Allan Paivio au sein de la psychologie cognitive

C’est dans ce contexte de renouvellement théorique qu’Allan Paivio formule, dès la fin des années 1960 à l’Université de Western Ontario, une critique systématique des approches computo-propositionnelles monistes de la mémoire. À cette époque, des chercheurs tels que John Anderson et Gordon Bower développaient des modèles de mémoire sémantique reposant exclusivement sur des réseaux de propositions abstraites — des triplets prédicat-arguments indépendants de toute modalité sensorielle. Selon ces monistes, qu’un individu voie un arbre ou lise le mot « arbre », l’esprit stockerait l’information sous une forme symbolique identique, telle que ARBRE(X).

Paivio a rejeté cette simplification réductionniste en affirmant la nécessité d’une dualité structurelle et fonctionnelle du système cognitif humain. Ses observations empiriques sur l’apprentissage verbal montraient de façon constante que la nature du matériel mnésique influençait drastiquement les performances de rétention, ce qu’une théorie unitaire propositionnelle était incapable de justifier sans adjoindre des hypothèses ad hoc complexes. Pour Paivio, l’architecture de la mémoire humaine reflète l’histoire évolutive de notre espèce : notre cerveau a d’abord développé des systèmes d’analyse et de stockage des données perceptives et motrices de l’environnement physique bien avant l’apparition tardive du langage articulé.

La publication en 1971 de son ouvrage magistral, Imagery and Verbal Processes, a marqué l’acte de naissance officiel de la théorie du double codage. Paivio y a établi une distinction rigoureuse entre la modalité de présentation d’un stimulus (auditif, visuel, haptique) et le format de stockage cognitif au sein de la mémoire à long terme. L’esprit ne convertit pas systématiquement le sensoriel en abstrait ; il maintient des traces mnésiques spécifiques conservant l’empreinte de la modalité d’origine, instaurant ainsi une scission fonctionnelle entre codes symboliques verbaux et codes analogiques non verbaux.

1.3 L’intégration ultérieure des travaux de Stephen Kosslyn

Tandis qu’Allan Paivio concevait l’imagerie principalement sous l’angle de la structure de stockage au sein de la mémoire sémantique et épisodique, Stephen Kosslyn, à partir du milieu des années 1970 à l’Université Harvard, a déplacé le foyer de la recherche vers la dynamique opérationnelle de la mémoire de travail visuelle. Kosslyn a constaté que la théorie du double codage, bien que robuste pour expliquer les taux de rappel différentiels, manquait d’une formalisation micro-structurelle permettant de décrire précisément comment une image mentale est générée, inspectée, agrandie ou balayée dans l’espace mental en temps réel.

S’inspirant des théories computationnelles naissantes de la vision, notamment celles formulées par David Marr au MIT, Kosslyn s’est donné pour objectif d’élaborer une mécanique rigoureuse de la simulation spatiale interne. Il a formulé des hypothèses géométriques précises : si les représentations visuelles internes possèdent une nature véritablement spatiale et non purement propositionnelle, alors les opérations effectuées sur ces représentations doivent être contraintes par des variables métriques telles que la distance, la résolution et la surface.

L’intégration des travaux de Kosslyn a ainsi complété l’édifice de Paivio en jetant un pont théorique entre le codage symbolique de la mémoire et la spatialité phénoménologique de l’expérience consciente. Kosslyn a démontré que l’image mentale n’est pas un simple descripteur statique stocké passivement dans un registre cérébral, mais une configuration spatiale active générée au sein d’un milieu analogique dédié, doté de propriétés géométriques fonctionnelles vérifiables par la chronométrie mentale.

2. L’architecture fondamentale de la théorie du double codage d’Allan Paivio

2.1 Le sous-système non verbal et les imagens

Au cœur de la théorie du double codage se trouve l’hypothèse de deux sous-systèmes cognitifs autonomes mais étroitement coordonnés. Le premier est le sous-système non verbal, dédié au traitement et à la conservation des informations perceptives et spatiales. L’unité structurale élémentaire de ce sous-système est désignée par Paivio sous le néologisme d’imagen (pluriel : imagens). Les imagens ne sont pas des photographies microscopiques imprimées dans le tissu cérébral, mais des représentations analogiques qui préservent de manière continue les relations spatiales, chromatiques et dynamiques des objets perçus.

Le traitement au sein du sous-système des imagens se caractérise par sa nature holistique, spatiale et continue. Contrairement au langage qui découpe le réel en segments arbitraires, l’imagen encode l’information de façon globale et synchrone. Lorsqu’un sujet se représente mentalement la façade d’une maison, les composantes telles que le toit, les fenêtres et la porte sont intégrées dans un cadre de référence spatial unifié où les relations topologiques de contiguïté, de distance relative et de proportion sont maintenues de manière intrinsèque.

De surcroît, le registre des imagens présente une organisation hiérarchique en « parties-tout ». Une imagen globale (par exemple, une bicyclette) peut activer des sous-imagens composantes (le guidon, les rayons, les pédales) en fonction du focus attentionnel du sujet. Bien que l’imagerie visuelle constitue la composante la plus étudiée de ce registre, Paivio insiste sur le fait que le sous-système non verbal intègre des afférences sensorielles hétérogènes : des imagens acoustiques (le rugissement d’un moteur, le chant d’un merle), des imagens haptiques (la rugosité du papier de verre) et des composantes kinesthésiques ou motrices liées à l’action corporelle.

2.2 Le sous-système verbal et les logogens

Le second pilier de l’architecture de Paivio est le sous-système verbal, spécialisé dans le traitement du langage naturel et des symboles arbitraires. Son unité structurale de base est le logogen, un terme emprunté et adapté des travaux de John Morton. Les logogens représentent des unités cognitives qui stockent les propriétés lexicales, phonologiques, syntaxiques et morphologiques des mots. Ils constituent l’infrastructure permettant la réception et la production des formes linguistiques orales et écrites.

Le mode opératoire du sous-système verbal est fondamentalement séquentiel, linéaire et temporellement discret. Le langage se déploie inexorablement dans une dimension unidimensionnelle : un mot succède à un autre mot selon les contraintes rigoureuses de la syntaxe. Contrairement à l’accès synchrone permis par l’imagen, l’accès à l’information logogène requiert un traitement itératif successif. Par exemple, la proposition « Le chat noir poursuit la souris grise » exige une intégration ordonnée de chaque unité lexicale pour que la signification sémantique globale puisse être calculée.

Ce sous-système maintient des liens étroits avec la boucle articulatoire et les mécanismes de programmation motrice de la parole. Les logogens ne conservent pas d’analogie physique avec les entités du monde qu’ils désignent : le mot « baleine » est plus court que l’expression « colibri à gorge rubis », illustrant l’arbitraire du signe linguistique tel que théorisé par Ferdinand de Saussure. Le traitement y est gouverné par des règles combinatoires formelles et des taxonomies hiérarchiques abstraites plutôt que par des contraintes topologiques directes.

2.3 Interactions structurales : connexions associatives et référentielles

La puissance explicative de la théorie du double codage réside dans l’agencement sophistiqué des liaisons qui unissent et traversent ces deux répertoires de représentations. Paivio postule l’existence de trois niveaux de traitement cognitif, déterminés par la nature des connexions activées :

• Le niveau représentationnel : correspond à l’activation directe et immédiate des représentations internes par les stimuli environnementaux correspondants. La perception d’un dessin de chien active le système des imagens, tandis que la lecture du vocable « chien » déclenche l’activation du réseau des logogens.
• Les connexions associatives (intra-système) : opèrent à l’intérieur d’un même sous-système. Au sein du système verbal, un logogen peut en activer un autre par contiguïté sémantique ou syntaxique (par exemple, le mot « table » évoquant « chaise » ou « bois »). Au sein du système non verbal, une imagen peut activer d’autres imagens par association spatiale ou contextuelle (l’imagen d’une tasse à café évoquant celle d’une cafetière fumante).
• Les connexions référentielles (inter-systèmes) : constituent les ponts fonctionnels assurant la communication bidirectionnelle entre le verbal et le non verbal. L’imagerie mentale provoquée par un mot correspond au passage d’un logogen vers une imagen (« imaginez une girafe »), tandis que la dénomination verbale d’une forme perceptive représente le transfert d’une imagen vers un logogen (reconnaître visuellement un instrument et prononcer « marteau »).

Il est crucial de souligner que ces deux canaux jouissent d’une autonomie fonctionnelle relative. Un sous-système peut fonctionner de manière totalement isolée sans solliciter l’autre : nous pouvons exécuter des calculs logiques ou réciter une poésie par pur automatisme verbal sans convoquer la moindre image mentale, tout comme nous pouvons naviguer spatialement dans un sentier de forêt complexe ou assembler un puzzle sans verbaliser intérieurement nos actions. Toutefois, lorsque les deux systèmes collaborent synergiquement par le biais des connexions référentielles, la puissance de traitement et la probabilité de rappel mnésique sont démultipliées.

3. Le concept de « L’Image » (The Picture) chez Allan Paivio

3.1 Nature phénoménologique et fonctionnelle des représentations visuelles

Pour Allan Paivio, le concept de « L’Image » (The Picture) transcende la simple reproduction passive de la réalité. L’image mentale est définie fonctionnellement comme un isomorphisme de second ordre avec les structures perceptives directes. Cette notion, ultérieurement raffinée par Roger Shepard, implique que les relations fonctionnelles entre les composantes d’une image mentale reflètent fidèlement les relations physiques mesurables entre les composantes de l’objet réel perçu, sans pour autant exiger qu’une image matérielle soit littéralement projetée dans le cerveau.

Cette fidélité analogique s’oppose radicalement à l’arbitraire du signe linguistique. L’image conserve la continuité géométrique, les gradients de texture, les contrastes de luminosité et les rapports dimensionnels. Paivio soutient que cette préservation structurale confère à l’image une densité informationnelle sans commune mesure avec celle du verbe. Lorsqu’un individu est confronté à une image, la richesse des attributs sensoriels captés par le système visuel génère une empreinte mnésique brute profonde et hautement discriminable, là où le texte exige une opération de décodage symbolique préalable souvent réductrice.

Sur le plan phénoménologique, l’expérience visuelle interne n’est pas une simple reconstruction conceptuelle : elle s’accompagne du sentiment vivace de « voir » avec les yeux de l’esprit. Paivio a insisté sur le fait que cette dimension expérientielle n’était pas une illusion trompeuse, mais l’indice direct du fonctionnement d’un registre de traitement biologiquement contraint par l’organisation de notre appareil sensoriel périphérique et central.

3.2 La supériorité mnésique de l’image (Picture Superiority Effect)

L’un des apports expérimentaux les plus incontestables d’Allan Paivio et de ses collaborateurs est l’exploration systématique du Picture Superiority Effect (PSE). Le constat empirique est d’une remarquable universalité : lorsqu’on soumet à des sujets humains des listes d’items présentés soit sous forme de dessins ou de photographies, soit sous forme de mots imprimés correspondants, les stimuli illustrés font systématiquement l’objet d’un rappel libre et d’une reconnaissance statistiquement et substantiellement supérieurs.

Les analyses quantitatives conduites sur des décennies démontrent que cet effet n’est pas une anomalie marginale. Dans des conditions de rappel libre immédiat, les taux de rétention pour les images dépassent fréquemment ceux des mots de 20 à 40 points de pourcentage. Plus frappant encore, cet avantage comparatif s’accroît à mesure que le délai de rétention augmente. Tandis que la trace mnésique des listes verbales subit une dégradation exponentielle rapide après plusieurs jours ou semaines, la mémoire des images picturales manifeste une persistance temporelle remarquable, montrant une résistance exceptionnelle à l’oubli et aux effets de l’interférence rétroactive.

Cet effet transcende les variations sociodémographiques : il s’observe de façon reproductible chez les enfants préverbaux ou scolarisés, chez les adultes de différentes cultures et chez les personnes âgées, attestant du caractère phylogénétiquement primordial de l’encodage visuel par rapport à la maîtrise du registre textuel.

3.3 L’hypothèse du double encodage spontané des stimuli illustrés

Pour expliquer l’effet de supériorité de l’image au sein de son modèle, Paivio a proposé l’hypothèse du double encodage spontané. Le fondement de cette thèse repose sur une asymétrie fondamentale dans la probabilité d’activation des connexions référentielles entre les deux formats de présentation :

Lorsqu’un sujet est exposé à une image concrète (par exemple, le dessin d’un avion), le système cognitif procède instantanément et automatiquement à son encodage dans le sous-système des imagens. Mais l’accès au sens d’une image familière conduit également, de façon quasi irrépressible, à son étiquetage verbal spontané via les connexions référentielles : le sujet nomme sub-vocalement l’objet (« avion »). Par conséquent, l’item illustré bénéficie spontanément et immédiatement d’une double trace mnésique : une trace non verbale analogique (l’imagen) et une trace verbale symbolique (le logogen).

Inversement, lorsqu’un sujet est confronté à un mot concret (le vocable imprimé « avion »), il encode prioritairement et obligatoirement ce stimulus dans le sous-système verbal sous forme de logogen. Bien que la possibilité de générer une image mentale correspondante existe, cette transformation référentielle inverse n’est pas automatique ; elle exige un effort cognitif délibéré, du temps de traitement supplémentaire et dépend fortement de la valeur d’imagerie du terme. Très souvent, en lecture rapide, le mot n’est encodé que sous son seul format linguistique.

La redondance mémorielle résultant de ce double codage spontané offre un avantage probabiliste déterminant lors de la phase de récupération. Lors du rappel, le sujet dispose de deux voies d’accès indépendantes pour retrouver l’information : si la trace verbale a subi une dégradation, la trace visuelle peut permettre la récupération de l’item, et vice-versa. Selon la formule probabiliste élémentaire formalisée par Paivio, si la probabilité de rappel de la trace verbale est $P(V)$ et celle de la trace imagée est $P(I)$, la probabilité combinée de rappel d’un item doublement encodé est $P(Total) = P(V) + P(I) – [P(V) \times P(I)]$, garantissant mathématiquement une performance supérieure au simple encodage unitaire.

4. Les paradigmes expérimentaux initiaux de Paivio

4.1 Protocoles de rappel libre et de reconnaissance d’items imagés versus verbaux

Pour valider expérimentalement l’architecture du double codage, Paivio a développé une série de protocoles standardisés reposant sur la manipulation fine des modalités de présentation. Dans les paradigmes canoniques de rappel libre, des séries d’items — comprenant alternativement des dessins au trait stylisés et des substantifs équivalents — étaient projetées sur écran à des rythmes rigoureusement contrôlés, variant de 100 millisecondes à plusieurs secondes par item.

Ces expériences ont révélé que lorsque le temps d’exposition par item est extrêmement bref (par exemple 200 ms), l’avantage de l’image sur le mot est tempéré par l’impossibilité temporelle pour le sujet de déployer l’étiquetage verbal référentiel. En revanche, dès que la vitesse de présentation atteint 1 à 2 secondes par stimulus, l’effet de supériorité de l’image explose, confirmant que ce délai permet l’achèvement de la double activation imagen-logogen.

De surcroît, les analyses du rappel libre sériel et des indices de regroupement catégoriel (clustering) ont montré que les sujets organisent spontanément leurs rappels de manière différente selon la nature des items. Les listes d’images induisent un regroupement sémantique beaucoup plus puissant que les listes de mots équivalents. L’examen minutieux de la dissociation des erreurs a également révélé que les confusions mnésiques pour les mots sont majoritairement formelles ou phonologiques (confondre « train » et « pain »), alors que les erreurs portant sur les images sont exclusivement sémantiques ou conceptuelles (confondre la représentation d’une tasse avec celle d’un bol), étayant la dissociation structurelle des deux répertoires de stockage.

4.2 Effets de concrétude et de valeur d’imagerie (I-value)

L’une des contributions méthodologiques majeures de Paivio à la psycholinguistique cognitive a été l’étalonnage psychométrique systématique de larges corpus lexicaux. Avec ses collaborateurs, il a quantifié des milliers de mots de la langue anglaise selon des échelles normalisées mesurant :

• La concrétude (C-value) : le degré auquel un terme désigne une entité tangible et directement perceptible par les organes sensoriels (par exemple, « pomme » versus « justice »).
• La valeur d’imagerie (I-value) : la rapidité et la facilité avec lesquelles un mot donné éveille spontanément une image mentale visuelle ou sensorielle chez un individu.

En exploitant ces normes psychométriques au sein du paradigme d’apprentissage par paires associées (paired-associate learning), Paivio a mis en évidence une règle immuable : l’efficacité de l’apprentissage d’une paire de substantifs (A – B) dépend principalement de la valeur d’imagerie du terme stimulus (A) et du terme réponse (B). Les paires composées de mots à haute concrétude et haute imagerie (ex. « cheval – château ») sont apprises avec une vélocité et un taux de succès infiniment supérieurs aux paires constituées de vocables abstraits à basse valeur d’imagerie (ex. « vertu – destin »), même lorsque ces deux catégories de mots sont scrupuleusement égalisées pour leur fréquence d’usage dans la langue courante.

Les modèles unipropositionnels purs se sont avérés fondamentalement incapables d’expliquer pourquoi la simple manipulabilité mentale sous forme d’image favorisait à ce point la rétention, alors que la complexité logique sous-jacente des concepts était équivalente. La chronométrie mentale est venue renforcer ce constat : l’accès au lexique mental et les temps de décision sémantique sont significativement accélérés lorsque les termes jouissent d’une valeur I élevée, démontrant que l’activation référentielle du réseau des imagens facilite en retour les opérations du sous-système linguistique.

4.3 Interférence sélective et paradigmes de double tâche

Pour démontrer l’indépendance structurelle et l’allocation séparée des ressources énergétiques entre logogens et imagens, Paivio et ses disciples ont eu recours aux paradigmes d’interférence sélective en situation de double tâche. La logique computationnelle sous-jacente est simple : si le système cognitif est unitaire, toute tâche concurrente devrait dégrader indistinctement l’exécution de n’importe quelle tâche primaire. Si, au contraire, il existe deux canaux distincts, une tâche mobilisant des représentations visuelles sera sévèrement altérée par une tâche interférente visuo-spatiale, mais sera épargnée par une interférence verbale concomitante.

Dans ce registre, les expériences pionnières de Lee Brooks (1968), immédiatement intégrées et approfondies par Paivio, ont fourni une démonstration éclatante. Lorsqu’on demande à des sujets de catégoriser mentalement les angles successifs d’une lettre majuscule imaginaire (tâche spatiale non verbale), leurs performances s’effondrent s’ils doivent répondre en pointant manuellement des cases sur une feuille (tâche concurrente motrice et spatiale), alors qu’ils répondent promptement et sans erreur si la réponse est vocale. Réciproquement, lorsqu’ils doivent analyser la nature grammaticale des mots d’une phrase mémorisée (tâche verbale), la réponse vocale produit une interférence massive, tandis que le pointage spatial n’entraîne aucun coût cognitif supplémentaire.

Cette double dissociation a confirmé sans ambiguïté l’indépendance des ressources de traitement des logogens et des imagens, posant ainsi les prémisses de ce qu’Alan Baddeley formalisera plus tard dans son modèle de mémoire de travail sous la forme de la dissociation entre la boucle phonologique et le calepin visuo-spatial.

5. La transition vers Stephen Kosslyn : La spatialité de l’imagerie mentale

5.1 De la structure de mémoire à la simulation spatiale

Si la théorie du double codage d’Allan Paivio a permis de cartographier l’architecture globale de la mémoire et d’établir la validité mnésique du format non verbal, elle a laissé en suspens une question fondamentale : quelle est la structure géométrique exacte d’une image mentale au moment même où elle est manipulée dans l’esprit ? Paivio postulait la présence des imagens sans décrire la syntaxe spatiale interne qui régit leur morphologie dynamique. C’est à ce niveau d’analyse micro-structurel que Stephen Kosslyn a fait basculer la recherche d’une théorie de la mémoire sémantique vers une véritable ingénierie cognitive de la simulation spatiale.

Kosslyn a été profondément influencé par la vision computationnelle formulée par David Marr. Marr postulait que la vision biologique procède par une cascade de représentations intermédiaires (esquisse primaire 2D, esquisse 2.5D, représentation 3D) construites à partir du signal optique rétinien. Kosslyn a renversé cette logique pour concevoir l’imagerie mentale comme un processus de « rétro-ingénierie » : comment l’esprit peut-il, en l’absence de stimuli optiques incidents sur la rétine, reconstruire une expérience perceptuelle interne qui mobilise les mêmes mécanismes computationnels que la perception visuelle directe ?

Pour répondre à cette ambition, il fallait dépasser l’analogie littérale du « tableau intérieur » tout en évitant le piège du réductionnisme propositionnel. Kosslyn a ainsi développé un modèle formel simulant l’inspection visuelle interne comme le fonctionnement d’un programme informatique spécialisé dans le traitement matriciel et graphique de données géoréférencées.

5.2 Le modèle computationnel de l’imagerie : Visual Buffer et écran mental

Le cadre théorique développé par Kosslyn repose sur une architecture articulée autour d’un milieu spatialement coordonné : le Visual Buffer (ou tampon visuel). Le Visual Buffer est conceptualisé comme une matrice de pixels cognitifs à capacité limitée, possédant des dimensions spatiales intrinsèques, un centre à haute acuité et des bords périphériques graduels. C’est sur cet « écran mental » que viennent se matérialiser les représentations imagées actives.

Kosslyn formalise une distinction opératoire capitale entre deux types de structures mémorielles :

• Les représentations profondes (deep representations) : stockées de manière permanente en mémoire à long terme. Elles sont elles-mêmes subdivisées en fichiers d’images (image files), qui contiennent des instructions analogiques globales permettant de dessiner la forme approximative de l’objet, et en fichiers propositionnels (propositional files), qui décrivent sous forme de prédicats la liste des composantes de l’objet et leurs positions relatives (ex. : « le manche est attaché à la base de la lame »).
• Les représentations de surface (surface representations) : constituent l’image mentale proprement dite, générée dynamiquement au sein du Visual Buffer par l’agrégation et l’interprétation des représentations profondes. L’image de surface est celle qui apparaît à la conscience phénoménologique du sujet et qui est directement accessible aux processus d’inspection visuelle.

Le système comprend un ensemble de processus d’interprétation et de transformation : la procédure GENERATE extrait les fichiers de la mémoire à long terme pour matérialiser l’image dans le tampon visuel ; la procédure INSPECT examine les motifs d’activation sur cette surface pour y discerner des propriétés géométriques non explicitement encodées ; et les procédures de transformation telles que PAN (translation), ZOOM (redimensionnement) et ROTATE (rotation) modifient dynamiquement les coordonnées de l’image de surface au sein de la matrice spatiale.

5.3 Propriétés quasi-picturales des représentations imagées

L’affirmation centrale du modèle de Kosslyn est que les représentations de surface possèdent des propriétés quasi-picturales (quasi-pictorial properties). Elles ne sont pas de simples listes de propriétés logiques déguisées, mais incarnent un isomorphisme spatial direct :

Premièrement, elles préservent fidèlement les distances métriques et les angles. Dans le Visual Buffer, la distance séparant la représentation d’un point A de celle d’un point B est physiquement corrélée à une distance sur le substrat de calcul. Deux points spatialement proches dans la réalité activent des zones adjacentes dans le tampon visuel, respectant les règles d’un espace euclidien interne.

Deuxièmement, le Visual Buffer souffre d’une résolution spatiale décroissante allant du centre vers la périphérie. À l’image de la fovéa rétinienne, le centre du champ d’imagerie mentale possède une densité de « grains cognitifs » très élevée, permettant de distinguer des micro-détails fins, alors que les zones marginales sont floues et de basse résolution.

Troisièmement, l’image de surface est soumise à une dégradation temporelle rapide (fading). L’activation des points au sein du tampon visuel est transitoire ; sans un investissement intentionnel continu d’attention et d’énergie pour « rafraîchir » l’image (processus de maintien actif), celle-ci s’efface spontanément en quelques centaines de millisecondes, contraignant le système cognitif à une gestion dynamique rigoureuse de ses ressources attentionnelles.

6. Les expériences canoniques de balayage mental (Mental Scanning) de Kosslyn

6.1 L’expérience fondatrice de la carte de l’île fictive (1978)

Afin de prouver empiriquement la réalité de cette métrique spatiale interne et d’invalider définitivement les critiques contestant le format analogique, Kosslyn, Ball et Reiser ont mis au point en 1978 l’un des paradigmes les plus emblématiques de la psychologie cognitive expérimentale : l’expérience de la carte de l’île fictive.

Le protocole méthodologique était d’une rigueur absolue. Les sujets devaient d’abord mémoriser exhaustivement la carte topologique d’une île imaginaire comportant sept repères géographiques distincts distribués de manière asymétrique à des distances variables : une cabane, un arbre, un rocher, un puits, une plage, un marais et une colline. Les sujets s’entraînaient à dessiner la carte de mémoire avec une exactitude millimétrique, jusqu’à ce que la position relative de chaque élément soit parfaitement ancrée dans leur mémoire à long terme, éliminant ainsi toute approximation géométrique initiale.

Dans la phase critique de test, les sujets fermaient les yeux et devaient former l’image mentale complète de l’île sur leur « écran mental ». L’expérimentateur leur demandait alors de focaliser leur « regard intérieur » sur un point précis (par exemple, la cabane). Quelques instants plus tard, l’expérimentateur énonçait le nom d’un autre repère cible (par exemple, le marais). Le sujet avait pour consigne de déplacer mentalement un point d’attention continu de la cabane vers le marais, en simulant un déplacement visuel sans saut discontinu, et d’appuyer sur un bouton-poussoir dès que le point cible était atteint par son focus attentionnel. Des essais pièges, où le nom d’un repère inexistant sur l’île était énoncé, permettaient de contrôler que les sujets effectuaient réellement l’inspection visuelle requise.

6.2 La corrélation linéaire temporelle et métrique

Les résultats obtenus par Stephen Kosslyn ont constitué un tournant décisif dans l’histoire des sciences cognitives. Les données ont révélé une corrélation linéaire quasi parfaite ($r > 0,95$) entre la distance physique réelle séparant les repères sur la carte originale et le temps de réaction (TR) nécessaire pour effectuer le balayage mental entre ces mêmes repères dans l’image interne.

Plus la distance métrique séparant deux objets visualisés était grande, plus le temps de réponse chronométrique augmentait de manière strictement proportionnelle. Cette observation impliquait que la vitesse de balayage attentionnel au sein de l’espace mental simulé était invariante et constante (de l’ordre de quelques centimètres subjectifs par seconde). L’esprit ne se contentait pas d’effectuer une requête dans une table sémantique abstraite où chaque lien conceptuel exigerait un temps d’accès uniforme ; il parcourait réellement et séquentiellement tous les points métriques intermédiaires séparant l’origine de la destination dans le Visual Buffer.

Des expériences complémentaires ont rapidement démontré la reproductibilité de cette fonction temporelle-métrique sur des objets tridimensionnels (où les distances en profondeur obéissent à la même règle de balayage continu) ainsi que sur des figures géométriques simples, établissant la robustesse écologique et expérimentale de la préservation métrique au sein des représentations imagées.

6.3 Réfutation empirique des explications par la demande de tâche

Face à la force de ces conclusions, des contradicteurs éminents — au premier rang desquels Zenon Pylyshyn — ont immédiatement formulé une objection méthodologique majeure : l’hypothèse de la demande de tâche (task demand) et de la désirabilité expérimentale. Selon Pylyshyn, les sujets savaient qu’ils participaient à une expérience sur l’espace et l’imagerie ; ils utilisaient leur savoir tacite sur les lois de la physique du monde réel pour simuler délibérément le comportement attendu, attendant consciemment plus longtemps avant d’appuyer sur le bouton pour les distances plus grandes afin de satisfaire les attentes supposées des chercheurs.

Pour réfuter empiriquement cette critique dévastatrice, Kosslyn et ses collaborateurs ont mis en place des variantes expérimentales sophistiquées en double aveugle. Dans l’une de ces variations fondamentales, les expérimentateurs responsables de la passation des tests recevaient des prédictions théoriques délibérément falsifiées : on leur expliquait que la théorie prédisait une courbe en U ou une asymptote négative. Malgré ces attentes biaisées des opérateurs, les données recueillies auprès des sujets ont invariablement reproduit la fonction linéaire positive originelle, excluant tout biais lié à l’effet Rosenthal (attente de l’expérimentateur).

En outre, Kosslyn a conçu des paradigmes de balayage implicite où aucune consigne d’inspection continue n’était formulée. On demandait simplement aux sujets de se focaliser sur un point d’un dessin géométrique puis de décider, le plus vite possible, si une lumière s’allumait à un autre endroit de l’objet mentalisé. Les temps de réaction sont restés strictement proportionnels à la distance physique séparant le point de focalisation et l’emplacement du test, prouvant que le balayage spatial n’était pas un jeu théâtral conscient orchestré par le sujet, mais une contrainte architecturale intrinsèque au traitement analogique dans le cerveau.

7. La taille de l’image mentale et le phénomène d’angle visuel

7.1 L’expérience princeps de l’éléphant et de la mouche (1975)

Parallèlement aux recherches sur le balayage spatial, Stephen Kosslyn s’est attaché à explorer une autre dimension cardinale de l’isomorphisme quasi-pictural : l’échelle dimensionnelle et les effets d’agrandissement au sein de l’image mentale. Si le Visual Buffer possède une résolution limitée comparable à celle de la rétine, alors la taille subjective sous laquelle un objet est visualisé doit directement contraindre la facilité avec laquelle ses micro-détails morphologiques peuvent être discriminés.

Pour éprouver cette hypothèse, Kosslyn a conçu en 1975 la célèbre expérience de l’éléphant et de la mouche. Dans ce protocole, des participants étaient invités à imaginer un animal cible de taille moyenne — par exemple, un lapin — selon deux conditions contextuelles drastiquement différentes :

• Condition « Éléphant » : Le sujet devait visualiser le lapin côte à côte avec un animal gigantesque, un éléphant. Dans cette configuration, pour que l’éléphant tienne sur l’écran mental du Visual Buffer sans déborder, l’échelle globale devait être réduite, contraignant le lapin cible à n’occuper qu’une surface minuscule de l’espace subjectif interne.
• Condition « Mouche » : Le sujet devait visualiser le même lapin placé immédiatement à côté d’une minuscule mouche. Pour équilibrer la scène mentale, le lapin occupait cette fois la quasi-totalité de l’écran mental intérieur, apparaissant à une échelle subjectivement démultipliée.

Tandis que le sujet maintenait l’une ou l’autre de ces configurations visuelles, l’expérimentateur énonçait une propriété anatomique spécifique de l’animal cible (ex. : « Le lapin a-t-il des moustaches ? » ou « Le lapin a-t-il des griffes ? »). Le sujet devait inspecter mentalement son image pour répondre par « oui » ou « non » le plus rapidement possible. Les résultats chronométriques ont été sans appel : les temps de réaction pour vérifier les détails anatomiques étaient significativement plus courts lorsque le lapin était imaginé à grande échelle aux côtés de la mouche que lorsqu’il apparaissait en miniature à côté de l’éléphant. L’esprit a besoin de « zoomer » pour inspecter des détails fins projetés sur une surface restreinte, et ce zoom cognitif engendre un coût temporel quantifiable.

7.2 L’angle visuel subjectif et le débordement perceptif (Visual Overflow)

Poussant plus loin l’analogie entre optique physique et vision mentale, Kosslyn a cherché à mesurer avec précision l’amplitude angulaire maximale du Visual Buffer. Dans le monde physique, un objet dont on s’approche finit par occuper l’intégralité du champ visuel périphérique jusqu’à « déborder » (overflow) de notre vision. Ce phénomène existe-t-il à l’identique dans l’expérience subjective interne ?

Kosslyn a demandé à des sujets d’imaginer des objets de dimensions variées (un dé à coudre, une télévision, un cheval, un immeuble) et de simuler mentalement une marche d’approche vers cet objet. Les participants devaient indiquer le moment précis où l’objet visualisé devenait si grand qu’il commençait à déborder des marges latérales de leur « regard intérieur ». En mesurant la distance subjective rapportée par le sujet et en connaissant les dimensions réelles de l’objet cible, il était possible de calculer, par simple trigonométrie, l’angle visuel d’ouverture maximal du tampon mental :

$$\theta = 2 \times \arctan\left(\frac{\text{Taille de l’objet}}{2 \times \text{Distance de débordement}}\right)$$

Les calculs ont mis en évidence une constance remarquable de cet angle subjectif au sein d’un même individu, oscillant universellement autour de 18 à 22 degrés d’angle visuel pour les images stables à haute résolution. Ces valeurs coïncident de manière frappante avec les limites angulaires de la vision fovéale et parafovéale humaine en perception rétinienne directe, apportant un argument étourdissant en faveur d’un partage direct des substrats anatomiques et computationnels entre la perception optique et l’imagerie volontaire.

7.3 Résolution spatiale et grain cognitif

L’ensemble de ces découvertes conduit à la théorisation de ce que Kosslyn a nommé le grain cognitif (cognitive grain). Le Visual Buffer n’offre pas une résolution infinie : il fonctionne selon une matrice discrète de points de traitement dont la densité est maximale au centre fovéal et décroît vers la périphérie spatiale. Lorsqu’un objet mentalisé est de dimension trop réduite, les détails anatomiques se fondent dans une même unité de résolution (analogues aux pixels sous-échantillonnés d’un capteur photographique), rendant tout discernement impossible sans l’exécution préalable d’une opération active d’agrandissement (mental zooming).

Kosslyn a démontré expérimentalement que l’action d’agrandir une image mentale exige un temps chronométrique strictement dépendant du facteur de multiplication requis : faire doubler d’échelle un objet dans son esprit réclame un temps mesurable qui s’additionne au temps de réponse final de détection de caractéristiques. Cette contrainte de résolution spatiale prouve que l’image interne n’est pas une simple formule mathématique abstraite — telle qu’une équation vectorielle qui serait neutre à l’échelle — mais une représentation matricielle tramée, tributaire de contraintes d’affichage neurobiologiques directes.

8. Le grand débat sur l’imagerie : Kosslyn contre Pylyshyn

8.1 La propositionnalité radicale de Zenon Pylyshyn

L’accumulation des données expérimentales de Kosslyn a déclenché l’une des querelles les plus célèbres et féroces de la psychologie contemporaine : le Grand Débat sur l’Imagerie (The Imagery Debate). L’adversaire le plus brillant et acharné de la vision analogique fut sans conteste le logicien et philosophe Zenon Pylyshyn. Dès 1973, dans son article iconoclaste What the mind’s eye tells the mind’s brain, Pylyshyn a formulé une critique épistémologique dévastatrice à l’encontre de la conception imagée.

Pylyshyn défendait une thèse radicalement propositionnaliste et moniste : toute la machinerie cognitive de l’esprit humain fonctionne exclusivement par la manipulation de structures symboliques abstraites semblables à des expressions mathématiques ou à du code informatique amodal. Pour Pylyshyn, postuler une « image mentale » analogique revient à tomber dans le piège de la métaphore de l’homoncule : si une image est affichée sur un écran mental interne, qui est assis dans la salle de projection pour la regarder ? Il faudrait supposer la présence d’un œil interne relié à un second cerveau qui requerrait lui-même un troisième écran, provoquant une régression à l’infini fatale à toute explication scientifique.

Pour Pylyshyn, le sentiment phénoménologique vivace d’« avoir une image dans la tête » n’est rien d’autre qu’un épiphénomène, comparable au bruit que fait le moteur d’un tracteur : le bruit accompagne la marche de l’engin mais ne contribue en rien à sa force motrice. Les temps de réaction observés dans les expériences de balayage ou de zoom ne seraient que la manifestation de la pénétration cognitive (cognitive penetrability) : les participants modulent inconsciemment leurs temps de décision pour refléter leur savoir tacite sur la manière dont les choses se passent dans le monde réel (la croyance que traverser un long chemin prend plus de temps qu’en traverser un court).

8.2 La défense fonctionnaliste et analogique de Stephen Kosslyn

Kosslyn a répondu à Pylyshyn point par point par un mélange d’arguments d’efficacité computationnelle et d’innovations expérimentales. Sur le plan philosophique, Kosslyn a désamorcé le sophisme de l’homoncule : le Visual Buffer n’a pas besoin d’un « spectateur intérieur ». Il s’agit simplement d’une structure de données distribuée au sein d’un réseau computationnel, où des processus algorithmiques spécialisés lisent des gradients de coordonnées matricielles de la même façon qu’un processeur graphique d’ordinateur calcule des intersections de polygones sans avoir recours à une conscience humaine pour donner sens à ses opérations internes.

Sur le plan de l’efficacité de traitement, Kosslyn a démontré l’absurdité qu’il y aurait pour un système biologique à coder des relations spatiales continues par de pures listes propositionnelles. Pour déterminer si un point est situé entre deux autres sur une carte, un format de codage analogique résout le calcul de manière directe et géométrique en temps quasi instantané ($O(1)$), là où une logique propositionnelle devrait calculer une infinité de déductions syllogistiques formelles pour vérifier les contraintes d’exclusion mutuelle et de transitivité.

Pour contrer définitivement l’argument de la pénétration cognitive et du savoir tacite, Kosslyn a conçu des expériences exploitant des illusions visuelles géométriques transposées dans le domaine de l’imagerie. Par exemple, lorsqu’on demande à des sujets de superposer mentalement des segments d’égale longueur sur des motifs inducteurs de flèches convergentes ou divergentes (l’illusion de Müller-Lyer mentale), les sujets jugent systématiquement les segments inégaux, reproduisant fidèlement l’illusion optique. Or, les sujets savent intellectuellement et tacitement que les lignes sont rigoureusement de même taille ; si la connaissance tacite gouvernait le système, l’illusion devrait s’évanouir. Le fait que l’erreur perceptive persiste en imagerie prouve que le système analogique est cognitivement impénétrable et contraint par les lois physiques et structurales de son support biologique.

8.3 L’apport conciliateur et structural de la théorie du double codage

Dans ce duel manichéen entre l’analogie kosslynienne pure et le propositionnalisme computationnel de Pylyshyn, la position d’Allan Paivio et de sa théorie du double codage a offert un ancrage épistémologique original et conciliateur. Paivio a toujours refusé d’adhérer au monisme radical, qu’il fût exclusivement propositionnel ou exclusivement pictural.

Pour Paivio, la querelle entre Kosslyn et Pylyshyn souffrait d’une aporie sémantique : Pylyshyn cherchait désespérément à ramener toute pensée à un calcul formel désincarné en niant l’essence biologique des organes sensoriels, tandis que les premiers modèles de Kosslyn se focalisaient si intensément sur la dimension spatio-géométrique qu’ils négligeaient l’imbrication permanente de l’imagerie avec le réseau du langage articulé.

La théorie du double codage résout l’aporie en légitimant la coexistence parallèle et complémentaire des deux formats sémiotiques :

• Les représentations non verbales (imagens) expliquent la continuité, le parallélisme, la métrique spatiale et l’intuition analogique mises en lumière par Kosslyn.
• Les représentations verbales (logogens) capturent la séquentialité, la combinatoire formelle, l’abstraction et les règles déductives chères à Pylyshyn.

En démontrant que l’esprit n’a pas besoin de convertir l’une des formes dans le format de l’autre pour réaliser des computations puissantes, Paivio a fourni une synthèse structurelle équilibrée où l’image mentale conserve toute son irréductible spécificité tout en communiquant de façon fluide avec l’appareil conceptuel et symbolique de la parole.

9. Validation neurobiologique et neurosciences cognitives

9.1 L’implication fonctionnelle du cortex visuel primaire (V1)

Si la controverse entre Kosslyn et Pylyshyn semblait condamnée à une guerre de tranchées psychologique interminable à la fin des années 1980, l’avènement des technologies de neuro-imagerie fonctionnelle et de neurophysiologie a permis de trancher le débat sur le terrain de la biologie cellulaire et de l’architecture cérébrale.

L’hypothèse la plus audacieuse de Stephen Kosslyn était que le Visual Buffer n’était pas une métaphore informatique flottante, mais devait correspondre anatomiquement aux aires visuelles corticales précoces, et plus particulièrement au cortex visuel primaire strié (Aire 17 de Brodmann ou V1), situé sur les berges de la scissure calcarine. L’aire V1 possède une caractéristique architecturale déterminante : la rétinotopie. Les neurones adjacents de V1 reçoivent des signaux de points adjacents de la rétine physique, formant une véritable carte bidimensionnelle de l’espace visuel directement incrustée dans la chair corticale.

Au début des années 1990, des études pionnières d’imagerie par résonance magnétique fonctionnelle (IRMf) et de tomographie par émission de positons (TEP) conduites par Stephen Kosslyn, Reza Kabani et leurs collègues ont apporté des preuves directes : lorsque des sujets ferment les yeux dans l’obscurité totale et forment une image mentale détaillée d’un objet, le cortex strié primaire (V1) et les aires extrastriées (V2, V3) s’activent de manière statistiquement significative par rapport à une condition de repos ou d’évocation verbale.

Mieux encore : Kosslyn a démontré l’existence d’une rétinotopie fonctionnelle de l’imagerie. Lorsqu’un sujet imagine un objet sous un angle visuel très réduit (une petite forme), l’activation cérébrale se concentre au pôle postérieur de la scissure calcarine, là où la fovéa est représentée. Lorsque le sujet imagine le même objet à très grande échelle, occupant l’ensemble de son champ mental, l’activation se déplace vers les portions antérieures de V1, correspondant au traitement de la périphérie rétinienne. Cette cartographie métrique interne a constitué un coup fatal pour la théorie épiphénoméniste pure.

9.2 Preuves causales par la stimulation magnétique transcrânienne (SMT)

Les tenants de l’approche propositionnaliste ont tenté de résister en arguant que l’activation de l’aire V1 observée en IRMf pouvait n’être qu’un simple sous-produit métabolique passif sans pertinence causale dans la chaîne de traitement (l’équivalent cérébral d’une étincelle s’échappant d’un circuit électrique en action). Il devenait donc impératif de prouver que l’intégrité fonctionnelle de V1 était causalement nécessaire à l’acte d’imaginer.

Kosslyn et son équipe ont relevé ce défi dans une étude devenue classique publiée dans la revue Science en 1999, en recourant à la stimulation magnétique transcrânienne répétitive (SMTr). La SMTr permet d’induire temporairement et de façon réversible une « lésion virtuelle » non invasive dans une région cérébrale cible ciblée en brouillant localement l’activité électrophysiologique des neurones corticaux.

Des volontaires sains devaient mémoriser des motifs géométriques composés de barres rayées et exécuter ensuite, les yeux bandés, des jugements métriques précis d’orientation et d’épaisseur sur ces motifs visualisés mentalement. L’application d’impulsions de SMT directement sur le pôle occipital (ciblant précisément le cortex visuel primaire V1) a provoqué un ralentissement massif et significatif des temps de réaction et une hausse du taux d’erreurs lors de la tâche d’imagerie. De surcroît, le profil de perturbation induit par la SMT lors de la tâche d’imagerie était rigoureusement indiscernable du déficit induit lorsque les sujets réalisaient la même tâche en perception visuelle directe avec les yeux ouverts.

Cette expérience a démontré sans échappatoire possible que l’aire V1 n’est pas un spectateur passif : l’imagerie mentale visuelle dépend causalement et obligatoirement du traitement spatial opéré par le cortex visuel strié primaire rétinotopique, réfutant expérimentalement l’affirmation de Pylyshyn selon laquelle l’image mentale ne serait qu’un épiphénomène amodal.

9.3 Dissociations neuropsychologiques chez les patients cérébrolésés

Les données cliniques issues de la neuropsychologie humaine sont venues consolider de façon spectaculaire cette identité d’architecture fonctionnelle entre perception et imagerie :

D’une part, la littérature médicale a mis au jour des déficits symétriques remarquables chez les patients souffrant de lésions occipito-temporales. Les patients atteints de cécité corticale ou d’achromatopsie centrale (perte de la perception des couleurs consécutive à une lésion de l’aire fusiforme V4) perdent simultanément la capacité de percevoir les couleurs du monde extérieur et celle de se représenter mentalement les couleurs d’objets familiers (incapacité de décrire la couleur d’une cerise ou d’un citron en mémoire). De même, les patients souffrant d’agnosie visuelle des formes manifestent couramment une inaptitude équivalente à dessiner ces mêmes formes de mémoire.

D’autre part, le phénomène de l’héminégligence spatiale unilatérale a fourni l’une des preuves les plus élégantes de la spatialité intrinsèque des représentations mentales. Dans leur expérience célèbre de 1978, Edoardo Bisiach et Claudio Luzzatti ont interrogé des patients héminégligents présentant une lésion pariétale droite (qui ignoraient totalement la moitié gauche de leur champ perceptif direct). En leur demandant d’imaginer la Piazza del Duomo de Milan depuis un point de vue spécifique, les patients ont décrit avec précision les monuments situés sur le côté droit de la place imaginaire, ignorant complètement ceux situés sur la gauche.

Puis, lorsque les expérimentateurs ont demandé à ces mêmes patients d’inverser mentalement leur point de vue subjectif (de s’imaginer debout au fond de la place face au point de départ), les patients ont alors décrit les monuments qu’ils venaient d’ignorer une minute plus tôt (désormais situés sur leur droite mentale) et ont systématiquement omis de citer les monuments décrits précédemment (qui se trouvaient maintenant sur leur gauche mentale). Le déficit d’attention spatiale ne s’appliquait pas à un stock statique de propositions abstraites, mais frappait directement l’exploration d’un espace métrique simulé au sein d’un Visual Buffer endommagé.

10. Comparaison critique et convergence des modèles de Paivio et Kosslyn

10.1 Parallélisme conceptuel : Imagens et représentations de surface

L’analyse comparative des cadres théoriques d’Allan Paivio et de Stephen Kosslyn met en lumière une communauté d’intuitions fondamentales, tout en révélant des différences de granularité analytique et de visées explicatives substantielles.

Sur le plan structural, une équivalence conceptuelle étroite unit l’imagen de Paivio et la représentation de surface de Kosslyn. Dans les deux cas, le format représentationnel est sans équivoque : il s’agit d’un encodage analogique, spatialisé et continu, respectant l’isomorphisme topologique de la scène perçue. Tous deux récusent l’idée que le cerveau transcrive inévitablement les flux sensoriels en un langage machine textuel universel. Tous deux affirment que le traitement non verbal s’opère de façon globale et synchrone, par opposition au traitement séquentiel du langage articulé.

Néanmoins, la divergence principale réside dans l’échelle d’observation :

• Le niveau macro-mnésique de Paivio : s’attache à comprendre l’organisation globale de la mémoire sémantique et épisodique à long terme. Sa théorie cherche à modéliser la façon dont des millions d’unités de stockage (mots et images) coexistent, s’associent et s’influencent mutuellement pour optimiser le rappel libre, la reconnaissance et la résolution de problèmes dans des contextes comportementaux larges.
• Le niveau micro-computationnel de Kosslyn : déploie une ingénierie fine des processus de la mémoire de travail visuelle en temps réel. Kosslyn ne se focalise pas sur le taux de rétention d’une liste de mots à J+7, mais sur la milliseconde exacte nécessaire à un rayon attentionnel pour traverser une coordonnée géométrique au sein d’une matrice rétinotopique corticale.

10.2 Complémentarité structurale entre encodage mnésique et manipulation dynamique

Loin de s’exclure mutuellement, les modèles de Paivio et de Kosslyn s’assemblent dans une relation de complémentarité architecturale presque parfaite. Pour bâtir une théorie complète de la cognition visuo-spatiale, l’esprit a besoin des deux cadres de modélisation :

Le modèle d’Allan Paivio explique magistralement pourquoi et comment l’information perceptive est encodée de manière hautement robuste et pérenne dans le cerveau. Sa théorie du double codage détaille les lois de constitution du substrat mnésique, les conditions de redondance cognitive qui immunisent l’information contre l’amnésie rétroactive, et la dynamique des associations sémantiques reliant le verbal au pictural.

En revanche, dès que ce matériel mnésique brut doit être extrait de son état latent pour répondre à une question adaptative inédite — par exemple, « Quel est l’animal dont les oreilles sont les plus pointues entre le renard et le loup ? » —, la théorie du double codage atteint sa limite descriptive. C’est ici que s’enclenche la mécanique computationnelle de Kosslyn : l’esprit extrait les fichiers d’images et les fichiers propositionnels de sa mémoire à long terme (les imagens de Paivio), régénère une représentation de surface dans le Visual Buffer, opère un ZOOM, active une procédure d’inspection géométrique fine LOOK FOR, puis réinjecte le résultat calculé dans le système verbal sous forme d’un logogen propositionnel articulé (« Le renard »).

Cette synthèse démontre que la théorie du double codage constitue l’ossature d’archivage et de mise en relation symbolique-analogique du cerveau, tandis que la théorie computationnelle de Kosslyn représente son moteur de rendu graphique et son processeur de calcul géométrique spatio-temporel en direct.

10.3 Limites respectives des deux cadres théoriques

En dépit de leur puissance explicative incontestable, ces deux paradigmes pionniers comportent des zones d’ombre et des faiblesses structurales que la psychologie cognitive contemporaine n’a pas manqué de souligner :

Pour le modèle de Paivio, la principale lacune réside dans la sous-théorisation de la combinatoire interne des imagens. Paivio a souvent traité l’imagen comme une « boîte noire » globale, se focalisant presque exclusivement sur ses connexions référentielles avec le mot plutôt que sur la syntaxe formelle de son découpage spatial. De plus, sa typologie binaire stricte (verbal versus non verbal) peine à rendre compte des formats intermédiaires, tels que les représentations purement spatiales non visuelles (le sens kinesthésique d’un itinéraire dans le noir absolu ou la spatialité chez les aveugles congénitaux).

Concernant le modèle de Stephen Kosslyn, la critique la plus récurrente concerne sa vertigineuse complexité computationnelle. En cherchant à formaliser chaque micro-étape de l’imagerie, Kosslyn a multiplié les sous-programmes spécialisés (jusqu’à plusieurs dizaines de modules algorithmiques dans ses premières versions informatiques), s’exposant au risque d’une théorie trop malléable dont la réfutabilité poppérienne devenait incertaine. De surcroît, le rôle exact accordé au cortex visuel primaire (V1) a été nuancé par des études ultérieures : certains patients présentant une lésion étendue de V1 conservent une imagerie spatiale intacte, indiquant que le Visual Buffer mobilise vraisemblablement un réseau beaucoup plus distribué d’aires pariétales et temporales supérieures que ne le postulait le modèle strié initial.

Enfin, les deux théories ont longtemps partagé un biais cognitiviste classique en négligeant l’ancrage corporel profond, le rôle fondamental des émotions et les contraintes de l’action motrice située dans la genèse de l’imagerie.

11. Applications pratiques en ergonomie cognitive et pédagogie

11.1 La théorie cognitive de l’apprentissage multimédia de Richard Mayer

L’impact pratique des travaux d’Allan Paivio et de Stephen Kosslyn trouve son incarnation la plus spectaculaire dans le domaine des sciences de l’éducation et de l’ingénierie pédagogique, principalement à travers la Théorie Cognitive de l’Apprentissage Multimédia (Cognitive Theory of Multimedia Learning ou CTML) développée par Richard E. Mayer.

Mayer a directement transposé les axiomes du double codage au design des environnements d’apprentissage numériques en formulant plusieurs principes fondateurs :

• Le principe multimédia : Les apprenants assimilent l’information de manière infiniment plus profonde à partir de mots et d’images conjoints qu’à partir de mots seuls. Ce constat découle directement de l’activation simultanée des sous-systèmes logogène et imagène théorisée par Paivio.
• Le principe de modalité : L’apprentissage est décuplé lorsque l’illustration visuelle dynamique (graphique, schéma ou animation) est accompagnée d’un commentaire audio parlé plutôt que d’un texte écrit à l’écran. En effet, la présentation d’un texte écrit sature le canal visuel de la mémoire de travail (qui doit traiter simultanément le tracé du texte et l’image), créant une surcharge cognitive massive, tandis que l’utilisation du canal auditif pour les logogens et du canal visuel pour les imagens répartit harmonieusement la charge de traitement.
• Le principe de redondance : L’ajout d’un texte imprimé redondant qui répète mot pour mot une narration vocale accompagnant une animation dégrade paradoxalement les performances d’apprentissage des élèves. Le canal visuel est inutilement sollicité pour lire les sous-titres, entrant en compétition directe avec le balayage spatial de l’illustration graphique.

11.2 Ingénierie pédagogique et stratégies mnémotechniques fondées sur l’image

La théorie du double codage a offert le premier fondement scientifique rigoureux pour comprendre l’efficacité phénoménale des mnémotechniques de l’Antiquité, au premier rang desquelles la célèbre méthode des loci (ou palais de la mémoire), formalisée jadis par Cicéron et Quintilien.

En ancrant des notions abstraites (des logogens hautement fuyants) sur des repères architecturaux spatiaux très concrets et familiers d’un palais imaginaire (des imagens à forte stabilité métrique), le rhéteur ou l’étudiant force le système cognitif à créer des connexions référentielles artificielles mais indestructibles. L’architecture de Kosslyn explique pourquoi cette stratégie est infaillible : le balayage mental séquentiel d’une pièce à l’autre d’un palais mental obéit à la même chronométrie métrique que la navigation réelle, évitant tout saut désordonné et garantissant un rappel sériel parfait sans la moindre omission.

Dans la conception didactique moderne des manuels scolaires et des interfaces de formation industrielle, l’optimisation des connexions référentielles logogen-imagen impose d’intégrer spatialement le texte explicatif au plus près de la composante mécanique ou anatomique qu’il décrit (effet de contiguïté spatiale). Séparer un schéma anatomique de sa légende par un renvoi en bas de page impose à l’apprenant des allers-retours de balayage visuel chronométriquement coûteux qui gaspillent les ressources attentionnelles du Visual Buffer au détriment de l’intégration conceptuelle.

11.3 Design d’interfaces homme-machine (IHM) et visualisation de données

Dans l’univers contemporain de l’ergonomie numérique, les lois de balayage mental de Stephen Kosslyn et les principes d’imagerie de Paivio constituent des standards directeurs incontournables pour l’architecture des cockpits aéronautiques, des systèmes de contrôle militaire et des interfaces logicielles à haute criticité :

L’organisation spatiale des indicateurs de bord dans un avion de chasse ou une centrale nucléaire doit impérativement respecter les constantes du Visual Buffer. Connaissant la vitesse de balayage mental et la décroissance de la résolution du centre vers la périphérie fovéale, Stephen Kosslyn a lui-même publié des ouvrages de référence sur la conception graphique des tableaux de bord, recommandant de positionner les instruments critiques dans un angle de vue n’excédant pas le seuil de débordement perceptif afin d’éviter le recours à un balayage attentionnel coûteux en situation d’urgence vitale.

De même, l’omniprésence des icônes visuelles au détriment des listes de commandes textuelles dans nos systèmes d’exploitation modernes (de MacOS à Android) repose sur la vitesse fulgurante de la reconnaissance d’un pattern analogique : une icône familière est identifiée et catégorisée par le système des imagens en moins de 100 millisecondes, court-circuitant la lente analyse séquentielle requise pour déchiffrer un libellé textuel dans un menu déroulant. Enfin, la spatialisation cartographique de données volumineuses et complexes (Data Visualization) exploite le principe d’isomorphisme spatial pour soulager la mémoire de travail linguistique en permettant à l’œil et à l’esprit d’accéder d’un seul coup d’œil holistique à des corrélations numériques invisibles sous forme de tableaux de chiffres abstraits.

12. Perspectives contemporaines et développements neuroscientifiques récents

12.1 Cognition incarnée (Embodied Cognition) et simulation sensorimotrice

Au XXIe siècle, l’héritage d’Allan Paivio et de Stephen Kosslyn s’est profondément enrichi et métamorphosé sous l’impulsion du courant de la cognition incarnée (Embodied Cognition), porté par des chercheurs tels que Lawrence Barsalou et Arthur Glenberg. Pour ces théoriciens, l’imagerie mentale visuelle ne peut plus être isolée du reste de l’appareil moteur et proprioceptif du corps biologique.

L’imagerie n’est plus envisagée comme un simple affichage passif dans une aire cérébrale isolée, mais comme une réactivation sensorimotrice globale (perceptual symbol systems). Lorsqu’un individu simule mentalement le balayage d’une trajectoire ou la rotation d’une clé dans une serrure, les études de neuro-imagerie moderne démontrent que le cortex moteur primaire (M1), le cortex pré-moteur et le cervelet sont activés de manière synchronisée avec les aires occipitales visuelles.

Ce dépassement du modèle computo-représentationnaliste strict au profit de théories énactives confirme l’intuition fondatrice de Paivio : le format non verbal est indissociable de l’expérience physique de l’organisme dans son environnement. Penser à une action physique ou à un objet matériel déclenche une simulation neurale des conséquences motrices de l’interaction avec cet objet, conférant à l’imagen une épaisseur corporelle que les modèles informatiques classiques avaient initialement sous-estimée.

12.2 L’aphantasie et le spectre des variations individuelles de l’imagerie

L’une des découvertes les plus fascinantes des neurosciences cognitives de la dernière décennie a été l’identification clinique et la caractérisation formelle de l’aphantasie (terme forgé en 2015 par le neurologue britannique Adam Zeman). L’aphantasie désigne l’incapacité totale, congénitale ou acquise, pour un individu d’évoquer la moindre image mentale visuelle volontaire. Les aphantasiques, qui représenteraient entre 2 % et 4 % de la population générale, vivent dans une obscurité phénoménologique intérieure absolue : lorsqu’on leur demande d’imaginer le visage d’un parent ou un coucher de soleil, ils ne perçoivent strictement rien sur leur « écran mental ».

Cette condition clinique a soulevé des questions vertigineuses quant à l’universalité des modèles de Paivio et de Kosslyn : comment ces individus parviennent-ils à se repérer dans l’espace, à reconnaître des visages et à mener des carrières intellectuelles de premier plan sans pouvoir mobiliser d’imagens visuelles ni afficher de motifs dans un Visual Buffer ?

Les recherches contemporaines ont démontré que les sujets aphantasiques développent des stratégies cognitives de compensation alternatives remarquablement efficaces. Ils s’appuient massivement sur des représentations spatiales amodales préservées au niveau du cortex pariétal postérieur (une cartographie relationnelle métrique sans rendu phénoménologique pictural) ainsi que sur une exploitation intensive et virtuose du sous-système linguistique des logogens de Paivio. Leurs performances aux tests de mémoire spatiale et de rotation mentale sont souvent rigoureusement identiques à celles des sujets contrôles hyperphantasiques, prouvant que le cerveau peut calculer des transformations géométriques par des voies neurales alternatives non visuelles, et révélant l’extraordinaire plasticité de l’architecture cognitive humaine.

12.3 Modèles contemporains d’intelligence artificielle et traitement multimodal

Enfin, le dialogue historique entre Paivio et Kosslyn trouve aujourd’hui sa résonance la plus spectaculaire et inattendue au cœur de la révolution de l’intelligence artificielle contemporaine, avec l’émergence des modèles de fondation multimodaux (tels que CLIP de la firme OpenAI, ou les réseaux génératifs de texte-à-image tels que Midjourney et Stable Diffusion).

Ces systèmes d’IA de dernière génération incarnent, d’un point de vue architectural et fonctionnel, une résurrection computationnelle exacte de la théorie du double codage d’Allan Paivio. Un modèle comme CLIP est composé explicitement de deux encodeurs distincts :

• Un encodeur textuel (assimilable au sous-système logogène), entraîné à segmenter et transformer des chaînes de symboles linguistiques séquentiels en vecteurs d’enchâssement.
• Un encodeur visuel (assimilable au sous-système imagène), entraîné à traiter des tenseurs de pixels spatiaux 2D continus via des réseaux de neurones convolutifs ou des Vision Transformers.

Ces deux flux de traitement convergent au sein d’un espace latent conjoint (shared latent space) où les représentations vectorielles d’une image et de sa description textuelle sont alignées par apprentissage contrastif. Cet espace vectoriel partagé n’est rien d’autre que la matérialisation mathématique exacte des connexions référentielles théorisées par Paivio en 1971 !

Parallèlement, la querelle entre Kosslyn et Pylyshyn renaît de ses cendres dans le champ de la recherche sur l’explicabilité et la géométrie interne de l’intelligence artificielle : les modèles de langage de grande taille (LLMs) manipulent-ils de pures corrélations statistiques formelles entre tokens linguistiques comme le prédisait Pylyshyn, ou construisent-ils spontanément des représentations spatiales et analogiques du monde au sein de leurs couches profondes, comme le postulait Kosslyn ? Des études récentes menées sur des modèles génératifs révèlent que ces réseaux développent bel et bien des cartes métriques internes et des simulations quasi-picturales pour résoudre des requêtes spatiales, attestant de la transcendance et de la modernité absolue des questionnements inaugurés par Stephen Kosslyn et Allan Paivio sur la nature de l’esprit pensant.

Références

• Baddeley, A. D. (1992). Working memory. Science, 255(5044), 556-559. https://doi.org/10.1126/science.1736359
• Barsalou, L. W. (1999). Perceptual symbol systems. Behavioral and Brain Sciences, 22(4), 577-660. https://doi.org/10.1017/s0140525x99002149
• Bisiach, E., & Luzzatti, C. (1978). Unilateral neglect of representational space. Cortex, 14(1), 129-133. https://doi.org/10.1016/S0010-9452(78)80016-1
• Brooks, L. R. (1968). Spatial and verbal components of the act of recall. Canadian Journal of Psychology/Revue canadienne de psychologie, 22(5), 349-368. https://doi.org/10.1037/h0082775
• Farah, M. J. (1988). Is visual imagery really visual? Overlooked numerical evidence for analog spatial representations. Journal of Experimental Psychology: General, 117(3), 248-258. https://doi.org/10.1037/0096-3445.117.3.248
• Kosslyn, S. M. (1975). Information representation in visual images. Cognitive Psychology, 7(3), 341-370. https://doi.org/10.1016/0010-0285(75)90015-8
• Kosslyn, S. M. (1980). Image and Mind. Harvard University Press.
• Kosslyn, S. M. (1994). Image and Brain: The Resolution of the Imagery Debate. MIT Press. https://doi.org/10.7551/mitpress/3630.001.0001
• Kosslyn, S. M., Ball, T. M., & Reiser, B. J. (1978). Visual images preserve metric spatial information: Evidence from studies of image scanning. Journal of Experimental Psychology: Human Perception and Performance, 4(1), 47-60. https://doi.org/10.1037/0096-1523.4.1.47
• Kosslyn, S. M., Pascual-Leone, A., Felician, O., Camposano, S., Keenan, J. P., Ganis, G., Sukel, K. E., & Alpert, N. M. (1999). The role of area 17 in visual imagery: Convergent evidence from PET and rTMS. Science, 284(5411), 167-170. https://doi.org/10.1126/science.284.5411.167
• Marr, D. (1982). Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. W. H. Freeman.
• Mayer, R. E. (2009). Multimedia Learning (2nd ed.). Cambridge University Press. https://doi.org/10.1017/CBO9780511811677
• Neisser, U. (1967). Cognitive Psychology. Appleton-Century-Crofts.
• Paivio, A. (1971). Imagery and Verbal Processes. Holt, Rinehart and Winston.
• Paivio, A. (1986). Mental Representations: A Dual Coding Approach. Oxford University Press. https://doi.org/10.1093/acprof:oso/9780195066661.001.0001
• Paivio, A. (1991). Dual coding theory: Retrospect and current status. Canadian Journal of Psychology/Revue canadienne de psychologie, 45(3), 255-287. https://doi.org/10.1037/h0084295
• Paivio, A., & Csapo, K. (1973). Picture superiority in free recall: Imagery or dual coding? Cognitive Psychology, 5(2), 176-206. https://doi.org/10.1016/0010-0285(73)90032-7
• Pylyshyn, Z. W. (1973). What the mind’s eye tells the mind’s brain: A critique of mental imagery. Psychological Bulletin, 80(1), 1-24. https://doi.org/10.1037/h0034650
• Pylyshyn, Z. W. (2002). Mental imagery: In search of a theory. Behavioral and Brain Sciences, 25(2), 157-182. https://doi.org/10.1017/S0140525X02000043
• Shepard, R. N., & Metzler, J. (1971). Mental rotation of three-dimensional objects. Science, 171(3972), 701-703. https://doi.org/10.1126/science.171.3972.701
• Zeman, A., Dewar, M., & Della Sala, S. (2015). Lives without imagery: Congenital aphantasia. Cortex, 73, 378-380. https://doi.org/10.1016/j.cortex.2015.05.019