L’article de John Searle de 1980, Minds, Brains, and Programs, n’était pas une attaque générale contre l’intelligence artificielle, ni un plaidoyer mystique en faveur de l’ineffable humain. Sa cible était une thèse bien précise, qu’il a maladroitement baptisée « Strong AI », mais qui correspond à ce que l’on appelle plus clairement aujourd’hui le computationnalisme (« C = C »): l’hypothèse que la cognition n’est rien de plus que de la computation, autrement dit que les états mentaux sont des états computationnels, indépendants du support matériel qui les implémente.
Dans le cadre du cours, il est crucial de formuler correctement la cible de Searle. Il ne s’agit pas de savoir si les ordinateurs sont utiles pour modéliser la cognition (ce que Searle accepte), ni si des machines peuvent faire des choses impressionnantes. La question est celle-ci : si un système purement computationnel réussissait le test de Turing verbal (T2) à l’échelle d’une vie entière, serait-il pour autant en train de comprendre ce qu’il dit ? Le test est radical : pas un jeu de cinq minutes, pas une démonstration de surface, mais une indiscernabilité verbale durable avec des interlocuteurs humains normaux, sur n’importe quel sujet.
L’expérience de pensée de la Chambre chinoise suppose précisément ce cas. Imaginons qu’un programme permette à un ordinateur de passer avec succès un tel test en chinois. Searle, qui ne comprend pas le chinois, est placé dans une pièce et reçoit des chaînes de symboles chinois. À l’aide de règles formelles (un algorithme) exprimées en anglais, il manipule ces symboles et renvoie d’autres symboles chinois. De l’extérieur, à ces interlocuteurs chinois, le mots de Searle sont indistinguable de ceux d’un locuteur chinois natif : questions, réponses, discussions prolongées sur n’importe quel sujet imaginable. Pourtant, du point de vue interne, Searle n’a aucune compréhension du chinois. Il ne sait pas ce que signifient les symboles qu’il manipule.
L’argument repose alors sur un principe central du computationnalisme : l’indépendance du logiciel (l’algorithme) de son implémentation matérielle (la machine de Turing qui manipule les symboles (les mots chinois). Si comprendre une langue était une propriété purement computationnelle, alors tout système implémentant le bon programme devrait comprendre, indépendamment du matériel qui exécute le logiciel (un Mac, un PC) . Or ici c’est Searle qui exécute ce logiciel qui réussi le T2 chinois. Et pourtant, Searle ne comprend les symboles chinois qu’il est en train de manipuler. C’est ici qu’intervient ce qu’on a appelé plus tard « le périscope de Searle » : une occasion exceptionnelle de pénétrer la barrière des autres esprits. Normalement, une personne ne peut aucunement savoir si une autre personne ressent quoi que ce soit: une idée, une humeur, une sensation. Mais si la cognition était identique à une computation, alors en devenant lui-même l’implémentation matérielle du logiciel qui réussit le T2 chinois, Searle devrait lui-même ressentir la compréhension du chinois en exécutant toutes les manipulations de symboles qui font la compréhension du chinois (C=C). Mais il peut nous faire le témoignage: « Je manipule les symboles qu’on me donne comme entrées, selon les règles de manipulation qu’on me donne aussi, mais je n’en comprends absolument rien. Je ne comprends toujours pas le chinois. Donc la conclusion est inévitable : la cognition n’est pas de la computation (C≠C). Plus précisément, elle ne peut pas être exclusivement computationnelle.
C’est là que commencent les malentendus, souvent entretenus par Searle lui-même. La réponse la plus célèbre est la « System Reply » selon laquelle Searle ne serait qu’une partie du système; pourtant c’est le système global — Searle + les règles, les symboles, la pièce — qui comprendrait le chinois. Searle réplique facilement en internalisant le système intégral : il n’aurait qu’àmémoriser les règles et effectuer toutes les manipulations dans sa tête. Rien ne change : il n’y a toujours aucune compréhension. Cette réplique est décisive contre l’idée que la simple agrégation de composants syntaxiques (la manipulation des symboles de forme arbitraire d’après les règles) puisse engendrer une compréhension du sens.
Mais beaucoup de critiques ont refusé la conclusion en raison de formulations confuses. D’abord, l’usage par Searle des termes « Strong AI » et « Weak AI » a brouillé le débat. « Weak AI » ne désigne en réalité que la la thèse forte de Church-Turing : que la computation peut simuler pratiquement n’importe quel objet ou processus dans l’univers. Cette thèse est compatible avec l’argument de Searle. L’argument ne montre pas que la cognition ne peut pas être simulée, mais qu’une simulation computationnelle n’est pas, en elle-même, l’objet simulé: la bonne recette pour faire un gâteau végane n’est pas elle même le gâteau végane; et l’exécution de la recette végane n’est pas juste de la computation: c’est de l’impression 3D: On mélange les ingrédients, puis on fait cuire le gâteau au four. Ce qui n’est plus juste de la computation: Cuisiner n’est pas juste de la computation!
Deuxième confusion : l’idée que Searle aurait réfuté le test de Turing en tant que tel. C’est faux. L’argument montre seulement que T2, pris isolément et sous une interprétation strictement computationnelle, ne garantit pas la compréhension. Il ne dit rien contre T3 (ancrage sensorimoteur) ni contre T4 (duplication structurelle complète). En fait, l’argument laisse entièrement ouverte la possibilité qu’un système hybride — computationnel et non computationnel — puisse comprendre, ou qu’un système robotique ancré dans le monde puisse acquérir des significations que Searle, enfermé dans sa pièce, ne peut pas acquérir.
Troisième erreur fréquente : croire que Searle aurait montré que « la cognition n’est pas computationnelle du tout ». L’argument ne montre rien de tel. Il montre seulement que la cognition ne peut pas être uniquement computationnelle. La computation peut parfaitement jouer un rôle causal essentiel dans un système cognitif, sans en épuiser les propriétés sémantiques. Sur ce point, la « System Reply » avait une intuition juste, même si elle échouait comme réfutation : comprendre peut être une propriété d’un système global, mais pas d’un système purement syntaxique.
Enfin, Searle a lui-même surinterprété sa conclusion en suggérant que la solution devait nécessairement passer par la duplication des pouvoirs causaux du cerveau biologique. Rien dans l’argument n’impose un tel saut vers T4. Il reste une vaste gamme de possibilités intermédiaires : systèmes dynamiques non computationnels, architectures hybrides, réseaux neuronaux couplés au monde, agents sensorimoteurs apprenant par interaction. L’argument ne tranche pas en faveur des neurosciences contre la science cognitive. Il tranche uniquement contre le computationnalisme pur.
Malgré ces excès et ces confusions, l’importance historique de la Chambre chinoise est considérable. Elle a forcé la discipline à distinguer clairement syntaxe et sémantique, simulation et instanciation, performance verbale et compréhension. Elle a aussi préparé le terrain pour ce qui deviendra explicitement, quelques années plus tard, le problème de l’ancrage des symboles : comment des symboles formels peuvent-ils acquérir une signification intrinsèque pour un système, plutôt que seulement une interprétation extrinsèque par un observateur ?
La leçon méthodologique centrale est donc la suivante : passer un test comportemental, même très exigeant, n’explique pas en soi comment le sens est généré. L’argument de Searle ne ferme pas la route vers une science mécaniste de la cognition. Il ferme seulement une impasse : celle qui croyait pouvoir expliquer l’esprit par la manipulation de symboles non ancrés. En ce sens, loin d’être un obstacle, la Chambre chinoise a été un déclencheur. Elle a rendu inévitable la question qui structure la suite du cours : comment relier les symboles au monde, et le langage à l’action et à la perception.