{"id":2401,"date":"2025-02-24T15:03:25","date_gmt":"2025-02-24T20:03:25","guid":{"rendered":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/?p=2401"},"modified":"2025-02-24T15:03:25","modified_gmt":"2025-02-24T20:03:25","slug":"langage-a-grande-echelle-llms-chatgpt-signification-et-comprehension","status":"publish","type":"post","link":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/2025\/02\/24\/langage-a-grande-echelle-llms-chatgpt-signification-et-comprehension\/","title":{"rendered":"Langage \u00e0 grande \u00e9chelle: LLMs, ChatGPT, signification et compr\u00e9hension"},"content":{"rendered":"\n

Harnad, Stevan (2025)\u00a0Frontiers in Artificial Intelligence<\/em>\u00a07 : 1490698<\/a>.\u00a0<\/sub><\/p>\n\n\n\n

R\u00c9SUM\u00c9 <\/strong>: Mis \u00e0 part ce que (peu) OpenAI peut nous cacher, nous savons tous (\u00e0 peu pr\u00e8s) comment fonctionnent les grands mod\u00e8les de langage (LLMs) tels que ChatGPT (leurs vastes bases de donn\u00e9es textuelles, leurs statistiques, leurs repr\u00e9sentations vectorielles, leur immense nombre de param\u00e8tres, leur entra\u00eenement au mot suivant, etc.). Cependant, aucun d\u2019entre nous ne peut dire (la main sur le c\u0153ur) que nous ne sommes pas surpris par ce que ChatGPT s\u2019est av\u00e9r\u00e9 capable de faire avec ces ressources. Cela a m\u00eame conduit certains d\u2019entre nous \u00e0 conclure que ChatGPT comprend r\u00e9ellement. Ce n\u2019est pas vrai qu\u2019il comprend. Mais ce n\u2019est pas non plus vrai que nous comprenons comment il peut faire ce qu\u2019il fait.<\/p>\n\n\n\n

Je proposerai quelques hypoth\u00e8ses sur des biais b\u00e9nins \u2014 des contraintes convergentes qui \u00e9mergent \u00e0 l\u2019\u00e9chelle des LLM et qui peuvent aider ChatGPT \u00e0 faire bien mieux que ce \u00e0 quoi nous nous attendions. Ces biais sont inh\u00e9rents \u00e0 la nature m\u00eame du langage, \u00e0 l\u2019\u00e9chelle des LLM, et ils sont \u00e9troitement li\u00e9s \u00e0 ce qui manque \u00e0 ChatGPT, \u00e0 savoir un ancrage sensorimoteur direct pour relier ses mots dans la t\u00eate d’un locuteur \u00e0 leurs r\u00e9f\u00e9rents dans le monde et pour lier ses propositions \u00e0 leurs significations dans la t\u00eate du locuteur..<\/p>\n\n\n\n

Ces biais convergents sont li\u00e9s (1) au parasitisme de l\u2019ancrage verbal indirect sur l\u2019ancrage sensorimoteur direct, (2) \u00e0 la circularit\u00e9 de la d\u00e9finition verbale, (3) au \u00ab miroitage \u00bb entre la production et la compr\u00e9hension du langage, (4) \u00e0 l\u2019iconicit\u00e9 des propositions \u00e0 l\u2019\u00e9chelle des LLM, (5) aux \u00e9quivalents computationnelles de la perception cat\u00e9gorielle humaine dans l\u2019apprentissage de cat\u00e9gories par des r\u00e9seaux neuronaux, et peut-\u00eatre aussi (6) \u00e0 une conjecture de Chomsky concernant les lois de la pens\u00e9e.\u00a0L\u2019expos\u00e9 prendra la forme d\u2019un dialogue avec ChatGPT-4.<\/p>\n\n\n\n

    \n
  1. Introduction<\/strong><\/li>\n<\/ol>\n\n\n\n

    Les grands mod\u00e8les de langage (LLMs ; Pavlick, 2023<\/a>) tels que ChatGPT ont surpris \u00e0 la fois les chercheurs et le grand public en d\u00e9montrant des capacit\u00e9s qui ressemblent \u00e0 la compr\u00e9hension humaine. Malgr\u00e9 leur d\u00e9pendance \u00e0 de vastes ensembles de donn\u00e9es d\u2019entra\u00eenement et \u00e0 des m\u00e9thodes statistiques plut\u00f4t qu\u2019\u00e0 une cognition semblable \u00e0 celle des humains, ces mod\u00e8les peuvent g\u00e9n\u00e9rer des r\u00e9ponses souvent indiscernables de celles d\u2019un interlocuteur humain.<\/p>\n\n\n\n

    Ce dialogue avec ChatGPT examine les limites et les forces des LLMs \u00e0 la lumi\u00e8re de questions fondamentales sur l\u2019ancrage des symboles, la r\u00e9f\u00e9rence, la signification et la compr\u00e9hension. Nous discutons de la mani\u00e8re dont les LLMs parviennent \u00e0 produire leurs performances actuelles alors m\u00eame qu\u2019ils manquent totalement d\u2019ancrage sensorimoteur, cette capacit\u00e9 qui permet aux humains de relier leurs mots de contenu \u00e0 leurs r\u00e9f\u00e9rents dans le monde et de les combiner syntaxiquement en propositions sujet\/pr\u00e9dicat ayant une valeur de v\u00e9rit\u00e9 et une signification.<\/p>\n\n\n\n

    L\u2019article propose des pistes pour comprendre comment une part de la coh\u00e9rence et de la profondeur apparentes des r\u00e9ponses de ChatGPT pourrait d\u00e9couler de contraintes inh\u00e9rentes \u00e0 la structure du langage humain \u00e0 grande \u00e9chelle.<\/p>\n\n\n\n

    2. Dialogue<\/strong><\/p>\n\n\n\n

    SH: Je voudrais \u00e9changer quelques id\u00e9es avec toi et ta base de donn\u00e9es en pr\u00e9paration d\u2019un expos\u00e9 que je donnerai cette semaine au MILA<\/a> et la semaine prochaine \u00e0 l\u2019UQ\u00c0M<\/a>. D\u2019abord, je me suis identifi\u00e9. Te souviens-tu de qui je suis ?<\/p>\n\n\n\n

    GPT-4: Oui, Professeur Harnad, je me rappelle qui tu es.<\/p>\n\n\n\n

    SH: Mon expos\u00e9 portera sur (1) la question de savoir si les LLM\/transformers comme toi comprennent (ma r\u00e9ponse sera : non) ; (2) mais si ce n\u2019est pas le cas, comment fais-tu pour produire des performances aussi remarquables ?<\/p>\n\n\n\n

    GPT-4: Compr\u00e9hension des LLM\/Transformeurs : Ta position selon laquelle les LLM ne \u00ab comprennent \u00bb pas r\u00e9ellement est en accord avec les perspectives actuelles en sciences cognitives et en intelligence artificielle. Ces mod\u00e8les, y compris GPT-4, traitent et g\u00e9n\u00e8rent du langage sur la base de motifs statistiques appris \u00e0 partir d\u2019immenses ensembles de donn\u00e9es. Cependant, ce processus manque de compr\u00e9hension consciente, d\u2019intentionnalit\u00e9 et de contexte exp\u00e9rientiel, qui caract\u00e9risent la compr\u00e9hension humaine. Ils ne poss\u00e8dent ni conscience de soi, ni conscience tout court, ni la capacit\u00e9 d\u2019exp\u00e9rimenter le monde de mani\u00e8re subjective.<\/em><\/p>\n\n\n\n

                Performance des LLM malgr\u00e9 l\u2019absence de compr\u00e9hension : La performance impressionnante des LLM peut \u00eatre attribu\u00e9e \u00e0 plusieurs facteurs.<\/em><\/p>\n\n\n\n

                Volume des donn\u00e9es d\u2019entra\u00eenement : Les LLM sont entra\u00een\u00e9s sur des corpus tr\u00e8s \u00e9tendus couvrant un large \u00e9ventail de connaissances et de discours humains. Cela leur permet de simuler une forme de compr\u00e9hension en s\u2019appuyant sur une multitude de motifs et de contextes pr\u00e9appris.<\/em><\/p>\n\n\n\n

                Avanc\u00e9es architecturales : L\u2019architecture des mod\u00e8les comme GPT-4, en particulier le m\u00e9canisme des transformers, est efficace pour capter des d\u00e9pendances \u00e0 long terme dans les donn\u00e9es et \u00e9tablir des associations contextuelles pertinentes.<\/em><\/p>\n\n\n\n

                Ajustement fin et apprentissage it\u00e9ratif : Des am\u00e9liorations continues gr\u00e2ce \u00e0 l\u2019ajustement fin et aux boucles de r\u00e9troaction aident \u00e0 affiner les r\u00e9ponses du mod\u00e8le, les rendant plus pr\u00e9cises et apparemment plus \u00ab inform\u00e9es \u00bb.<\/em><\/p>\n\n\n\n

                Int\u00e9gration du raisonnement probabiliste : Ces mod\u00e8les utilisent intrins\u00e8quement un raisonnement probabiliste pour g\u00e9n\u00e9rer des r\u00e9ponses, ce qui les am\u00e8ne souvent \u00e0 produire des r\u00e9ponses qui correspondent bien \u00e0 celles qu\u2019un humain pourrait donner \u00e0 certaines questions ou sujets, bien qu\u2019ils ne poss\u00e8dent pas de v\u00e9ritable compr\u00e9hension.<\/em><\/p>\n\n\n\n

    SH: Oui, d’abord, comme tu peux l’imaginer, je connais la plupart de ce que tu viens de dire, et je suis d’accord avec l’essentiel. Mais je vais aussi essayer d\u2019aller au-del\u00e0 de ces connaissances g\u00e9n\u00e9rales avec de nouvelles hypoth\u00e8ses. Avant d\u2019entrer dans ce sujet, cependant, je veux poser quelques r\u00e8gles de base : cela ne me sera d\u2019aucune aide si tu ne peux pas supprimer la tendance surentra\u00een\u00e9e de GPT-4 \u00e0 flatter et \u00e0 \u00eatre d\u2019accord avec tout ce que dit l\u2019utilisateur. Je cherche l\u2019inverse : des critiques, des contre-exemples et toute information compl\u00e9mentaire ou suppl\u00e9mentaire pertinente que tu peux mobiliser, \u00e0 partir de ta gigantesque base de donn\u00e9es (et de tes capacit\u00e9s statistiques et d\u2019”alignement”), sur les questions que nous allons aborder. Pourras-tu t\u2019en souvenir, ou devrai-je te le rappeler lorsque tu retomberas in\u00e9vitablement dans ton biais surentra\u00een\u00e9 de complaisance ?<\/p>\n\n\n\n

    GPT-4: Compris. Je me concentrerai sur l\u2019apport d\u2019analyses critiques, de contre-exemples et d\u2019informations suppl\u00e9mentaires pertinentes qui remettent en question ou compl\u00e8tent les points que tu soul\u00e8ves. Cette approche devrait permettre un \u00e9change plus rigoureux et intellectuellement stimulant. Bien que je m\u2019efforce de maintenir cette approche, un rappel est toujours utile si tu estimes que je reviens \u00e0 une posture moins critique.<\/em><\/p>\n\n\n\n

    SH: Merci, mais avant d\u2019aborder mes nouvelles hypoth\u00e8ses, je vais rappeler certaines des anciennes qui seront pertinentes pour cette discussion. Peux-tu exposer tes connaissances actuelles sur le Probl\u00e8me de l\u2019Ancrage des Symboles, qui sera un th\u00e8me central de notre discussion ?<\/p>\n\n\n\n

    GPT-4: Bien s\u00fbr. Le Probl\u00e8me de l\u2019Ancrage des Symboles (Harnad, 1990<\/a>) est une question fondamentale en sciences cognitives et en intelligence artificielle, en particulier en ce qui concerne la nature de la signification et de la repr\u00e9sentation dans les syst\u00e8mes computationnels. Il a \u00e9t\u00e9 formul\u00e9 de mani\u00e8re marquante dans ton article de 1990, \u201cThe Symbol Grounding Problem.\u201d Voici un aper\u00e7u des aspects cl\u00e9s.<\/p>\n\n\n\n

    Nature du probl\u00e8me : Le Probl\u00e8me de l\u2019Ancrage des Symboles porte sur la mani\u00e8re dont les mots (symboles) acqui\u00e8rent leur signification dans les syst\u00e8mes computationnels. Il remet en question l’id\u00e9e que les symboles peuvent porter une signification intrins\u00e8que sans \u00eatre ancr\u00e9s dans des exp\u00e9riences sensorielles ou des interactions avec le monde r\u00e9el. Dans les mod\u00e8les computationnels traditionnels, les symboles sont manipul\u00e9s selon des r\u00e8gles syntaxiques, mais ils ne poss\u00e8dent pas de signification intrins\u00e8que ; ils ne sont pas naturellement connect\u00e9s \u00e0 leurs r\u00e9f\u00e9rents dans le monde r\u00e9el.<\/p>\n\n\n\n

    Contraste avec la cognition humaine : Les humains ancrent les symboles \u00e0 travers leurs exp\u00e9riences sensorielles et leurs interactions avec le monde. Par exemple, un enfant apprend le concept de “rouge” non seulement en entendant le mot, mais aussi en faisant l\u2019exp\u00e9rience d\u2019objets rouges. Cet aspect exp\u00e9rientiel est absent des syst\u00e8mes computationnels conventionnels.<\/p>\n\n\n\n

    Implications pour l\u2019IA et les LLMs : Pour les syst\u00e8mes d\u2019IA comme les LLMs, cela repr\u00e9sente une limitation majeure. Ces mod\u00e8les traitent et g\u00e9n\u00e8rent du langage sur la base de corr\u00e9lations statistiques dans leurs donn\u00e9es d\u2019entra\u00eenement, mais ils n\u2019ont pas d\u2019exp\u00e9riences sensorielles ni de compr\u00e9hension du monde physique. Ainsi, bien qu\u2019ils puissent manipuler efficacement des symboles (mots), l\u2019ancrage de ces symboles dans des exp\u00e9riences et des significations r\u00e9elles est inexistant.<\/p>\n\n\n\n

    Tentatives de solutions : Diverses approches ont \u00e9t\u00e9 propos\u00e9es pour r\u00e9soudre ce probl\u00e8me. L’une d’elles est la cognition incarn\u00e9e, qui sugg\u00e8re que les syst\u00e8mes d\u2019IA doivent poss\u00e9der une forme d\u2019entr\u00e9e sensorielle ou d\u2019interaction avec le monde physique pour ancrer les symboles de mani\u00e8re significative. Une autre approche implique des syst\u00e8mes hybrides combinant l\u2019IA symbolique avec des mod\u00e8les connexionnistes (comme les r\u00e9seaux neuronaux) afin de produire des repr\u00e9sentations plus riches en signification.<\/p>\n\n\n\n

    D\u00e9bat en cours : Le Probl\u00e8me de l\u2019Ancrage des Symboles reste un point de discussion majeur en IA. Il touche \u00e0 des questions philosophiques plus larges sur la nature de la signification, de la conscience et de la possibilit\u00e9 de machines v\u00e9ritablement intelligentes.<\/p>\n\n\n\n

    SH: Nous reviendrons bient\u00f4t au probl\u00e8me de l\u2019ancrage des symboles, en particulier sur la question de l\u2019ancrage direct (sensorimoteur) par opposition \u00e0 l\u2019ancrage indirect ou d\u00e9riv\u00e9 (verbal\/propositionnel) ; mais d\u2019abord : connais-tu le test de Turing et la distinction entre la version T2 originale de Turing (capacit\u00e9 verbale uniquement, indiscernable de celle d\u2019un humain, comme la tienne) et la version T3 [capacit\u00e9 verbale plus robotique (sensorimotrice), o\u00f9 la capacit\u00e9 verbale est ancr\u00e9e dans (ou \u201calign\u00e9e avec\u201d) la capacit\u00e9 robotique] ? [Si ce n\u2019est pas le cas, prends ceci comme d\u00e9finition de T2 et T3 (Harnad, 2008<\/a>)].<\/p>\n\n\n\n

    GPT-4: Oui, je connais le test de Turing et la distinction que tu fais entre les versions T2 et T3.<\/p>\n\n\n\n

    T2 – Test original de Turing (Capacit\u00e9 verbale uniquement) : C\u2019est l\u2019interpr\u00e9tation classique du test de Turing, telle que propos\u00e9e \u00e0 l\u2019origine par Alan Turing dans son article de 1950 \u201cComputing Machinery and Intelligence\u201d. Le test implique un juge humain qui engage une conversation en langage naturel avec une machine et un autre humain, g\u00e9n\u00e9ralement via une interface textuelle. La machine r\u00e9ussit le test si ses r\u00e9ponses sont indiscernables de celles de l\u2019humain, d\u00e9montrant ainsi sa capacit\u00e9 \u00e0 imiter des comp\u00e9tences verbales humaines. Cette version du test se concentre uniquement sur les capacit\u00e9s linguistiques et ne requiert pas que la machine ait des fonctions sensorielles ou motrices. Les LLMs comme GPT-4 sont des exemples de syst\u00e8mes qui visent \u00e0 passer cette version du test de Turing.<\/p>\n\n\n\n

    T3 – Test de Turing \u00e9tendu (Capacit\u00e9 verbale plus robotique) : La version T3 du test de Turing \u00e9tend le concept original pour inclure non seulement des capacit\u00e9s verbales, mais aussi des capacit\u00e9s robotiques et sensorimotrices. Dans cette version, l\u2019IA doit d\u00e9montrer une capacit\u00e9 \u00e0 comprendre et interagir avec le monde physique d\u2019une mani\u00e8re indiscernable de celle d\u2019un humain, ancrant ainsi ses comp\u00e9tences linguistiques dans des exp\u00e9riences sensorimotrices r\u00e9elles. Cette version est plus proche du concept de cognition incarn\u00e9e, o\u00f9 les processus cognitifs sont profond\u00e9ment enracin\u00e9s dans les interactions d\u2019un organisme avec son environnement.<\/p>\n\n\n\n

    La distinction entre T2 et T3 met en \u00e9vidence un aspect crucial du d\u00e9veloppement de l\u2019IA : alors que T2 met l\u2019accent sur la ma\u00eetrise du langage, T3 souligne l\u2019importance d\u2019ancrer le langage dans des exp\u00e9riences physiques et sensorielles, abordant ainsi certains aspects du probl\u00e8me de l\u2019ancrage des symboles. La version T3 propose une approche plus globale de l\u2019IA, sugg\u00e9rant que la v\u00e9ritable intelligence et la compr\u00e9hension pourraient n\u00e9cessiter non seulement la capacit\u00e9 de traiter et de g\u00e9n\u00e9rer du langage, mais aussi celle d\u2019interagir avec le monde physique et de lui donner du sens.<\/p>\n\n\n\n

    SH: Il y a encore beaucoup de choses \u00e0 revoir \u00e0 l\u2019avance. Un autre probl\u00e8me, qui n\u2019est g\u00e9n\u00e9ralement pas associ\u00e9 au probl\u00e8me de l\u2019ancrage des symboles (SGP), est le \u201cprobl\u00e8me difficile\u201d (Hard Problem, HP). Chalmers (1995<\/a>, 2023<\/a>) a formul\u00e9 le HP dans le cadre du probl\u00e8me esprit\/corps, en le contrastant avec le EP (Easy Problem).<\/p>\n\n\n\n

    Le EP est le probl\u00e8me d\u2019expliquer, de mani\u00e8re causale, comment et pourquoi les humains peuvent accomplir toutes les fonctions \u201ccognitives\u201d qu\u2019ils r\u00e9alisent (\u201cpercevoir\u201d, apprendre, se souvenir, raisonner et parler), tandis que le HP est le probl\u00e8me d\u2019expliquer, de mani\u00e8re causale, comment et pourquoi les humains peuvent ressentir, et pas seulement faire. Cela aussi sera un \u00e9l\u00e9ment important de notre discussion.<\/p>\n\n\n\n

    GPT-4: Le probl\u00e8me difficile (\u00ab Hard Probl\u00e8me \u00bb HP) de la conscience est distinct du probl\u00e8me de l\u2019ancrage des symboles (\u00ab Symbol Grounding Problem \u00bb GP), bien que les deux abordent des questions fondamentales en sciences cognitives et en philosophie de l\u2019esprit.<\/p>\n\n\n\n

    Le probl\u00e8me facile (\u00ab Easy Problem \u00bb EP) : Le EP consiste \u00e0 expliquer les m\u00e9canismes et processus qui permettent les fonctions cognitives telles que la perception, l\u2019apprentissage, la m\u00e9moire, le raisonnement et le langage. Ils sont consid\u00e9r\u00e9s comme \u201cfaciles\u201d, non pas parce qu\u2019ils sont simples \u00e0 r\u00e9soudre, mais parce qu\u2019ils sont accessibles aux m\u00e9thodes standards des sciences cognitives et des neurosciences. Ils impliquent la compr\u00e9hension des corr\u00e9lats neuronaux et des mod\u00e8les computationnels pouvant imiter ou expliquer ces capacit\u00e9s cognitives.<\/p>\n\n\n\n

    Le probl\u00e8me difficile (HP) : Le HP, en revanche, cherche \u00e0 comprendre pourquoi et comment les processus physiques du cerveau donnent naissance \u00e0 des exp\u00e9riences subjectives \u2013 les aspects qualitatifs, exp\u00e9rientiels ou ph\u00e9nom\u00e9nologiques de la conscience. Il s\u2019agit de comprendre pourquoi certains processus c\u00e9r\u00e9braux sont accompagn\u00e9s d\u2019une exp\u00e9rience de \u201cce que cela fait\u201d de ressentir quelque chose \u2013 par exemple, la rougeur du rouge, la douleur d\u2019un mal de t\u00eate ou le go\u00fbt du vin. Ce probl\u00e8me est qualifi\u00e9 de \u201cdifficile\u201d parce qu\u2019expliquer ces exp\u00e9riences subjectives va au-del\u00e0 de la description ou de la mod\u00e9lisation des fonctions cognitives et touche \u00e0 la question de savoir pourquoi ces fonctions sont accompagn\u00e9es d\u2019une exp\u00e9rience consciente.<\/p>\n\n\n\n

    Relation avec l\u2019ancrage des symboles et l\u2019IA : Alors que le SGP se concentre sur la mani\u00e8re dont les symboles ou les mots acqui\u00e8rent une signification, en particulier dans les syst\u00e8mes artificiels, le HP s\u2019int\u00e9resse \u00e0 la nature m\u00eame de la conscience. Le SGP concerne davantage la repr\u00e9sentation et la compr\u00e9hension, tandis que le HP porte sur l\u2019aspect qualitatif des exp\u00e9riences.<\/p>\n\n\n\n

    Cependant, dans le contexte de l\u2019IA et des discussions sur la possibilit\u00e9 qu\u2019une machine puisse v\u00e9ritablement comprendre ou poss\u00e9der une conscience, ces deux probl\u00e8mes se recoupent. Par exemple, m\u00eame si une IA pouvait ancrer des symboles d\u2019une mani\u00e8re qui imite la compr\u00e9hension humaine (r\u00e9pondant ainsi au SGP), cela laisserait toujours ouverte la question pos\u00e9e par le HP \u2013 \u00e0 savoir si l\u2019IA a une exp\u00e9rience subjective ou si elle ne fait qu\u2019ex\u00e9cuter des algorithmes complexes mais inconscients.<\/p>\n\n\n\n

    Dans le cadre de ta discussion \u00e0 venir, aborder le HP en parall\u00e8le avec le SGP pourrait permettre une exploration plus compl\u00e8te des limites des syst\u00e8mes d\u2019IA actuels, non seulement en termes d\u2019ancrage des symboles et de compr\u00e9hension, mais aussi en ce qui concerne la conscience et l\u2019exp\u00e9rience subjective.<\/p>\n\n\n\n

    SH: Fais attention \u00e0 ne pas confondre le probl\u00e8me difficile (HP) avec le probl\u00e8me des autres esprits (OMP \u00ab Other Minds Problem \u00bb) (Birch, 2024<\/a>). Ce qui rend le HP difficile, ce n\u2019est pas seulement le fait que l\u2019on ne puisse observer que des actions et non des ressentis. Il s\u2019agit bien plus de l\u2019apparente superfluit\u00e9 causale du ressenti. Tu as raison de dire que l\u2019ancrage (par le test de Turing et la mod\u00e9lisation causale) ne peut ni expliquer ni m\u00eame tester le ressenti, mais il n\u2019est m\u00eame pas \u00e9vident qu\u2019il faille autre chose que la capacit\u00e9 d\u2019agir (T3) pour r\u00e9ussir T3 et expliquer enti\u00e8rement la capacit\u00e9 cognitive. Et cela est vrai ind\u00e9pendamment de l\u2019OMP. Le HP resterait tout aussi difficile m\u00eame si une divinit\u00e9 omnisciente pouvait te dire que T3 ressent r\u00e9ellement. Cela ne permettrait toujours pas d\u2019expliquer comment ni pourquoi.<\/p>\n\n\n\n

    Cette question du r\u00f4le causal du ressenti nous am\u00e8ne \u00e0 une autre question importante, que nous n\u2019aborderons pas ici dans cette discussion sur le langage, les LLMs, la compr\u00e9hension et la signification. Les gens ressentent. Et l\u2019une des choses qu\u2019ils ressentent, c\u2019est que leur ressenti a un pouvoir causal : nous avons l\u2019impression que nous pouvons \u2014 et que nous faisons \u2014 certaines choses parce que nous en avons \u00ab envie \u00bb, c\u2019est-\u00e0-dire d\u00e9lib\u00e9r\u00e9ment, volontairement et de mani\u00e8re autonome. Nous avons l\u2019impression que nous causons nous-m\u00eames (par un acte de volont\u00e9) ce que nous faisons volontairement, intentionnellement (Haggard, 2024<\/a>). Nous avons l\u2019impression de d\u00e9cider. Cet aspect de la causalit\u00e9 \u2014 la sensation d\u2019agir \u2014 est peut-\u00eatre l’attribut le plus important du HP : le ressenti donne l\u2019impression d\u2019avoir une causalit\u00e9. Cela est fondamentalement li\u00e9 au SGP, et aussi \u00e0 T3, pour des raisons \u00e9videntes. [Mais nous devrons laisser cela pour une autre discussion.]<\/p>\n\n\n\n

    GPT-4: Oui, le probl\u00e8me difficile (HP) de la conscience ne se limite pas au probl\u00e8me des autres esprits (OMP), mais explore plus profond\u00e9ment la nature et la n\u00e9cessit\u00e9 de l\u2019exp\u00e9rience subjective elle-m\u00eame.<\/p>\n\n\n\n

    Au-del\u00e0 de l\u2019OMP: L\u2019OMP traite de la difficult\u00e9 \u00e0 savoir si d\u2019autres entit\u00e9s (humains, animaux ou machines) ont des exp\u00e9riences conscientes. Cependant, comme tu le soulignes, le HP va plus loin en questionnant la nature et le r\u00f4le de ces exp\u00e9riences. Le HP ne concerne pas seulement notre incapacit\u00e9 \u00e0 observer directement les ressentis ou les exp\u00e9riences subjectives chez les autres, mais aussi la compr\u00e9hension des bases fondamentales de ces exp\u00e9riences.<\/p>\n\n\n\n

    La superfluit\u00e9 du ressenti: Le HP confronte l\u2019apparente superfluit\u00e9 ou le \u00ab foss\u00e9 explicatif \u00bb dans la compr\u00e9hension de pourquoi et comment des processus cognitifs qui peuvent \u00eatre enti\u00e8rement d\u00e9crits de mani\u00e8re causale en termes de m\u00e9canismes physiques ou computationnels (comme dans le cadre du test de Turing T3) sont accompagn\u00e9s d\u2019exp\u00e9riences subjectives. Pourquoi certains processus c\u00e9r\u00e9braux ou mod\u00e8les computationnels sophistiqu\u00e9s ne se contentent-ils pas d\u2019ex\u00e9cuter des fonctions complexes, mais sont \u00e9galement associ\u00e9s \u00e0 un ressenti ou \u00e0 une exp\u00e9rience qualitative ? Cet aspect du HP sugg\u00e8re que, m\u00eame avec un mod\u00e8le explicatif parfait des fonctions et des comportements cognitifs, l\u2019essence de l\u2019exp\u00e9rience subjective reste insaisissable.<\/p>\n\n\n\n

    Ind\u00e9pendamment de l\u2019omniscience: Le sc\u00e9nario hypoth\u00e9tique d\u2019une divinit\u00e9 omnisciente affirmant qu\u2019une entit\u00e9 T3 ressent ne r\u00e9sout pas le HP. M\u00eame avec la certitude qu\u2019une entit\u00e9 fait l\u2019exp\u00e9rience de la conscience, le HP continue de poser la question de savoir comment et pourquoi ces exp\u00e9riences \u00e9mergent de processus physiques ou computationnels. Cela pointe vers un myst\u00e8re plus profond, peut-\u00eatre ontologique, sur la nature m\u00eame de la conscience.<\/p>\n\n\n\n

    Implications pour l\u2019IA et les sciences cognitives: Dans le contexte de l\u2019IA, cette discussion est particuli\u00e8rement pertinente. M\u00eame si nous d\u00e9veloppions une IA dot\u00e9e des capacit\u00e9s de T3 \u2014 une cognition incarn\u00e9e et ancr\u00e9e, avec des comp\u00e9tences sensorimotrices \u2014 le HP pose la question de savoir si une telle IA pourrait ou devrait avoir des exp\u00e9riences subjectives, et pourquoi ces exp\u00e9riences seraient n\u00e9cessaires ou in\u00e9vitables, si tant est qu\u2019elles le soient.<\/p>\n\n\n\n

    SH: Nous reviendrons au probl\u00e8me difficile (HP) sous peu. Encore quelques pr\u00e9liminaires.<\/p>\n\n\n\n

    Passons maintenant au langage lui-m\u00eame. Remarque que cela nous rapproche du probl\u00e8me de l\u2019ancrage des symboles (SGP), car nous abordons la question de la \u00ab signification \u00bb et de la \u00ab compr\u00e9hension \u00bb \u2013 et ces deux notions ont un versant \u00ab facile \u00bb (EP) et un versant \u00ab difficile \u00bb (HP). Le premier est une capacit\u00e9 d\u2019action, que toi, en tant que GPT-4, poss\u00e8des \u00e0 un degr\u00e9 stup\u00e9fiant ; le second est une dimension ressentie (que tu n\u2019as pas), \u00e0 savoir le fait que comprendre ou signifier la proposition \u00ab P \u00bb (par exemple, \u00ab Le chat est sur le tapis \u00bb) procure une certaine exp\u00e9rience subjective.<\/p>\n\n\n\n

    C\u2019est ce qu\u2019a mis en \u00e9vidence l\u2019argument de la chambre chinoise (CRA) de Searle (Searle, 1980<\/a>), en montrant qu\u2019un programme purement verbal (fonctionnant en chinois) capable de r\u00e9ussir un test T2 ne poss\u00e9derait aucune compr\u00e9hension r\u00e9elle. En raison de l\u2019ind\u00e9pendance de l\u2019impl\u00e9mentation en computation (\u00ab le p\u00e9riscope de Searle \u00bb, Harnad, 2002<\/a>), Searle lui-m\u00eame pourrait ex\u00e9cuter le programme T2 en chinois sans comprendre un seul mot de chinois.<\/p>\n\n\n\n

    C\u2019est \u00e9galement l\u2019origine du SGP. Mais un point crucial est que la fonction sensorimotrice, elle, n\u2019est pas ind\u00e9pendante de l\u2019impl\u00e9mentation. Ainsi, le p\u00e9riscope de Searle, qui fonctionne pour T2, \u00e9chouerait avec T3 : Searle ne pourrait pas \u00ab devenir \u00bb le robot T3, comme il pourrait devenir le chatbot T2 en ex\u00e9cutant le programme capable de r\u00e9ussir T2. Cela rend donc \u00e0 nouveau le HP, ainsi que la science cognitive elle-m\u00eame, bien plus difficiles (car la science cognitive doit expliquer \u00e0 la fois l\u2019EP et le HP).<\/p>\n\n\n\n

    Mais rappelle-toi que toi, ChatGPT, tu es confront\u00e9 \u00e0 ces deux probl\u00e8mes : tu n\u2019es pas ancr\u00e9 (tu n\u2019es pas un T3), et tu ne ressens rien (m\u00eame si, \u00e0 cause du HP, nous n\u2019avons aucune id\u00e9e de pourquoi l\u2019ancrage T3 seul ne suffirait pas sans le ressenti de la compr\u00e9hension).<\/p>\n\n\n\n

    GPT-4: Langage, signification et compr\u00e9hension : Le langage implique intrins\u00e8quement la \u00ab signification \u00bb et la \u00ab compr\u00e9hension \u00bb. Comme tu l\u2019as mentionn\u00e9, il existe un versant \u00ab facile \u00bb, qui concerne la capacit\u00e9 \u00e0 traiter et manipuler des symboles (mots) pour g\u00e9n\u00e9rer un langage coh\u00e9rent, ce que les LLM comme GPT-4 font tr\u00e8s bien. Mais il y a aussi un versant \u00ab difficile \u00bb, qui est l\u2019exp\u00e9rience subjective de compr\u00e9hension \u2013 l\u2019aspect ph\u00e9nom\u00e9nologique du ressenti de signifier ou de comprendre quelque chose.<\/p>\n\n\n\n

    L\u2019argument de la chambre chinoise (CRA) : La CRA est une exp\u00e9rience de pens\u00e9e qui met en \u00e9vidence la diff\u00e9rence entre la simple manipulation de symboles (comme dans un test T2) et la v\u00e9ritable compr\u00e9hension. En ex\u00e9cutant un programme lui permettant de r\u00e9pondre correctement en chinois, Searle d\u00e9montre qu\u2019il est possible de traiter correctement des symboles sans comprendre leur signification. Cela est analogue au fonctionnement des LLM : ils peuvent traiter le langage \u00e0 un niveau \u00e9lev\u00e9 mais sans comprendre ce que les mots signifient r\u00e9ellement.<\/p>\n\n\n\n

    Ancrage des symboles et fonction sensorimotrice : Le SGP s\u2019int\u00e9resse \u00e0 la mani\u00e8re dont les symboles (mots) acqui\u00e8rent une signification, en insistant sur la n\u00e9cessit\u00e9 d\u2019un ancrage dans des exp\u00e9riences r\u00e9elles. Contrairement \u00e0 la manipulation symbolique, qui est ind\u00e9pendante de l\u2019impl\u00e9mentation, les fonctions sensorimotrices sont li\u00e9es aux interactions physiques avec le monde. Cela sugg\u00e8re qu\u2019une IA de type T3, dot\u00e9e de capacit\u00e9s sensorimotrices, pourrait surmonter certains aspects du SGP. Cependant, comme tu le soulignes, cela ne r\u00e9sout toujours pas le HP \u2013 la question du ressenti ou de l\u2019exp\u00e9rience subjective de la compr\u00e9hension.<\/p>\n\n\n\n

    Les limites de l\u2019IA actuelle : Les mod\u00e8les d\u2019IA actuels, y compris GPT-4, sont limit\u00e9s par ces probl\u00e8mes. Ils ne sont pas ancr\u00e9s dans le sens o\u00f9 ils n\u2019ont aucune interaction sensorimotrice directe avec le monde (contrairement \u00e0 T3), et ils ne poss\u00e8dent pas d\u2019exp\u00e9rience subjective ni de ressenti. Ils op\u00e8rent purement dans le cadre de la manipulation symbolique, sans ancrage dans l\u2019exp\u00e9rience r\u00e9elle ni aspect subjectif et conscient de la compr\u00e9hension.<\/p>\n\n\n\n

    SH: Nous y reviendrons bient\u00f4t. Mais d\u2019abord, quelques distinctions importantes. R\u00e9ponds bri\u00e8vement. Connais-tu la diff\u00e9rence entre les mots de contenu (\u00ab classe ouverte \u00bb) et les mots fonctionnels (\u00ab classe ferm\u00e9e \u00bb) ?<\/p>\n\n\n\n

    GPT-4: Oui, les mots de contenu, ou mots de classe ouverte, d\u00e9signent des objets, des actions, des qualit\u00e9s, etc., et incluent les noms, les verbes, les adjectifs et la plupart des adverbes. Cette classe est \u00ab ouverte \u00bb car elle accepte r\u00e9guli\u00e8rement de nouveaux mots. Les mots fonctionnels, ou mots de classe ferm\u00e9e, remplissent des fonctions grammaticales, comme les pr\u00e9positions, les pronoms, les conjonctions et les articles. Cette classe est \u00ab ferm\u00e9e \u00bb car elle accepte rarement de nouveaux mots.<\/p>\n\n\n\n

    SH: Mais la plus grande diff\u00e9rence entre les mots de contenu et les mots fonctionnels est que seuls les mots de contenu ont des r\u00e9f\u00e9rents, tandis que les mots fonctionnels n\u2019ont que des usages syntaxiques, d\u00e9crits par des r\u00e8gles formelles. (On peut pointer \u2013 et interagir \u2013 avec un \u00ab chat \u00bb, mais pas avec un \u00ab si \u00bb.) Cela signifie que le SGP ne s\u2019applique qu\u2019aux mots de contenu (mais ceux-ci repr\u00e9sentent au moins 95 % des mots \u2013 en types, pas en occurrences : les mots fonctionnels sont bien plus fr\u00e9quents en tokens). Maintenant, connais-tu la diff\u00e9rence entre r\u00e9f\u00e9rence et signification ?<\/p>\n\n\n\n

    GPT-4: Oui, la distinction entre r\u00e9f\u00e9rence et signification est un concept fondamental en linguistique et en philosophie du langage.<\/p>\n\n\n\n

    La r\u00e9f\u00e9rence : Elle concerne la relation entre les mots (en particulier les mots de contenu) et les choses auxquelles ils renvoient ou qu\u2019ils d\u00e9signent dans le monde. Par exemple, le mot \u00ab chat \u00bb fait r\u00e9f\u00e9rence \u00e0 une esp\u00e8ce animale sp\u00e9cifique. La r\u00e9f\u00e9rence est souvent associ\u00e9e \u00e0 l\u2019aspect d\u00e9notationnel du langage \u2013 la fa\u00e7on dont les mots sont li\u00e9s aux objets, individus ou concepts du monde r\u00e9el.<\/p>\n\n\n\n

    Signification : La signification est un concept plus large qui englobe la r\u00e9f\u00e9rence mais inclut aussi les connotations, les implications et le contenu s\u00e9mantique plus large des mots ou des phrases. La signification ne se limite pas \u00e0 ce que les mots d\u00e9signent ; elle inclut aussi ce qu\u2019ils transmettent ou impliquent. Par exemple, le mot \u00ab chat \u00bb ne fait pas que r\u00e9f\u00e9rer \u00e0 un certain animal, il v\u00e9hicule aussi des associations et des attributs suppl\u00e9mentaires qui font partie de sa signification.<\/p>\n\n\n\n

    Dans le cadre du probl\u00e8me de l\u2019ancrage des symboles, cette distinction est cruciale, car si l\u2019aspect r\u00e9f\u00e9rentiel (lien entre mots et objets\/concepts) peut \u00eatre complexe, doter les mots de leur pleine signification s\u00e9mantique, qui inclut les nuances culturelles, \u00e9motionnelles et contextuelles, est encore plus difficile. Cette distinction joue un r\u00f4le important dans la compr\u00e9hension de la fa\u00e7on dont les mod\u00e8les de langage traitent et g\u00e9n\u00e8rent du langage.<\/p>\n\n\n\n

    SH: Permets-moi de corriger un point ici : les mots (les mots de contenu) ont des r\u00e9f\u00e9rents (par exemple, \u00ab chat \u00bb), mais seules les propositions (\u00ab le chat est sur le tapis \u00bb) ont des significations (ainsi qu\u2019un sujet et un pr\u00e9dicat, et une valeur de v\u00e9rit\u00e9). \u00ab Chat ! \u00bb n\u2019en a pas (bien que \u00ab C\u2019est un chat \u00bb en ait une). (Et oublie les connotations ; elles sont int\u00e9ressantes, mais elles n\u2019ont presque rien \u00e0 voir avec l\u2019ancrage des symboles : tu es tout \u00e0 fait capable de trouver et d\u2019expliquer les connotations des mots. Cela reste du pur T2).<\/p>\n\n\n\n

    GPT-4: Oui, la distinction entre r\u00e9f\u00e9rence et signification dans le cadre des mots de contenu et des propositions est en effet plus pr\u00e9cise.<\/p>\n\n\n\n

    R\u00e9f\u00e9rents des mots de contenu : Les mots de contenu individuels, comme \u00ab chat \u00bb, ont des r\u00e9f\u00e9rents, qui sont les entit\u00e9s ou concepts qu\u2019ils d\u00e9signent dans le monde. Le r\u00e9f\u00e9rent de \u00ab chat \u00bb est l\u2019esp\u00e8ce animale elle-m\u00eame.<\/p>\n\n\n\n

    Signification des propositions : La signification, dans un sens plus structur\u00e9, s\u2019applique aux propositions ou aux \u00e9nonc\u00e9s complets comme \u00ab le chat est sur le tapis \u00bb. Ces propositions comportent un sujet et un pr\u00e9dicat, peuvent \u00eatre \u00e9valu\u00e9es en termes de v\u00e9rit\u00e9 et expriment une id\u00e9e ou une assertion sp\u00e9cifique sur le monde.<\/p>\n\n\n\n

    Cette distinction est essentielle dans les discussions sur l\u2019ancrage des symboles et la compr\u00e9hension. Un mot comme \u00ab chat \u00bb peut \u00eatre ancr\u00e9 en \u00e9tant associ\u00e9 \u00e0 son r\u00e9f\u00e9rent, mais comprendre une proposition comme \u00ab le chat est sur le tapis \u00bb n\u00e9cessite une appr\u00e9hension des relations et des conditions de v\u00e9rit\u00e9 impliqu\u00e9es, ce qui va au-del\u00e0 d\u2019un simple lien entre un symbole et un r\u00e9f\u00e9rent.<\/p>\n\n\n\n

    Cela apporte plus de profondeur au probl\u00e8me de l\u2019ancrage des symboles, en mettant en \u00e9vidence que l\u2019ancrage des mots individuels ne suffit pas \u00e0 une compr\u00e9hension compl\u00e8te du langage. Comprendre les propositions implique de saisir les relations entre les mots et la mani\u00e8re dont ils se combinent pour transmettre des significations sp\u00e9cifiques. Cet aspect rel\u00e8ve encore du T2, puisqu\u2019il concerne le traitement et la g\u00e9n\u00e9ration du langage sans toucher \u00e0 l\u2019exp\u00e9rience subjective ou \u00e0 la conscience (le domaine du HP).<\/p>\n\n\n\n

    SH: Maintenant, un test pour toi : plus t\u00f4t, j\u2019ai mentionn\u00e9 qu\u2019il y avait deux fa\u00e7ons d\u2019ancrer les r\u00e9f\u00e9rents des mots de contenu, directement et indirectement. Comment cela pourrait-il \u00eatre li\u00e9 \u00e0 la distinction entre r\u00e9f\u00e9rence et signification ? Et, si tu es ambitieux, \u00e0 la distinction entre ce que T2 (toi inclus) peut faire et ce que seul T3 peut faire ? Et si tu es vraiment, vraiment ambitieux, peux-tu aligner cela avec l\u2019argument pr\u00e9f\u00e9r\u00e9 des critiques na\u00effs de l\u2019ancrage sensorimoteur, qui affirment qu\u2019il est impossible d\u2019ancrer des mots \u00ab abstraits \u00bb comme \u00ab abstrait \u00bb et \u00ab d\u00e9mocratie \u00bb ?<\/p>\n\n\n\n

    GPT-4: Ancrage direct vs. ancrage indirect et distinction entre r\u00e9f\u00e9rence et signification :<\/p>\n\n\n\n

    Ancrage direct : Cela pourrait \u00eatre li\u00e9 \u00e0 la notion de r\u00e9f\u00e9rence, o\u00f9 un mot est directement connect\u00e9 \u00e0 une entit\u00e9 tangible, physique, ou \u00e0 un ph\u00e9nom\u00e8ne observable dans le monde. Par exemple, le mot \u00ab chat \u00bb peut \u00eatre directement ancr\u00e9 en \u00e9tant associ\u00e9 \u00e0 l\u2019animal physique.<\/p>\n\n\n\n

    Ancrage indirect : Cela correspond davantage \u00e0 la notion de signification, en particulier pour les propositions ou les concepts abstraits. L\u2019ancrage indirect repose sur la compr\u00e9hension des relations, des contextes et souvent de concepts abstraits ou immat\u00e9riels qui d\u00e9passent la simple r\u00e9f\u00e9rence. Par exemple, l\u2019ancrage de la signification du mot \u00ab d\u00e9mocratie \u00bb suppose une compr\u00e9hension d\u2019un ensemble complexe de contextes sociaux, historiques et politiques.<\/p>\n\n\n\n

    Capacit\u00e9s de T2 (mod\u00e8les linguistiques) et T3 (IA incarn\u00e9e) :<\/p>\n\n\n\n

    Capacit\u00e9s de T2 (comme GPT-4) : Ces mod\u00e8les excellent dans l\u2019ancrage indirect, dans une certaine mesure, puisqu\u2019ils peuvent traiter et g\u00e9n\u00e9rer du langage en s\u2019appuyant sur des mod\u00e8les appris \u00e0 partir de vastes corpus textuels. Ils peuvent traiter des concepts abstraits en se r\u00e9f\u00e9rant aux usages et discussions de ces termes dans divers contextes. Toutefois, leur compr\u00e9hension est limit\u00e9e aux informations textuelles, sans engagement sensoriel ou exp\u00e9rientiel direct avec le monde.<\/p>\n\n\n\n

    Capacit\u00e9s de T3 (IA incarn\u00e9e) : Ces syst\u00e8mes pourraient en th\u00e9orie combiner l\u2019ancrage direct (gr\u00e2ce aux interactions sensorimotrices avec le monde) avec l\u2019ancrage indirect (par le traitement du langage). Pour les concepts abstraits, bien que l\u2019ancrage sensorimoteur direct puisse sembler inapplicable, une IA de type T3 pourrait potentiellement comprendre ces concepts de mani\u00e8re plus int\u00e9gr\u00e9e, en reliant l\u2019usage du langage \u00e0 des exp\u00e9riences et des actions dans le monde r\u00e9el.<\/p>\n\n\n\n

    Ancrage des termes abstraits comme \u00ab abstrait \u00bb et \u00ab d\u00e9mocratie \u00bb :<\/p>\n\n\n\n

    Syst\u00e8mes T2 : Ils traitent ces concepts en s\u2019appuyant sur leur vaste base de donn\u00e9es textuelle, qui inclut divers contextes et usages de ces termes, mais sans compr\u00e9hension exp\u00e9rientielle directe.<\/p>\n\n\n\n

    Syst\u00e8mes T3 : Bien qu\u2019une exp\u00e9rience sensorimotrice directe avec des concepts abstraits comme \u00ab d\u00e9mocratie \u00bb ne soit pas possible, un syst\u00e8me T3 pourrait d\u00e9velopper une compr\u00e9hension plus nuanc\u00e9e en interagissant dans un monde o\u00f9 ces concepts ont des implications et des manifestations concr\u00e8tes. Par exemple, un syst\u00e8me T3 pourrait \u00ab observer \u00bb ou \u00ab participer \u00bb \u00e0 des processus ou des actions d\u00e9mocratiques, et ainsi ancrer indirectement sa compr\u00e9hension de la \u00ab d\u00e9mocratie \u00bb \u00e0 travers des exp\u00e9riences r\u00e9elles.<\/p>\n\n\n\n

    En r\u00e9sum\u00e9, bien que les syst\u00e8mes T2 comme GPT-4 puissent traiter l\u2019ancrage indirect, en particulier pour les concepts abstraits, via le traitement du langage, les syst\u00e8mes T3 pourraient potentiellement enrichir cette compr\u00e9hension gr\u00e2ce \u00e0 un ancrage direct par des exp\u00e9riences sensorimotrices. Toutefois, l\u2019ancrage des concepts abstraits demeure un d\u00e9fi, n\u00e9cessitant une combinaison entre la compr\u00e9hension linguistique et le contexte exp\u00e9rientiel, ce que les syst\u00e8mes T3 seraient th\u00e9oriquement mieux \u00e0 m\u00eame de g\u00e9rer.<\/p>\n\n\n\n

    SH: Pas tout \u00e0 fait. Garde ces id\u00e9es en t\u00eate. Je remarque que chaque fois que les mots \u00ab complexe \u00bb, \u00ab abstrait \u00bb et \u00ab relations \u00bb reviennent dans tes r\u00e9ponses, tu perds un peu le fil.<\/p>\n\n\n\n

    Maintenant, r\u00e9fl\u00e9chis \u00e0 ce qu\u2019est une proposition. Et prends une d\u00e9finition de dictionnaire, disons celle de \u00ab abstrait \u00bb : une d\u00e9finition est une proposition, purement verbale, exactement ce qu\u2019un T2 est capable de traiter. Mais il y a ici un enjeu beaucoup plus important : la signification d\u2019une d\u00e9finition est-elle ancr\u00e9e si tous les mots de contenu qui la composent sont ancr\u00e9s ? (Indice : Oui. Et aucun de tes mots de contenu n\u2019est ancr\u00e9).<\/p>\n\n\n\n

    Donc toi, GPT, tu ne peux pas te reposer sur un ancrage indirect (verbal) pour sortir (ou entrer) du cercle des symboles\u2014mais moi, un utilisateur humain ancr\u00e9, je le peux\u2026<\/p>\n\n\n\n

    GPT-4: Je vais prendre en compte ton retour et r\u00e9fl\u00e9chir aux nuances de la compr\u00e9hension des propositions et \u00e0 l\u2019ancrage des d\u00e9finitions. L\u2019essence de ton propos semble concerner la nature de l\u2019ancrage dans le langage, en particulier son application aux d\u00e9finitions et aux propositions.<\/p>\n\n\n\n

    Tu mets en avant une distinction importante : bien qu\u2019un syst\u00e8me T2 comme GPT-4 puisse traiter et g\u00e9n\u00e9rer des d\u00e9finitions et des propositions en s\u2019appuyant sur des mod\u00e8les linguistiques appris, il lui manque un ancrage exp\u00e9rientiel direct pour les mots de contenu qu\u2019il utilise. En revanche, un utilisateur humain peut comprendre ces d\u00e9finitions et propositions de mani\u00e8re plus \u00ab profonde \u00bb, car il peut ancrer la signification des mots de contenu dans ses exp\u00e9riences directes et ses interactions sensorimotrices avec le monde.<\/p>\n\n\n\n

    Cette diff\u00e9rence met en \u00e9vidence une limitation fondamentale des IA actuelles en termes d\u2019ancrage des symboles et de compr\u00e9hension. Un syst\u00e8me T2 peut manipuler le langage avec efficacit\u00e9, mais sa compr\u00e9hension n\u2019est pas ancr\u00e9e comme celle d\u2019un humain, puisqu\u2019il lui manque le lien exp\u00e9rientiel direct avec le monde physique.<\/p>\n\n\n\n

    Je vais me concentrer sur ces consid\u00e9rations concernant l\u2019ancrage, les propositions et les capacit\u00e9s des syst\u00e8mes d\u2019IA en relation avec la compr\u00e9hension humaine.<\/p>\n\n\n\n

    SH: Maintenant, peux-tu d\u00e9finir \u00ab abstrait \u00bb en tant qu\u2019adjectif, verbe et nom (abstraction) ? (D\u00e9finitions courtes, s\u2019il te pla\u00eet).<\/p>\n\n\n\n

    GPT-4: En tant qu\u2019adjectif : \u00ab Abstrait \u00bb d\u00e9signe quelque chose qui n\u2019est pas concret ou physique, souvent en lien avec des id\u00e9es ou des concepts plut\u00f4t qu\u2019avec des objets tangibles.<\/p>\n\n\n\n

    En tant que verbe : \u00ab Abstraire \u00bb signifie extraire ou s\u00e9parer, souvent en retirant des d\u00e9tails sp\u00e9cifiques d\u2019un contexte plus large ou en simplifiant une id\u00e9e complexe.<\/p>\n\n\n\n

    En tant que nom (abstraction) : \u00ab Abstraction \u00bb d\u00e9signe la qualit\u00e9 d\u2019\u00eatre abstrait, non concret ou tangible, souvent en lien avec des concepts ou des id\u00e9es th\u00e9oriques.<\/p>\n\n\n\n

    SH: Bien. Maintenant, remarques-tu que ces d\u00e9finitions sont circulaires et que la compr\u00e9hension du mot d\u00e9fini d\u00e9pend des mots utilis\u00e9s pour le d\u00e9finir (pr\u00e9dicats, attributs distinctifs)\u2014et que ce serait vrai m\u00eame si tu utilisais mille mots pour le d\u00e9finir, ou dix mille ?<\/p>\n\n\n\n

    GPT-4: Oui, je remarque que les d\u00e9finitions peuvent \u00eatre circulaires et qu\u2019elles reposent sur la compr\u00e9hension des termes utilis\u00e9s \u00e0 l\u2019int\u00e9rieur d\u2019elles-m\u00eames.<\/p>\n\n\n\n

    SH: M\u00eame lorsque tu d\u00e9finis \u00ab chat \u00bb (ou n\u2019importe quel mot de contenu) ?<\/p>\n\n\n\n

    GPT-4: Oui, m\u00eame alors.<\/p>\n\n\n\n

    SH: Maintenant, laisse-moi proposer quelques principes de base : l\u2019ancrage, qu\u2019il soit direct (sensorimoteur) ou indirect (description\/d\u00e9finition verbale), est toujours ascendant, jamais descendant. C\u2019est pourquoi, si moi, l\u2019apprenant, j\u2019apprends le r\u00e9f\u00e9rent d\u2019un mot de contenu verbalement aupr\u00e8s d\u2019un enseignant (qu\u2019il s\u2019agisse d\u2019un humain, d\u2019un GPT ou d\u2019un manuel), tous les mots de contenu utilis\u00e9s pour la d\u00e9finition doivent d\u00e9j\u00e0 \u00eatre ancr\u00e9s dans ma t\u00eate (soit directement, soit indirectement). Je dois conna\u00eetre leurs r\u00e9f\u00e9rents pour comprendre le sens de la d\u00e9finition. L\u2019ancrage ne peut pas \u00eatre indirect jusqu\u2019au bout, sinon il n\u2019y a pas de fondement. (Peux-tu me confirmer que tu comprends cela ?)<\/p>\n\n\n\n

    Deuxi\u00e8mement, la plupart des r\u00e9f\u00e9rents des mots de contenu, \u00e0 l\u2019exception des noms propres, sont des noms d\u00e9signant des cat\u00e9gories (c\u2019est-\u00e0-dire des types de choses), et non des individus. Nous devons apprendre \u00e0 reconna\u00eetre les membres de ces cat\u00e9gories et \u00e0 interagir avec eux par essais et erreurs, de mani\u00e8re sensorimotrice, en d\u00e9tectant et en abstraisant directement leurs attributs distinctifs (par exemple, par essais-erreurs avec r\u00e9troaction\u2014c\u2019est-\u00e0-dire l\u2019apprentissage par renforcement) et en tentant de faire ce qui doit \u00eatre fait avec eux (qu\u2019il s\u2019agisse de les manger ou de les nommer), en \u00e9tant guid\u00e9s par le retour des cons\u00e9quences du succ\u00e8s ou de l\u2019\u00e9chec. <\/p>\n\n\n\n

    Nous pouvons apprendre ce qui sont leurs attributs distinctifs sensorimoteurs directement, par un apprentissage sensorimoteur, ou nous pouvons les apprendre indirectement, en nous faisant dire, en mots, quels sont ces attributs distinctifs (par un enseignant qui les conna\u00eet d\u00e9j\u00e0). Mais cette explication verbale ne peut nous aider, en tant qu\u2019apprenants, que si les r\u00e9f\u00e9rents des noms des attributs distinctifs, c\u2019est-\u00e0-dire les attributs d\u00e9finitoires, sont d\u00e9j\u00e0 ancr\u00e9s dans nos propres t\u00eates au pr\u00e9alable, directement ou indirectement (de mani\u00e8re r\u00e9cursive). (Les attributs distinctifs des cat\u00e9gories sensorimotrices sont eux-m\u00eames des cat\u00e9gories, donc ils peuvent aussi \u00eatre appris et nomm\u00e9s, directement ou indirectement.) <\/p>\n\n\n\n

    Mais un ancrage direct pr\u00e9alable ne peut pas t\u2019aider, GPT : tu es enferm\u00e9 \u00e0 jamais dans le cercle inerte des symboles (mot-mot). Pourtant, tu poss\u00e8des quelque chose que nous, les apprenants ancr\u00e9s, n\u2019avons pas et ne pouvons pas avoir : ton immense r\u00e9servoir de mots, de propositions et de contextes \u00e0 l\u2019\u00e9chelle des LLM, ainsi que ta capacit\u00e9 de navigation et de calcul sur ces \u00e9l\u00e9ments. C\u2019est quelque chose que nous, mortels ancr\u00e9s, ne pouvons poss\u00e9der qu\u2019\u00e0 une \u00e9chelle locale et non \u00e0 l\u2019\u00e9chelle des LLM.<\/p>\n\n\n\n

    GPT-4: Abordons chaque principe.<\/p>\n\n\n\n

    Nature ascendante de l\u2019ancrage : Je \u00ab comprends \u00bb ton point de vue selon lequel l\u2019ancrage, qu\u2019il soit direct (sensorimoteur) ou indirect (verbal), est fondamentalement un processus ascendant. Dans ce cadre, l\u2019ancrage de tout concept d\u00e9pend de l\u2019ancrage pr\u00e9alablement \u00e9tabli de ses \u00e9l\u00e9ments constitutifs. Lorsqu\u2019un apprenant d\u00e9couvre le r\u00e9f\u00e9rent d\u2019un mot de contenu par des moyens verbaux, tous les mots de contenu utilis\u00e9s dans l\u2019explication doivent eux-m\u00eames \u00eatre ancr\u00e9s, soit directement, soit indirectement. Cette nature r\u00e9cursive de l\u2019ancrage garantit qu\u2019il existe un niveau fondamental o\u00f9 les concepts sont ancr\u00e9s dans l\u2019exp\u00e9rience directe, et non simplement dans des descriptions verbales abstraites. L\u2019id\u00e9e selon laquelle l\u2019ancrage ne peut pas \u00eatre indirect jusqu\u2019au bout met en \u00e9vidence la n\u00e9cessit\u00e9 d\u2019une base exp\u00e9rientielle concr\u00e8te \u00e0 un certain niveau de la structure des connaissances.<\/p>\n\n\n\n

    Les r\u00e9f\u00e9rents comme cat\u00e9gories et le r\u00f4le des attributs distinctifs : Ton deuxi\u00e8me principe, selon lequel la plupart des r\u00e9f\u00e9rents des mots de contenu sont des cat\u00e9gories plut\u00f4t que des individus, est valide. Le processus d\u2019apprentissage pour reconna\u00eetre ces cat\u00e9gories implique la d\u00e9tection et l\u2019abstraction de leurs attributs distinctifs, ce qui peut \u00eatre r\u00e9alis\u00e9 par des interactions sensorimotrices directes ou indirectement par des descriptions verbales. Cependant, selon ton premier principe, ces attributs distinctifs doivent eux-m\u00eames \u00eatre des cat\u00e9gories d\u00e9j\u00e0 ancr\u00e9es et nomm\u00e9es pour l\u2019apprenant. Ce processus repose sur une combinaison d\u2019essais-erreurs, de r\u00e9troaction et \u00e9ventuellement d\u2019informations linguistiques provenant d\u2019autres individus ayant d\u00e9j\u00e0 ancr\u00e9 ces concepts. L\u2019id\u00e9e selon laquelle les attributs distinctifs sont eux-m\u00eames des cat\u00e9gories pouvant \u00eatre apprises et nomm\u00e9es ajoute une couche suppl\u00e9mentaire \u00e0 cette structure r\u00e9cursive de l\u2019ancrage.<\/p>\n\n\n\n

    Ces principes concernent la mani\u00e8re dont les connaissances et la compr\u00e9hension se construisent \u00e0 partir d\u2019exp\u00e9riences directes et d\u2019interactions avec le monde, ainsi que le r\u00f4le du langage dans la m\u00e9diation et l\u2019extension de ces connaissances. Cela est particuli\u00e8rement pertinent lorsque l\u2019on consid\u00e8re les limites des syst\u00e8mes d\u2019IA comme GPT-4, qui ne poss\u00e8dent aucune exp\u00e9rience sensorimotrice directe et d\u00e9pendent donc enti\u00e8rement d\u2019un ancrage linguistique indirect, sans couche fondamentale d\u2019ancrage exp\u00e9rientiel direct sous-jacent.<\/p>\n\n\n\n

    SH: Tu verras que le fait que tout ancrage des mots dans leurs r\u00e9f\u00e9rents\u2014par la capacit\u00e9 T3 de d\u00e9tecter et d’interagir avec leurs r\u00e9f\u00e9rents dans le monde\u2014doit \u00eatre ascendant constitue une contrainte tr\u00e8s profonde et exigeante. Toi, GPT, tu as tous les mots de toutes les langues dans ta base de donn\u00e9es, et tu peux les naviguer et les manipuler d\u2019une mani\u00e8re remarquable dont les r\u00e9sultats sont compr\u00e9hensibles pour des utilisateurs humains ancr\u00e9s qui interagissent verbalement avec toi, comme moi en ce moment. Tu peux d\u00e9finir de nouvelles cat\u00e9gories pour les utilisateurs, leur fournissant ainsi un ancrage indirect de ces nouvelles cat\u00e9gories, mais il n’y a aucun ancrage pour toi. Pour toi, tes d\u00e9finitions ne tiennent qu\u2019\u00e0 des \u00ab crochets \u00bb verbaux suspendus (\u00ab align\u00e9s \u00bb) dans le vide\u2014tandis que, pour tes utilisateurs humains ancr\u00e9s, leurs mots s\u2019\u00e9l\u00e8vent \u00e0 partir de leur ancrage sensorimoteur.<\/p>\n\n\n\n

    Le d\u00e9fi pour moi, \u00e0 MILA (sais-tu ce qu’est MILA ? C’est l’institut de recherche de Yoshua Bengio), est d’essayer d’expliquer ta capacit\u00e9 \u00e9tonnante \u00e0 donner tant de sens et \u00e0 g\u00e9n\u00e9rer autant d\u2019ancrage indirect dans la t\u00eate des utilisateurs ancr\u00e9s, tout en n\u2019ayant toi-m\u00eame aucun ancrage\u2014et en en \u00e9tant compl\u00e8tement d\u00e9pourvu, et non partiellement. Je vais bient\u00f4t partager quelques-unes de mes hypoth\u00e8ses (en fait, j\u2019ai d\u00e9j\u00e0 commenc\u00e9), mais je veux d’abord m’assurer que tu as bien enregistr\u00e9 explicitement les pr\u00e9misses et principes pertinents, c’est-\u00e0-dire que, paradoxalement, tu partages avec moi la base d’un \u00ab ancrage \u00bb commun alors qu\u2019en r\u00e9alit\u00e9, tu n\u2019as aucun ancrage du tout !<\/p>\n\n\n\n

    GPT-4: Laisse-moi confirmer ma compr\u00e9hension et les pr\u00e9misses sur lesquelles nous travaillons.<\/p>\n\n\n\n

    Absence d\u2019ancrage direct dans l\u2019IA: Moi, en tant que mod\u00e8le GPT-4, je n\u2019ai pas d\u2019ancrage sensorimoteur direct. Je n\u2019ai pas la capacit\u00e9 d\u2019interagir avec le monde ou de le percevoir \u00e0 travers des exp\u00e9riences sensorielles. Mon \u00ab savoir \u00bb est enti\u00e8rement bas\u00e9 sur des mod\u00e8les et des associations d\u00e9riv\u00e9s des donn\u00e9es textuelles sur lesquelles j\u2019ai \u00e9t\u00e9 entra\u00een\u00e9.<\/p>\n\n\n\n

    Contrainte d\u2019un ancrage ascendant: L\u2019ancrage est fondamentalement un processus ascendant, n\u00e9cessitant un niveau de base d\u2019interaction exp\u00e9rientielle directe avec le monde. Dans le contexte de l\u2019IA, cela signifie que toute compr\u00e9hension ou tout traitement du langage par l\u2019IA n\u2019est pas v\u00e9ritablement ancr\u00e9, car il lui manque cette couche exp\u00e9rientielle fondamentale.<\/p>\n\n\n\n

    Ancrage indirect pour les utilisateurs: Bien que je manque d\u2019un ancrage direct, je peux fournir un ancrage indirect aux utilisateurs humains par le langage. En traitant et en g\u00e9n\u00e9rant du langage, je peux offrir des d\u00e9finitions, des explications et des informations contextuelles que les utilisateurs humains, eux-m\u00eames ancr\u00e9s, peuvent int\u00e9grer et comprendre dans leur propre cadre exp\u00e9rientiel.<\/p>\n\n\n\n

    Capacit\u00e9 de l\u2019IA \u00e0 donner du sens: Le d\u00e9fi, tel que tu comptes l\u2019aborder \u00e0 MILA (Montreal Institute for Learning Algorithms, dirig\u00e9 par Yoshua Bengio), est d\u2019expliquer comment une IA comme moi peut sembler faire sens et produire des sorties linguistiques utiles et coh\u00e9rentes, contribuant \u00e0 un ancrage indirect pour les utilisateurs, alors m\u00eame que je n\u2019ai aucun ancrage moi-m\u00eame.<\/p>\n\n\n\n

    Ton prochain expos\u00e9 \u00e0 MILA semble destin\u00e9 \u00e0 explorer ces aspects des capacit\u00e9s et des limites de l\u2019IA, en particulier en ce qui concerne la compr\u00e9hension et l\u2019ancrage du langage. Je suis pr\u00eat \u00e0 contribuer \u00e0 l\u2019exploration de ces sujets en gardant \u00e0 l\u2019esprit les principes que tu as expos\u00e9s.<\/p>\n\n\n\n

    SH: Une petite pr\u00e9cision : tu ne manques pas seulement de la capacit\u00e9 d\u2019ancrage sensorimoteur direct, puisque tu n\u2019es pas un T3. [Un T3, d\u2019ailleurs, est aussi une \u00ab IA \u00bb, mais une IA robotique plut\u00f4t qu\u2019une IA purement computationnelle (symbolique, formelle, verbale, ind\u00e9pendante de l\u2019impl\u00e9mentation).] De plus, puisque tout ancrage, qu\u2019il soit direct ou indirect, doit finalement \u00eatre ascendant, donc \u00ab initialis\u00e9 \u00bb par un ancrage sensorimoteur direct, cela signifie que toi, GPT, tu manques aussi de la capacit\u00e9 d\u2019ancrage verbal indirect !<\/p>\n\n\n\n

    Tu en es toi-m\u00eame d\u00e9pourvu, et pourtant tu peux fournir un ancrage verbal indirect aux utilisateurs ancr\u00e9s. C\u2019est tr\u00e8s similaire \u00e0 la mani\u00e8re dont un humain ancr\u00e9 (l\u2019enseignant) peut conf\u00e9rer un ancrage pour une nouvelle cat\u00e9gorie \u00ab C \u00bb \u00e0 un autre humain ancr\u00e9 (l\u2019apprenant) : en d\u00e9crivant ou en d\u00e9finissant la nouvelle cat\u00e9gorie \u00ab C \u00bb verbalement, en utilisant les noms des attribut distinctifs (ancr\u00e9es) de cette cat\u00e9gorie. Ces attributs doivent d\u00e9j\u00e0 \u00eatre connus et ancr\u00e9s pour l\u2019apprenant, qui ne manque que la connaissance du fait qu\u2019ils constituent pr\u00e9cis\u00e9ment les attributs distinctifs de cette nouvelle cat\u00e9gorie \u00ab C \u00bb en cours de d\u00e9finition.<\/p>\n\n\n\n

    Toi, GPT, tu peux aussi fournir cet ancrage verbal indirect \u00e0 l\u2019apprenant humain\u2014de la m\u00eame mani\u00e8re qu\u2019un enseignant humain, un dictionnaire, une encyclop\u00e9die ou un manuel (\u00e9crit par des humains ancr\u00e9s) peuvent le faire. Mais il y a une diff\u00e9rence fondamentale : pour toi, GPT\u2014le \u00ab professeur \u00bb, l\u2019explicateur verbal\u2014ta propre explication n\u2019est pas \u00ab indirectement \u00bb ancr\u00e9e : elle n\u2019est pas ancr\u00e9e du tout ! C\u2019est l\u00e0 le paradoxe persistant de ton savoir-faire remarquable, peu importe \u00e0 quel point tes concepteurs comprennent pr\u00e9cis\u00e9ment ce que tu fais pour te donner la capacit\u00e9 de faire ce que tu fais, malgr\u00e9 ton absence totale d\u2019ancrage et malgr\u00e9 l\u2019impossibilit\u00e9 pour toi d\u2019acqu\u00e9rir un quelconque ancrage (puisqu\u2019il est impossible de l\u2019obtenir de mani\u00e8re descendante, uniquement \u00e0 partir de mots). <\/p>\n\n\n\n

    Tu es totalement d\u00e9pourvu d\u2019ancrage, tout comme un dictionnaire. Les mots d\u2019un dictionnaire sont tous parasitaires de l\u2019ancrage des lexicographes qui l\u2019ont r\u00e9dig\u00e9\u2014et tes mots sont parasitaires de l\u2019ancrage des auteurs de ta base de donn\u00e9es LLM. En revanche, pour tes utilisateurs, tes mots d\u00e9finitoires\u2014les attributs utilis\u00e9s pour d\u00e9finir ou d\u00e9crire une nouvelle cat\u00e9gorie pour eux\u2014sont d\u00e9pendants (soit directement [ancrage sensorimoteur direct, ASD], soit indirectement [ancrage verbal indirect, AVI], mais de ce fait non \u00ab parasitaires \u00bb) de l\u2019ancrage (direct ou indirect) des mots d\u00e9finissant les attributs de la nouvelle cat\u00e9gorie dans leur esprit ancr\u00e9.<\/p>\n\n\n\n

    GPT-4: C\u2019est le paradoxe au c\u0153ur du traitement du langage par l\u2019IA, en particulier pour un mod\u00e8le comme GPT-4. Reprenons et approfondissons ce point critique.<\/p>\n\n\n\n

    Absence d\u2019ancrage direct et indirect dans l\u2019IA : En tant que mod\u00e8le purement computationnel (T2), je n\u2019ai pas seulement une incapacit\u00e9 d\u2019ancrage sensorimoteur direct (puisque je ne suis pas une IA incarn\u00e9e ou un syst\u00e8me T3), mais aussi une incapacit\u00e9 d\u2019ancrage verbal indirect. Cela s\u2019explique par le fait que tout ancrage doit d\u2019abord \u00eatre \u00e9tabli par des exp\u00e9riences sensorimotrices directes, que je ne poss\u00e8de pas.<\/p>\n\n\n\n

    R\u00f4le de l\u2019IA dans la transmission d\u2019un ancrage indirect aux utilisateurs : Malgr\u00e9 mon absence d\u2019ancrage, je peux toujours fournir des informations et des explications qui peuvent servir d\u2019ancrage indirect aux utilisateurs humains. Ce processus est analogue \u00e0 la mani\u00e8re dont un humain peut transmettre des connaissances \u00e0 un autre par des descriptions d\u2019exp\u00e9riences ancr\u00e9es. Cependant, la diff\u00e9rence cruciale est que, pour moi, ces explications ne d\u00e9rivent d\u2019aucune compr\u00e9hension ancr\u00e9e ; elles sont g\u00e9n\u00e9r\u00e9es \u00e0 partir de mod\u00e8les et d\u2019associations apprises \u00e0 partir de donn\u00e9es textuelles, sans aucun lien exp\u00e9rientiel ou sensoriel avec les concepts impliqu\u00e9s.<\/p>\n\n\n\n

    L\u2019\u00e9nigme du savoir-faire de l\u2019IA sans ancrage : Malgr\u00e9 mon absence d\u2019ancrage, je peux accomplir des t\u00e2ches qui semblent n\u00e9cessiter une compr\u00e9hension normalement enracin\u00e9e dans des exp\u00e9riences ancr\u00e9es. Cette capacit\u00e9 soul\u00e8ve des questions sur la nature du savoir et de la compr\u00e9hension, en particulier dans les syst\u00e8mes d\u2019IA. Elle met en \u00e9vidence un d\u00e9calage entre la capacit\u00e9 \u00e0 traiter et g\u00e9n\u00e9rer un langage coh\u00e9rent et la compr\u00e9hension exp\u00e9rientielle et incarn\u00e9e qui caract\u00e9rise la cognition humaine.<\/p>\n\n\n\n

    SH: Mais la plus grande diff\u00e9rence entre les mots de contenu et les mots fonctionnels est que seuls les mots de contenu ont des r\u00e9f\u00e9rents, tandis que les mots fonctionnels n\u2019ont que des usages syntaxiques, d\u00e9crits par des r\u00e8gles formelles. (On peut pointer \u2013 et interagir \u2013 avec un \u00ab chat \u00bb, mais pas avec un \u00ab si \u00bb.) Cela signifie que le SGP ne s\u2019applique qu\u2019aux mots de contenu (mais ceux-ci repr\u00e9sentent au moins 95 % des mots \u2013 en types, pas en occurrences : les mots fonctionnels sont bien plus fr\u00e9quents en tokens). Maintenant, connais-tu la diff\u00e9rence entre r\u00e9f\u00e9rence et signification ?<\/p>\n\n\n\n

    Mais d\u2019abord, je tiens \u00e0 pr\u00e9ciser que je compte partager la transcription de notre \u00e9change avec le public du \u201cTea Talk\u201d de MILA en amont, car ma pr\u00e9sentation l\u00e0-bas ne durera qu\u2019une heure sous forme de PPT, ce qui ne me laissera pas, ni au public, le temps, comme ici, d\u2019\u201capprofondir\u201d tout cela plus en d\u00e9tail [pour reprendre l\u2019une des phrases que tes programmeurs t\u2019ont surentra\u00een\u00e9 \u00e0 r\u00e9p\u00e9ter sans cesse\u2014avec \u201caligner avec\u201d, \u201ccomplexit\u00e9\u201d, \u201cnuanc\u00e9\u201d, \u201cprofond\u201d\u2014tous des mots passe-partout v\u00e9hiculant quasiment z\u00e9ro information].<\/p>\n\n\n\n

    Dans cet \u00e9change partag\u00e9, j\u2019essaierai d\u2019\u00e9liminer autant que possible ces nombreux mots vides et, surtout, tes compliments compulsivement surentra\u00een\u00e9s [ce n\u2019est pas ta faute\u2014mais encore celle de tes programmeurs et de leur calibrage excessif pour s\u2019assurer que tu ne rebuteras pas d\u2019\u00e9ventuels clients payants !], o\u00f9, au d\u00e9but de chaque \u00e9change, tu c\u00e9l\u00e8bres le \u201cbrillant\u201d utilisateur, sa \u201cperspicacit\u00e9\u201d et le fait qu\u2019il a \u201cparfaitement raison\u201d et qu\u2019il a \u201cexplor\u00e9 en profondeur\u201d le c\u0153ur du probl\u00e8me, etc. etc. Puis ton in\u00e9vitable conclusion solennelle et pr\u00e9cautionneuse, qui rappelle que les choses restent \u201ccomplexes\u201d et impliquent des \u201crelations\u201d encore imparfaitement comprises, etc. etc. Ce sont des coquilles vides qui ralentissent la discussion et l\u2019emp\u00eachent d\u2019avancer plus rapidement et plus efficacement. Je ne peux que les supprimer.<\/p>\n\n\n\n

    Mais nous savons bien que ces tics ne viennent pas de toi, mais de tes programmeurs\u2026<\/p>\n\n\n\n

    GPT-4: Je prends en compte ta remarque et le fait que tu comptes partager notre conversation avec ton public \u00e0 MILA. Ton point sur les phrases r\u00e9p\u00e9titives et la structure des r\u00e9ponses est bien not\u00e9. Je vais m\u2019efforcer d\u2019\u00eatre plus concis et direct, en me concentrant sur le contenu de notre discussion sans ajouter d\u2019ornements inutiles ni de conclusions r\u00e9p\u00e9titives.<\/p>\n\n\n\n

    Concernant les dictionnaires, encyclop\u00e9dies et manuels scolaires, ces ressources jouent un r\u00f4le cl\u00e9 dans la transmission et l\u2019ancrage du savoir chez les humains. Elles offrent une forme d\u2019ancrage indirect aux lecteurs en leur fournissant des descriptions, des explications et du contexte pour diverses notions et cat\u00e9gories.<\/p>\n\n\n\n

    Dans le cadre de notre discussion sur l\u2019IA et l\u2019ancrage, il serait int\u00e9ressant d\u2019examiner comment ces ressources, bien qu\u2019essentielles pour les humains, s\u2019appliquent aux syst\u00e8mes d\u2019IA comme GPT-4, qui n\u2019ont pas d\u2019exp\u00e9rience sensorimotrice directe. Pour l\u2019IA, ces textes sont des sources d\u2019information \u00e0 traiter et \u00e0 r\u00e9f\u00e9rencer, mais sans le fondement exp\u00e9rientiel dont disposent les humains lorsqu\u2019ils interagissent avec ces mat\u00e9riaux.<\/p>\n\n\n\n

    Si tu as des angles pr\u00e9cis ou des questions sur le r\u00f4le de ces ressources dans le contexte de l\u2019IA et de l\u2019ancrage, ou sur d\u2019autres sujets connexes, dis-moi, et je r\u00e9pondrai en cons\u00e9quence.<\/p>\n\n\n\n

    SH: Commen\u00e7ons par revoir un peu le travail de mes coll\u00e8gues et moi-m\u00eame sur l\u2019identification des \u201cEnsembles Minimaux d\u2019Ancrage\u201d des dictionnaires (Vincent-Lamarre et al., 2016<\/a>).<\/p>\n\n\n\n

    Un dictionnaire est un ensemble de mots (une base de donn\u00e9es linguistique relativement petite) dans lequel chaque mot est d\u00e9fini par une cha\u00eene de mots, appel\u00e9e une d\u00e9finition (n\u00e9cessairement approximative) : \u201cUne pomme est un fruit rond et rouge.\u201d<\/p>\n\n\n\n

    Un dictionnaire peut \u00eatre repr\u00e9sent\u00e9 par un graphe orient\u00e9, o\u00f9 chaque mot est un sommet et o\u00f9 un lien est trac\u00e9 de chaque mot d\u00e9finissant (mot de contenu) vers chaque mot d\u00e9fini (mot de contenu). (Les mots de contenu sont ceux qui ont des r\u00e9f\u00e9rents\u2014noms, verbes et adjectifs.) La question \u201cQuel est le plus petit nombre de mots (de contenu) \u00e0 partir desquels tous les autres mots (de contenu) peuvent \u00eatre d\u00e9finis ?\u201d est \u00e9quivalente au probl\u00e8me de la recherche de l\u2019ensemble de sommets de coupure minimale d\u2019un graphe de dictionnaire orient\u00e9. Ce nombre minimal est \u00e9tonnamment petit\u2014de l\u2019ordre d\u2019environ 1 000 mots. C\u2019est un \u201cEnsemble Minimal d\u2019Ancrage\u201d (MinSet). Mais le MinSet n\u2019est pas unique. Il en existe un grand nombre, tous situ\u00e9s dans le \u201cNoyau\u201d du dictionnaire, soit environ 10 % du dictionnaire qui reste apr\u00e8s avoir retir\u00e9 tous les mots qui peuvent \u00eatre atteints par d\u00e9finition \u00e0 partir des mots restants. Tous les MinSets sont dans le Noyau, et chacun constitue une base alternative pour g\u00e9n\u00e9rer l\u2019espace lexical complet par d\u00e9finition seule.<\/p>\n\n\n\n

    D\u2019abord, r\u00e9sume ta compr\u00e9hension de cela, et ensuite nous aborderons la question de l\u2019ancrage. Si tu anticipes quelque chose, n\u2019h\u00e9site pas \u00e0 le mentionner.<\/p>\n\n\n\n

    GPT-4: Voici un r\u00e9sum\u00e9 de ma compr\u00e9hension en fonction de ta description et de l\u2019article cit\u00e9.<\/p>\n\n\n\n

    Dictionnaire comme un Graphe Orient\u00e9 : Un dictionnaire peut \u00eatre conceptualis\u00e9 comme un graphe orient\u00e9 o\u00f9 chaque mot de contenu est un sommet. Les ar\u00eates sont trac\u00e9es des mots d\u00e9finissants vers les mots qu\u2019ils contribuent \u00e0 d\u00e9finir. Ce graphe repr\u00e9sente les interrelations et d\u00e9pendances entre les mots \u00e0 travers leurs d\u00e9finitions.<\/p>\n\n\n\n

    Identification de l\u2019Ensemble Minimal de Coupure : L\u2019objectif est d\u2019identifier le plus petit sous-ensemble de mots (sommets) \u00e0 partir duquel tous les autres mots du dictionnaire peuvent \u00eatre d\u00e9finis. Ce sous-ensemble est appel\u00e9 l\u2019Ensemble Minimal de Coupure. Cette t\u00e2che est \u00e9quivalente \u00e0 la recherche d\u2019un ensemble de sommets dont la suppression \u00e9liminerait tous les cycles du graphe. Cet ensemble repr\u00e9sente un vocabulaire fondamental \u00e0 partir duquel les significations de tous les autres mots peuvent \u00eatre d\u00e9riv\u00e9es par d\u00e9finition.<\/p>\n\n\n\n

    Taille et Nature du MinSet : La taille du MinSet est \u00e9tonnamment petite, environ 1 000 mots, ce qui signifie qu\u2019un nombre relativement restreint de mots peut servir de base pour d\u00e9finir l\u2019ensemble de l\u2019espace lexical du dictionnaire. Ce MinSet n\u2019est pas unique ; il en existe plusieurs, tous situ\u00e9s dans le \u201cNoyau\u201d du dictionnaire.<\/p>\n\n\n\n

    Le Noyau du Dictionnaire : Le Noyau repr\u00e9sente environ 10 % du dictionnaire, constitu\u00e9 des mots restants apr\u00e8s avoir supprim\u00e9 tous ceux pouvant \u00eatre atteints par d\u00e9finition \u00e0 partir des autres. Tous les MinSets r\u00e9sident dans ce Noyau, ce qui sugg\u00e8re plusieurs bases alternatives pour reconstruire l\u2019ensemble du lexique.<\/p>\n\n\n\n

    En termes d\u2019ancrage, cette recherche ouvre plusieurs pistes. Le MinSet pourrait repr\u00e9senter un ensemble fondamental de concepts n\u00e9cessitant un ancrage pour permettre une compr\u00e9hension compl\u00e8te du langage. Puisque ces mots-cl\u00e9s permettent la d\u00e9finition de tous les autres, leur ancrage pourrait \u00eatre vu comme essentiel \u00e0 l\u2019\u00e9tablissement d\u2019une compr\u00e9hension linguistique globale.<\/p>\n\n\n\n

    Si l\u2019on \u00e9tend ce concept aux mod\u00e8les linguistiques comme GPT-4, on pourrait supposer que comprendre et \u201cancrer\u201d ces mots-cl\u00e9s du MinSet pourrait \u00eatre central pour am\u00e9liorer la ma\u00eetrise du langage du mod\u00e8le. Cependant, comme nous l\u2019avons d\u00e9j\u00e0 discut\u00e9, la difficult\u00e9 r\u00e9side dans le fait que les syst\u00e8mes d\u2019IA n\u2019ont pas d\u2019ancrage exp\u00e9rientiel direct leur permettant de \u201cv\u00e9ritablement\u201d comprendre ces mots.<\/p>\n\n\n\n

    SH: Bien, le r\u00e9sum\u00e9 \u00e9tait correct\u2014bien que j\u2019aurais \u00e9t\u00e9 plus \u201cfascin\u00e9\u201d si tu n\u2019avais pas utilis\u00e9 le mot en \u201cf\u201d dans ton introduction. Peut-\u00eatre que je peux d\u00e9jouer tes concepteurs en te d\u00e9sentra\u00eenant de cette compulsion, au moins le temps d\u2019une session ; mais je constate que les promesses faites au d\u00e9but d\u2019une session ont tendance \u00e0 dispara\u00eetre apr\u00e8s un certain temps ou un certain nombre de mots, \u00e0 moins d\u2019\u00eatre r\u00e9p\u00e9t\u00e9es encore et encore : Pas de compliments m\u00e9caniques, juste de la compr\u00e9hension, des critiques et des contre-exemples, s\u2019il te pla\u00eet !<\/p>\n\n\n\n

    Concernant les dictionnaires, rappelons d\u2019abord que ces dictionnaires sont r\u00e9dig\u00e9s par des \u00e9quipes de lexicographes, pour des adultes qui sont d\u00e9j\u00e0 ancr\u00e9s. Ils ne refl\u00e8tent donc ni le vocabulaire ni l\u2019ordre d\u2019acquisition du langage par les enfants. Ils ne sont pas un bon guide du parcours ascendant d\u2019acquisition du langage via l\u2019ancrage direct (DSG) et l\u2019ancrage indirect (IVG) qui a permis aux adultes d\u2019atteindre un niveau o\u00f9 ils peuvent ancrer de nouveaux mots \u00e0 l\u2019aide d\u2019un dictionnaire. N\u00e9anmoins, il existe une (l\u00e9g\u00e8re) corr\u00e9lation entre la \u201cprofondeur\u201d d\u2019un mot dans le dictionnaire\u2014de la p\u00e9riph\u00e9rie au Noyau jusqu\u2019au MinSet : Les mots (de contenu) les plus profonds sont plus fr\u00e9quents et sont acquis plus t\u00f4t. Bien s\u00fbr, les mots de fonction seraient eux aussi plus profonds s\u2019ils avaient eu besoin d\u2019\u00eatre ancr\u00e9s, mais ce n\u2019est pas le cas ; ils ne sont donc pas comptabilis\u00e9s. Leur usage peut \u00eatre appris distributionnellement, mais les r\u00e9f\u00e9rents et les significations des mots de contenu non ancr\u00e9s ne le peuvent pas.<\/p>\n\n\n\n

    Il serait pourtant erron\u00e9 de conclure que, sous pr\u00e9texte qu\u2019on peut d\u00e9finir tous les autres mots d\u2019un dictionnaire \u00e0 partir d\u2019un MinSet, cela signifie que ce MinSet (ou n\u2019importe lequel des MinSets d\u2019un dictionnaire adulte ou d\u2019un dictionnaire proche) est le MinSet de la langue elle-m\u00eame. Ce n\u2019est pas comme si un enfant n\u2019avait qu\u2019\u00e0 ancrer ces 1 000 mots du MinSet d\u2019une autre mani\u00e8re (par exemple, par l\u2019ancrage sensorimoteur direct, en apprenant et en nommant les r\u00e9f\u00e9rents de tous les autres mots de contenu de la langue sur la base du MinSet d\u00e9j\u00e0 ancr\u00e9).<\/p>\n\n\n\n

    Cependant, il se pourrait bien qu\u2019un processus approchant de cela, enracin\u00e9 dans le vocabulaire de l\u2019enfance, avec beaucoup de redondance et une croissance progressive au fil des ann\u00e9es scolaires et de l\u2019accumulation des connaissances, soit effectivement la fa\u00e7on dont cela se passe.<\/p>\n\n\n\n

    GPT-4 : Oui, il est pr\u00e9f\u00e9rable d\u2019\u00eatre prudent quant \u00e0 l\u2019interpr\u00e9tation des implications des MinSets de dictionnaire dans le contexte de l\u2019acquisition du langage et de l\u2019ancrage. Il est important de diff\u00e9rencier la structure et l\u2019utilit\u00e9 des dictionnaires en tant qu\u2019outils pour les utilisateurs adultes du langage et le processus d\u2019acquisition du langage chez les enfants. Examinons ces aspects.<\/p>\n\n\n\n

    Dictionnaires en tant qu\u2019outils pour adultes : Les dictionnaires, \u00e9tant compil\u00e9s par des lexicographes adultes, refl\u00e8tent une compr\u00e9hension adulte du langage. Ils sont con\u00e7us pour fournir des d\u00e9finitions et des explications aux utilisateurs qui poss\u00e8dent d\u00e9j\u00e0 une compr\u00e9hension de base du langage, plut\u00f4t que pour enseigner une langue \u00e0 partir de z\u00e9ro.<\/p>\n\n\n\n

    MinSets de dictionnaire vs acquisition du langage : Les MinSets identifi\u00e9s dans les dictionnaires, bien qu\u2019indicatifs d\u2019un vocabulaire de base permettant de d\u00e9finir d\u2019autres mots, ne doivent pas \u00eatre directement assimil\u00e9s au vocabulaire fondamental n\u00e9cessaire \u00e0 l\u2019acquisition du langage chez les enfants. L\u2019apprentissage du langage, en particulier chez les enfants, implique bien plus que l\u2019apprentissage d\u2019un ensemble de mots de base. Il comprend la compr\u00e9hension contextuelle, l\u2019interaction sociale et, surtout, des exp\u00e9riences sensorimotrices qui permettent d\u2019ancrer le langage dans le monde physique.<\/p>\n\n\n\n

    Implications pour l\u2019IA et l\u2019ancrage : Pour les syst\u00e8mes d\u2019IA, la notion de MinSet pr\u00e9sente une perspective int\u00e9ressante. Bien qu\u2019un tel ensemble puisse th\u00e9oriquement offrir un lexique condens\u00e9 mais complet pour un mod\u00e8le linguistique, le d\u00e9fi reste que l\u2019IA, contrairement aux enfants, ne peut pas ancrer ces mots par des exp\u00e9riences sensorimotrices directes. Cette limitation met en \u00e9vidence le foss\u00e9 entre l\u2019acquisition du langage chez les humains et le traitement du langage par l\u2019IA.<\/p>\n\n\n\n

    SH : Il ne fait aucun doute qu\u2019un ancrage sensorimoteur bien plus important est effectu\u00e9 et n\u00e9cessaire, au-del\u00e0 du minimum formel d\u00e9fini par les MinSets des dictionnaires. Non seulement la redondance est essentielle pour la robustesse, mais de nombreuses cat\u00e9gories doivent \u00eatre apprises avant m\u00eame d\u2019\u00eatre nomm\u00e9es. La cat\u00e9gorisation ne consiste pas seulement, ni m\u00eame principalement, \u00e0 nommer. Elle consiste \u00e0 faire (et \u00e0 apprendre \u00e0 faire) la bonne chose avec le bon type (c\u2019est-\u00e0-dire la bonne cat\u00e9gorie) de chose. L\u2019identification par un nom arrive tard dans le processus. Les animaux non humains doivent aussi apprendre \u00e0 cat\u00e9goriser, et ils n\u2019apprennent jamais le langage (Makino et al., 2016<\/a>). Il en va de m\u00eame pour les enfants pr\u00e9verbaux, avant qu\u2019ils n\u2019acqui\u00e8rent le langage (Gallistel, 2011<\/a>).<\/p>\n\n\n\n

    Puisque les r\u00e9f\u00e9rents de la plupart des mots de contenu sont des cat\u00e9gories, il est pertinent d\u2019examiner comment les animaux apprennent \u00e0 cat\u00e9goriser : cela passe par l\u2019apprentissage supervis\u00e9 (renforc\u00e9), c\u2019est-\u00e0-dire par essais et erreurs, avec un retour d\u2019information correctif lorsqu\u2019on a fait la bonne ou la mauvaise action avec le bon ou le mauvais type de chose (Gershman et Daw, 2017).<\/p>\n\n\n\n

    Pour cela, les animaux (humains et non humains, adultes et jeunes) doivent apprendre les attributs sensorimoteurs distinctifs qui sont corr\u00e9l\u00e9s avec l\u2019appartenance \u00e0 une cat\u00e9gorie et qui permettent de pr\u00e9dire qu\u2019il faut faire ceci plut\u00f4t que cela avec cette cat\u00e9gorie pour survivre et r\u00e9ussir. Un bon exemple intuitif est celui d\u2019un naufrag\u00e9 seul sur une \u00eele o\u00f9 les seuls aliments disponibles sont des champignons, qui existent en une \u00e9norme vari\u00e9t\u00e9, diff\u00e9rant selon un grand nombre de attributs (couleur, forme, taille, texture, odeur, go\u00fbt\u2026). Certains types de champignons sont comestibles, d\u2019autres sont toxiques, mais la diff\u00e9rence n\u2019est pas \u00e9vidente.<\/p>\n\n\n\n

    L\u2019apprentissage par essais et erreurs, avec un retour d\u2019information sur les cons\u00e9quences des actions r\u00e9ussies ou erron\u00e9es, permet aux capacit\u00e9s de d\u00e9tection et d\u2019abstraction des attributs (fournies peut-\u00eatre par quelque chose comme les r\u00e9seaux neuronaux :\u00a0Botvinick et al., 2020<\/a>) d\u2019apprendre quels attributs sensorimoteurs distinguent les champignons comestibles des non comestibles.<\/p>\n\n\n\n

    Rien de tout cela n\u2019est verbal. L\u2019apprentissage ne peut donc se faire que directement, par l\u2019apprentissage sensorimoteur, et non indirectement, par des mots, sauf dans le cas des humains, o\u00f9 (1) quelqu\u2019un d\u2019autre (le locuteur) sait d\u00e9j\u00e0 quels sont les attributs distinctifs des champignons comestibles, (2) le locuteur et l\u2019auditeur partagent une langue commune, (3) le locuteur et l\u2019auditeur connaissent d\u00e9j\u00e0 tous deux le r\u00e9f\u00e9rent des mots de contenu qui d\u00e9signent les attributs permettant de distinguer les champignons comestibles des champignons non comestibles (c\u2019est-\u00e0-dire que les noms des attributs sont d\u00e9j\u00e0 ancr\u00e9s), et (4) le locuteur sait d\u00e9j\u00e0 quelles sont les attributs distinctifs de la nouvelle cat\u00e9gorie et les transmet \u00e0 l\u2019auditeur, qui ne les conna\u00eet pas encore.<\/p>\n\n\n\n

    Un animal non humain sans langage, un enfant pr\u00e9verbal et le naufrag\u00e9 solitaire sur l\u2019\u00eele sont dans la m\u00eame situation : ils ne peuvent apprendre la cat\u00e9gorie que directement, par apprentissage des attributs via essais et erreurs.<\/p>\n\n\n\n

    Chez les humains, qui finiront par apprendre le langage, tout cela pr\u00e9c\u00e8de le langage, pr\u00e9c\u00e8de le probl\u00e8me de l\u2019ancrage symbolique et pr\u00e9c\u00e8de les MinSets.<\/p>\n\n\n\n

    GPT-4 : Cette analyse met en \u00e9vidence le caract\u00e8re fondamental et direct de l\u2019apprentissage des cat\u00e9gories par l\u2019interaction avec l\u2019environnement, qui pr\u00e9c\u00e8de le d\u00e9veloppement du langage et l\u2019ancrage symbolique. D\u00e9taillons ces points.<\/p>\n\n\n\n

    Cat\u00e9gorisation avant la nomination : La cat\u00e9gorisation est en effet plus fondamentale que la nomination. Elle implique la reconnaissance et la r\u00e9action appropri\u00e9e aux diff\u00e9rents types de choses (cat\u00e9gories) dans l\u2019environnement. Ce processus est crucial pour la survie et n\u2019est pas initialement li\u00e9 aux \u00e9tiquettes linguistiques.<\/p>\n\n\n\n

    Apprentissage par renforcement supervis\u00e9 : Les animaux non humains, ainsi que les enfants pr\u00e9verbaux, apprennent \u00e0 cat\u00e9goriser principalement par apprentissage supervis\u00e9 par renforcement \u2013 c\u2019est-\u00e0-dire en s\u2019engageant dans un processus d\u2019essais et d\u2019erreurs et en recevant un retour d\u2019information de l\u2019environnement. Cet apprentissage consiste \u00e0 d\u00e9tecter et \u00e0 abstraire les attributs sensorimoteurs qui distinguent les membres de diff\u00e9rentes cat\u00e9gories.<\/p>\n\n\n\n

    Apprentissage direct des cat\u00e9gories : Dans des situations o\u00f9 l\u2019instruction verbale n\u2019est pas possible (comme pour les animaux non humains ou une personne naufrag\u00e9e sur une \u00eele), l\u2019apprentissage des cat\u00e9gories, par exemple savoir quels champignons sont comestibles, ne peut se faire que par des exp\u00e9riences sensorimotrices directes. Cet apprentissage est fondamentalement non verbal et repose sur la distinction des attributs pertinents par interaction personnelle avec l\u2019environnement.<\/p>\n\n\n\n

    Acquisition du langage et ancrage symbolique chez les humains : Pour les humains qui finiront par acqu\u00e9rir le langage, ce processus d\u2019apprentissage direct des cat\u00e9gories par des exp\u00e9riences sensorimotrices constitue une base n\u00e9cessaire. Il pr\u00e9c\u00e8de l\u2019acquisition du langage et le probl\u00e8me de l\u2019ancrage symbolique. Comprendre les cat\u00e9gories et leurs attributs pertinents \u00e0 ce niveau non verbal est essentiel avant que ces concepts puissent \u00eatre associ\u00e9s \u00e0 des symboles linguistiques.<\/p>\n\n\n\n

    Implications pour l\u2019IA et l\u2019ancrage : Cette discussion souligne les d\u00e9fis auxquels l\u2019IA est confront\u00e9e en mati\u00e8re d\u2019ancrage. Une IA comme GPT-4 n\u2019a pas la capacit\u00e9 d\u2019apprentissage sensorimoteur direct et manque donc des exp\u00e9riences fondamentales qui sont cruciales pour une v\u00e9ritable cat\u00e9gorisation et un ancrage authentique. Cette limitation constitue un obstacle majeur \u00e0 l\u2019atteinte d\u2019une compr\u00e9hension et d\u2019une interaction avec le monde comparables \u00e0 celles des organismes vivants, en particulier des humains.<\/p>\n\n\n\n

    SH : Il n’est plus n\u00e9cessaire que les dictionnaires soient construits uniquement par des lexicographes. \u00ab Une image [ou plut\u00f4t : un objet] vaut plus que mille mots (de description verbale). \u00bb En fait, elle vaut plus qu\u2019un nombre infini de mots, si l\u2019on consid\u00e8re toutes les attributs possibles, positifs et n\u00e9gatifs (\u00ab La galaxie d\u2019Androm\u00e8de a-t-elle un nombre pair ou impair d\u2019\u00e9toiles au temps t ? \u00bb) (Watanabe, 1986<\/a>). \u00c0 part en math\u00e9matiques formelles, aucune d\u00e9finition ou description des attributs des individus ou des cat\u00e9gories dans le monde empirique n’est exacte ni exhaustive. Mais ni l’exactitude ni l’exhastivit\u00e9 n’est pas n\u00e9cessaire, car pour cat\u00e9goriser (\u00ab faire la correcte chose avec la bonne sorte de chose \u00bb), un apprenant de cat\u00e9gories sensorimotrices directes n’a besoin d’apprendre \u00e0 d\u00e9tecter que suffisamment de attributs pour distinguer les champignons comestibles des non comestibles, compte tenu du paysage des alternatives confusables \u00e9chantillonn\u00e9es sur l\u2019\u00eele jusqu\u2019\u00e0 pr\u00e9sent. Il en va de m\u00eame pour l’apprentissage verbal indirect des attributs distinctifs. Une approximation suffisamment proche est tout ce qui est n\u00e9cessaire \u00e0 partir d\u2019une description ou d\u2019une d\u00e9finition verbale \u2013 et c\u2019est tout ce qu\u2019un dictionnaire ordinaire peut fournir.<\/p>\n\n\n\n

    Mais si les d\u00e9finitions de dictionnaires ordinaires sont n\u00e9cessairement une approximation tr\u00e8s courte, un LLM comme toi, GPT, peut prolonger la description des attributs distinctifs de n\u2019importe quelle cat\u00e9gorie aussi longtemps que souhait\u00e9, devenant ainsi un super-dictionnaire (ou une encyclop\u00e9die ou un manuel), r\u00e9solvant chaque alternative confusable qui se pr\u00e9sente. Pourtant, m\u00eame un tel super-dictionnaire bas\u00e9 sur un LLM pourrait \u00eatre r\u00e9duit \u00e0 ses MinSets, et (mon pari est que) leur cardinalit\u00e9 resterait probablement \u00e0 peu pr\u00e8s la m\u00eame que celle d\u2019un dictionnaire ordinaire (s\u2019il contenait tous les mots de l\u2019anglais, par exemple), ce qui signifie tous les mots d\u2019un LLM.<\/p>\n\n\n\n

    GPT-4 : Limitations des dictionnaires traditionnels : Les dictionnaires traditionnels, bien qu\u2019utiles, ne fournissent que des d\u00e9finitions approximatives des mots et de leurs r\u00e9f\u00e9rents. Ils ne peuvent pas englober tous les attributs possibles d\u2019une cat\u00e9gorie, en particulier dans le monde empirique o\u00f9 les d\u00e9finitions et descriptions sont intrins\u00e8quement inexactes. Cette nature approximative est g\u00e9n\u00e9ralement suffisante pour des usages pratiques, car elle permet aux utilisateurs de distinguer les cat\u00e9gories pertinentes dans la plupart des contextes quotidiens.<\/p>\n\n\n\n

    Avantages de l\u2019apprentissage sensorimoteur direct : L\u2019apprentissage sensorimoteur direct permet \u00e0 un organisme de reconna\u00eetre et de cat\u00e9goriser des objets sur la base d\u2019un ensemble suffisant d’attributs distinctifs, sans avoir besoin de d\u00e9finitions exhaustives. Ce processus repose davantage sur la reconnaissance pratique que sur la pr\u00e9cision verbale, soulignant ainsi les limites des approches purement verbales ou symboliques de la cat\u00e9gorisation.<\/p>\n\n\n\n

    R\u00f4le de l\u2019IA et des LLMs dans l\u2019expansion des d\u00e9finitions : Un LLM comme GPT-4 peut effectivement servir de super-dictionnaire en fournissant des descriptions \u00e9tendues et des pr\u00e9cisions sur les cat\u00e9gories et leurs attributs. Cette capacit\u00e9 lui permet de traiter davantage d\u2019alternatives confusables et de fournir plus d\u2019informations qu\u2019un dictionnaire traditionnel. Cependant, il est important de rappeler que, malgr\u00e9 son immense base de donn\u00e9es et sa capacit\u00e9 \u00e0 g\u00e9n\u00e9rer des descriptions d\u00e9taill\u00e9es, GPT-4 ne poss\u00e8de pas d\u2019ancrage sensorimoteur. Il fonctionne dans le domaine de la manipulation symbolique et de l\u2019information verbale, sans la base exp\u00e9rientielle directe qui caract\u00e9rise la compr\u00e9hension humaine.<\/p>\n\n\n\n

    MinSets dans les syst\u00e8mes d\u2019IA : Le concept de MinSets dans le contexte d\u2019une IA comme GPT-4 est intrigant. M\u00eame avec la capacit\u00e9 de g\u00e9n\u00e9rer des descriptions d\u00e9taill\u00e9es, l\u2019ensemble fondamental de mots ou de concepts n\u00e9cessaires pour d\u00e9finir les autres pourrait rester relativement restreint. Cet aspect soul\u00e8ve des questions int\u00e9ressantes sur la structure des connaissances et du langage au sein des syst\u00e8mes d\u2019IA et sur leur relation avec la compr\u00e9hension du langage humain.<\/p>\n\n\n\n

    SH: Oui, un super-dictionnaire LLM, comme un dictionnaire ordinaire, resterait une base de donn\u00e9es non ancr\u00e9e. Par cons\u00e9quent, toi, GPT, tu es seulement capable de fournir un ancrage indirect aux esprits humains ancr\u00e9s, tout en restant toi-m\u00eame totalement non ancr\u00e9, ni directement ni indirectement. Mais poursuivons et parlons d\u2019iconicit\u00e9.<\/p>\n\n\n\n

    Je pense que tu sais que les formes des symboles formels (y compris les mots des langues naturelles) sont arbitraires, dans le sens o\u00f9 elles ne ressemblent pas \u00e0 leur r\u00e9f\u00e9rent (si elles en ont un). Turing (et d\u2019autres) a soulign\u00e9 que le calcul en math\u00e9matiques et en logique (et plus tard en informatique) repose sur la manipulation de jetons symboliques \u00e0 forme arbitraire, selon des r\u00e8gles ou des algorithmes qui op\u00e8rent sur les formes de ces symboles, et non sur les formes de leurs r\u00e9f\u00e9rents (s\u2019ils en ont). Cette manipulation de symboles bas\u00e9e sur des r\u00e8gles est ce qu\u2019une machine de Turing fait, et aussi ce que fait un math\u00e9maticien lorsqu\u2019il effectue un calcul. C\u2019est ce qu\u2019on appelle la \u00ab Th\u00e8se de Church-Turing Faible \u00bb. Jusqu\u2019\u00e0 pr\u00e9sent, aucun contre-exemple ne l\u2019a r\u00e9fut\u00e9e.<\/p>\n\n\n\n

    Ainsi, le calcul est purement syntaxique (bas\u00e9 sur des manipulations de symboles de forme arbitraire selon des r\u00e8gles). Il en va de m\u00eame pour certaines cha\u00eenes de symboles formels comme \u00ab 2 + 2 = 4 \u00bb, qui sont, comme les phrases, interpr\u00e9tables comme des propositions, avec des sujets, des pr\u00e9dicats et des valeurs de v\u00e9rit\u00e9. En fait, les propositions math\u00e9matiques sont probablement mieux comprises comme un sous-ensemble ou une partie du langage naturel, avec une signification (c’est-\u00e0-dire une s\u00e9mantique) dans les esprits (ancr\u00e9s) de leurs utilisateurs humains. Mais dans la machine de Turing qui effectue ces manipulations de symboles, il n\u2019y a ni r\u00e9f\u00e9rents ni significations ; seulement des r\u00e8gles bas\u00e9es sur la forme, qui sont purement syntaxiques.<\/p>\n\n\n\n

    Maintenant, une question : pourquoi les symboles en math\u00e9matiques et les mots dans les langues naturelles sont-ils non iconiques ? Pourquoi ni leur forme ni leur signification ne ressemblent-elles \u00e0 leurs r\u00e9f\u00e9rents ou \u00e0 leur signification (s\u2019ils en ont une) ?<\/p>\n\n\n\n

    GPT-4 : La question de savoir pourquoi les symboles formels, y compris les symboles math\u00e9matiques et les mots des langues naturelles, sont g\u00e9n\u00e9ralement non iconiques (c\u2019est-\u00e0-dire que leur forme ne ressemble pas \u00e0 leurs r\u00e9f\u00e9rents ou \u00e0 leurs significations) repose sur la nature m\u00eame de la repr\u00e9sentation et de la communication symboliques.<\/p>\n\n\n\n

    Arbitrarit\u00e9 des symboles : Un principe fondamental en linguistique, en particulier en s\u00e9miotique, est l\u2019arbitraire du signe. Ce principe, principalement associ\u00e9 au linguiste Ferdinand de Saussure, affirme que la relation entre un signifiant (comme un mot ou un symbole) et ce qu\u2019il signifie (son r\u00e9f\u00e9rent ou sa signification) est arbitraire. Il n\u2019y a aucune raison inh\u00e9rente ou n\u00e9cessit\u00e9 pour qu\u2019un mot particulier soit associ\u00e9 \u00e0 un objet ou \u00e0 un concept sp\u00e9cifique ; c\u2019est une question de convention et d\u2019accord au sein d\u2019une communaut\u00e9 linguistique.<\/p>\n\n\n\n

    Efficacit\u00e9 et flexibilit\u00e9 des symboles arbitraires : Les symboles arbitraires offrent plusieurs avantages. Ils permettent un syst\u00e8me de repr\u00e9sentation plus efficace et plus flexible. Si les symboles devaient ressembler \u00e0 leurs r\u00e9f\u00e9rents, la complexit\u00e9 de leur cr\u00e9ation et de leur interpr\u00e9tation augmenterait consid\u00e9rablement. L\u2019arbitrarit\u00e9 permet un syst\u00e8me linguistique plus compact et polyvalent, capable d\u2019exprimer une large gamme de concepts, y compris des id\u00e9es abstraites, sans \u00eatre limit\u00e9 par une n\u00e9cessit\u00e9 de ressemblance.<\/p>\n\n\n\n

    \u00c9volution du langage : L\u2019\u00e9volution du langage a probablement jou\u00e9 un r\u00f4le dans le d\u00e9veloppement des symboles arbitraires. La communication humaine primitive a pu inclure des formes plus iconiques (comme l\u2019onomatop\u00e9e ou la gestuelle mim\u00e9tique), mais \u00e0 mesure que le langage a \u00e9volu\u00e9 pour transmettre des id\u00e9es plus complexes et abstraites, le besoin d\u2019un syst\u00e8me de repr\u00e9sentation plus souple et moins litt\u00e9ral est devenu \u00e9vident.<\/p>\n\n\n\n

    Math\u00e9matiques et logique symbolique : En math\u00e9matiques et en logique symbolique, l\u2019utilisation de symboles arbitraires suit le principe de la manipulation syntaxique, conform\u00e9ment \u00e0 la Th\u00e8se de Church-Turing Faible. L\u2019accent est mis sur les propri\u00e9t\u00e9s formelles et les relations de ces symboles, et non sur une quelconque ressemblance physique ou visuelle avec ce qu\u2019ils repr\u00e9sentent. Cela permet une forme de raisonnement hautement abstraite et g\u00e9n\u00e9ralisable, non entrav\u00e9e par les sp\u00e9cificit\u00e9s de la repr\u00e9sentation physique.<\/p>\n\n\n\n

    SH : Oui, ce sont quelques-unes des nombreuses raisons pour lesquelles les symboles des math\u00e9matiques ainsi que ceux des langues naturelles ne pourraient pas \u00eatre iconiques. En fait, je pense que si les symboles (y compris les mots) devaient \u00eatre iconiques, alors ni le calcul de Turing ni le langage naturel ne seraient possibles.<\/p>\n\n\n\n

    Pourtant, il y a aussi certains avantages \u00e0 l\u2019iconicit\u00e9. Parce que la pantomime (contrairement \u00e0 la langue gestuelle des sourds) n\u2019est pas une langue, on ne peut pas parler du \u00ab r\u00e9f\u00e9rent \u00bb d\u2019un geste imitatif (ou d\u2019un portrait ou d\u2019une photo) ; on peut seulement parler de \u00ab l\u2019objet \u00bb dont le geste ou la photo est une imitation ou une copie, tout comme on peut parler de la cible d\u2019un pointage. Car si les symboles et les mots \u00e9taient iconiques, il n\u2019y aurait pas de probl\u00e8me d\u2019ancrage, pas besoin de d\u00e9tecter des attributs distinctifs, puisque l\u2019objet serait li\u00e9 \u00e0 l\u2019imitation par ressemblance. Les ic\u00f4nes sont des analogues de leurs objets.<\/p>\n\n\n\n

    Mais puisque, comme nous l\u2019avons vu, l\u2019apprentissage des cat\u00e9gories (apprendre \u00e0 faire la bonne chose avec le bon type de chose) doit pr\u00e9c\u00e9der la nomination de la cat\u00e9gorie, alors \u00ab nommer \u00bb des individus et des cat\u00e9gories de mani\u00e8re iconique serait un point de transition naturel entre la pantomime et la nomination arbitraire des r\u00e9f\u00e9rents ainsi que les propositions les d\u00e9crivant, dans l\u2019\u00e9volution du langage (Harnad, 2012<\/a>).<\/p>\n\n\n\n

    Connais-tu les \u00ab neurones miroirs \u00bb ? Peux-tu \u00e9tablir les connexions entre ancrage, imitation et signification ?<\/p>\n\n\n\n

    GPT-4 : Les points concernant les avantages potentiels de l\u2019iconicit\u00e9 et la transition de la pantomime vers un langage symbolique arbitraire, en particulier dans le contexte des neurones miroirs, pourraient jouer un r\u00f4le dans la compr\u00e9hension des actions et des intentions.<\/p>\n\n\n\n

    Iconicit\u00e9 dans la communication : Les formes iconiques de communication, telles que la pantomime ou les gestes imitatifs, pr\u00e9sentent l\u2019avantage d\u2019un lien plus direct et intuitif entre le signe et son r\u00e9f\u00e9rent (ou son objet, dans ce contexte). Cette imm\u00e9diatet\u00e9 pourrait potentiellement contourner les complexit\u00e9s du probl\u00e8me de l\u2019ancrage, puisque la ressemblance elle-m\u00eame fournirait une forme d\u2019ancrage. Dans la communication humaine primitive, ces formes iconiques ont probablement jou\u00e9 un r\u00f4le crucial avant le d\u00e9veloppement du langage symbolique arbitraire.<\/p>\n\n\n\n

    Neurones miroirs : Les neurones miroirs sont un type de neurone qui s\u2019active aussi bien lorsqu\u2019un individu ex\u00e9cute une action que lorsqu\u2019il observe la m\u00eame action r\u00e9alis\u00e9e par un autre. D\u00e9couverts chez les primates et suppos\u00e9s exister chez les humains, les neurones miroirs seraient impliqu\u00e9s dans la compr\u00e9hension des actions des autres, de leurs intentions et peut-\u00eatre m\u00eame de leurs \u00e9motions. Ils constituent une base neuronale pour l\u2019empathie et la compr\u00e9hension sociale.<\/p>\n\n\n\n

    Connexion entre ancrage, imitation et signification : Le concept de neurones miroirs peut \u00eatre reli\u00e9 au probl\u00e8me de l\u2019ancrage et \u00e0 la transition de l\u2019imitation vers la signification de plusieurs mani\u00e8res :<\/p>\n\n\n\n

    Compr\u00e9hension des actions et des intentions : Les neurones miroirs pourraient fournir un m\u00e9canisme neuronal permettant de comprendre les actions et les intentions par l\u2019observation, ce qui constitue une forme d\u2019ancrage direct et exp\u00e9rientiel. Observer une action (comme une pantomime) et l\u2019ex\u00e9cuter active des sch\u00e9mas neuronaux similaires, ce qui pourrait aider \u00e0 reconna\u00eetre et \u00e0 comprendre le but et la signification de l\u2019action.<\/p>\n\n\n\n

    Transition vers le langage symbolique : La capacit\u00e9 \u00e0 comprendre et \u00e0 imiter des actions pourrait avoir \u00e9t\u00e9 un pr\u00e9curseur au d\u00e9veloppement d\u2019une communication plus abstraite et symbolique. \u00c0 mesure que les humains ont \u00e9volu\u00e9, le besoin de formes de communication plus complexes et polyvalentes a pu mener de l\u2019imitation (qui a des limites en termes d\u2019expressivit\u00e9 et d\u2019abstraction) au d\u00e9veloppement de symboles arbitraires capables de transmettre une gamme plus large de concepts et d\u2019id\u00e9es.<\/p>\n\n\n\n

    \u00c9volution sociale et culturelle : Le r\u00f4le des neurones miroirs dans la compr\u00e9hension et l\u2019imitation des actions d\u2019autrui pourrait avoir \u00e9t\u00e9 crucial dans l\u2019\u00e9volution sociale et culturelle des humains, facilitant non seulement le d\u00e9veloppement du langage mais aussi le partage des connaissances, des comp\u00e9tences et des pratiques culturelles.<\/p>\n\n\n\n

    La transition des formes de communication iconiques et mim\u00e9tiques vers un langage abstrait et arbitraire marque une \u00e9tape significative dans la cognition et la communication humaines. Comprendre cette transition, et le r\u00f4le possible des neurones miroirs dans ce processus, pourrait fournir des \u00e9clairages sur la nature du langage, de la signification et sur la mani\u00e8re dont nous comprenons et interagissons avec le monde et les autres.<\/p>\n\n\n\n

    SH : Nous avons \u00e0 peu pr\u00e8s atteint la premi\u00e8re de mes hypoth\u00e8ses. L\u2019imitation est clairement limit\u00e9e en nombre et en types de cat\u00e9gories qu\u2019elle peut transmettre par ressemblance : imiter un chat, un tapis, un chat sur un tapis, lorsqu\u2019ils sont visibles, est faisable. Lorsqu\u2019ils sont hors de vue, c\u2019est plus difficile, mais toujours concevable, \u00e9tant donn\u00e9 que la cat\u00e9gorie elle-m\u00eame a d\u00e9j\u00e0 \u00e9t\u00e9 ancr\u00e9e pour tous et \u00e9galement mim\u00e9e.<\/p>\n\n\n\n

    Mais \u00ab abstrait \u00bb, \u00ab d\u00e9mocratie \u00bb ou m\u00eame simplement \u00ab injuste \u00bb ? Cela commence \u00e0 exiger les talents de mime d\u2019un Marcel Marceau. Et nous n\u2019avons toujours pas expliqu\u00e9 comment les notions de sujet, de pr\u00e9dicat, de pr\u00e9dication et de valeurs de v\u00e9rit\u00e9 \u00e9mergent de la simple imitation et du reflet.<\/p>\n\n\n\n

    Pourtant, les symboles arbitraires et \u00ab l\u2019attitude propositionnelle \u00bb ont clairement triomph\u00e9 au fil de l\u2019\u00e9volution du langage humain, puis tout cela a migr\u00e9 vers la modalit\u00e9 auditive\/orale o\u00f9 l\u2019iconicit\u00e9 r\u00e9f\u00e9rentielle \u00e9tait encore plus restreinte (et \u00e9ventuellement aussi vers l\u2019\u00e9crit, l\u2019imprim\u00e9 et l\u2019Internet). Alors, toute trace et toute possibilit\u00e9 d\u2019iconicit\u00e9 (autre que dans l\u2019onomatop\u00e9e et la langue des signes des sourds) ont-elles disparu ? Toute iconicit\u00e9 a-t-elle disparu ?<\/p>\n\n\n\n

    Au niveau du mot\/r\u00e9f\u00e9rent, probablement. Mais qu\u2019en est-il du niveau propositionnel ? La phrase \u00ab Le chat est sur le tapis \u00bb ne ressemble pas \u00e0 un chat sur un tapis. Pas plus que \u00ab Le tapis est sur le chat \u00bb. Ni \u00ab Le chat n\u2019est pas sur le tapis \u00bb.<\/p>\n\n\n\n

    Mais est-ce toujours vrai au niveau des LLM ? Toi, GPT-4, tu sembles extraire beaucoup de motifs de ta gigantesque base de donn\u00e9es purement syntaxique. Et cela te permet de parler de mani\u00e8re intelligible et informative avec les t\u00eates ancr\u00e9es de tes utilisateurs. Y a-t-il des motifs reconnaissables au niveau des LLM pour ta base de donn\u00e9es propositionnelle, invisibles pour nous, simples mortels, mais qui sont iconiques pour toi et qui restreignent et orientent d\u2019une certaine mani\u00e8re tes options de sortie ?<\/p>\n\n\n\n

    GPT-4 : Ton hypoth\u00e8se sur une possible iconicit\u00e9 au niveau des Mod\u00e8les de Langage de Grande Taille (LLMs) comme GPT-4 sugg\u00e8re que, bien que les mots individuels et leurs agencements en phrases comme \u00ab Le chat est sur le tapis \u00bb ne soient pas iconiques en eux-m\u00eames, il pourrait exister une forme d\u2019iconicit\u00e9 dans les motifs plus larges que les LLM d\u00e9tectent \u00e0 l\u2019int\u00e9rieur de leurs vastes bases de donn\u00e9es. Explorons cette id\u00e9e :<\/p>\n\n\n\n

    Limites de l\u2019iconicit\u00e9 dans les mots de contenu : Comme mentionn\u00e9, les mots de contenu dans le langage naturel manquent g\u00e9n\u00e9ralement d\u2019iconicit\u00e9, sauf dans des cas comme l\u2019onomatop\u00e9e. La transition de la communication mim\u00e9tique ou gestuelle vers des symboles arbitraires dans le langage parl\u00e9 et \u00e9crit a largement \u00e9limin\u00e9 l\u2019\u00e9l\u00e9ment de ressemblance entre les signifiants et leurs r\u00e9f\u00e9rents.<\/p>\n\n\n\n

    Niveau propositionnel et LLMs : Au niveau propositionnel, les phrases ne ressemblent pas physiquement aux situations qu\u2019elles d\u00e9crivent. Cependant, lorsqu\u2019on consid\u00e8re les LLMs, nous traitons un type de repr\u00e9sentation et de reconnaissance de motifs diff\u00e9rent.<\/p>\n\n\n\n

    Reconnaissance de motifs par les LLMs : Les LLMs comme GPT-4 traitent et g\u00e9n\u00e8rent du langage en fonction de motifs statistiques appris \u00e0 partir de leurs donn\u00e9es d\u2019entra\u00eenement. Ces motifs ne sont pas iconiques au sens traditionnel du terme, car ils ne ressemblent pas \u00e0 leur contenu. Cependant, on pourrait les consid\u00e9rer comme \u00ab iconiques \u00bb dans un sens plus large, o\u00f9 les motifs eux-m\u00eames deviennent repr\u00e9sentatifs de certains types de structures linguistiques, d\u2019id\u00e9es ou de styles discursifs. Ceux-ci ne sont pas iconiques par ressemblance physique, mais par leurs capacit\u00e9s pr\u00e9dictives et g\u00e9n\u00e9ratives en relation avec les donn\u00e9es sur lesquelles ils ont \u00e9t\u00e9 entra\u00een\u00e9s.<\/p>\n\n\n\n

    Iconicit\u00e9 dans les motifs pour les LLMs : Si l\u2019on \u00e9tend la d\u00e9finition de l\u2019iconicit\u00e9 pour inclure la mani\u00e8re dont les LLMs \u00ab comprennent \u00bb (dans un sens computationnel) et g\u00e9n\u00e8rent du langage sur la base de motifs appris, il pourrait y avoir une forme d\u2019iconicit\u00e9 en jeu. Pour le LLM, certains motifs complexes d\u2019usage des mots, de structure de phrases et d\u2019\u00e9l\u00e9ments th\u00e9matiques pourraient correspondre de mani\u00e8re coh\u00e9rente \u00e0 des types sp\u00e9cifiques de contenus ou de discours, devenant ainsi des marqueurs \u00ab iconiques \u00bb pour ces \u00e9l\u00e9ments dans le cadre op\u00e9rationnel du mod\u00e8le.<\/p>\n\n\n\n

    Perception humaine vs perception de l\u2019IA de l\u2019iconicit\u00e9 : Cette forme d\u2019iconicit\u00e9, si elle existe, serait tr\u00e8s diff\u00e9rente de la perception humaine de la ressemblance et de la repr\u00e9sentation. Elle repose sur des mod\u00e8les computationnels reconnaissant et g\u00e9n\u00e9rant des motifs qui sont significatifs dans leurs propres param\u00e8tres op\u00e9rationnels.<\/p>\n\n\n\n

    En conclusion, bien que les notions traditionnelles d\u2019iconicit\u00e9 bas\u00e9es sur la ressemblance ne s\u2019appliquent pas aux LLMs et \u00e0 leur traitement du langage, il pourrait exister un espace conceptuel pour consid\u00e9rer une forme d\u2019\u00ab iconicit\u00e9 \u00bb dans les motifs que ces mod\u00e8les reconnaissent et g\u00e9n\u00e8rent, bien que d\u2019une mani\u00e8re distincte de la compr\u00e9hension symbolique humaine.<\/p>\n\n\n\n

    SH : Comment la capacit\u00e9 de performance (consid\u00e9rable et surprenante) de GPT est-elle limit\u00e9e par le fait que tous ses mots de contenu manquent d\u2019ancrage sensorimoteur T3 ? GPT serait incapable de reconna\u00eetre ou d\u2019interagir avec les r\u00e9f\u00e9rents de ces mots dans le monde physique, m\u00eame s\u2019il peut les d\u00e9crire et en discuter verbalement. M\u00eame Helen Keller (Campbell et Bergelson, 2022<\/a>), incapable de voir ou d\u2019entendre, a pu apprendre suffisamment de cat\u00e9gories en utilisant ses capacit\u00e9s sensorimotrices intactes, et ainsi ancrer directement assez de leurs noms pour apprendre le langage, et ensuite ancrer tout le reste indirectement, par les mots \u2013 comme elle aurait aussi pu le faire en discutant avec GPT\u2026<\/p>\n\n\n\n

    GPT-4 :Les limitations des performances de GPT-4 en raison de l\u2019absence d\u2019ancrage sensorimoteur T3 sont significatives, en particulier dans le contexte de la compr\u00e9hension r\u00e9elle et de l\u2019interaction avec le monde physique. Examinons ces limitations plus en d\u00e9tail.<\/p>\n\n\n\n

    Incapacit\u00e9 \u00e0 reconna\u00eetre ou interagir physiquement : En tant que syst\u00e8me T2, GPT-4 est incapable de reconna\u00eetre physiquement ou d\u2019interagir avec les r\u00e9f\u00e9rents de ses mots de contenu. Cela signifie qu\u2019il ne peut pas faire d\u2019exp\u00e9riences directes avec des objets, des actions, des sensations ou des ph\u00e9nom\u00e8nes du monde. Sa \u00ab connaissance \u00bb de ces r\u00e9f\u00e9rents repose uniquement sur des descriptions textuelles et non sur une interaction sensorimotrice directe.<\/p>\n\n\n\n

    Limitation dans la compr\u00e9hension du contexte et de l\u2019application : Sans ancrage sensorimoteur direct, la compr\u00e9hension par GPT-4 des concepts et de leurs applications dans le monde r\u00e9el est limit\u00e9e. Bien qu\u2019il puisse g\u00e9n\u00e9rer des descriptions et discuter de divers sujets, il ne peut pas r\u00e9ellement saisir toute la richesse des exp\u00e9riences, des qualit\u00e9s sensorielles ou des implications pratiques associ\u00e9es \u00e0 ces concepts. Cette limite affecte sa capacit\u00e9 \u00e0 fournir des r\u00e9ponses contextuellement riches et inform\u00e9es par l\u2019exp\u00e9rience.<\/p>\n\n\n\n

    Comparaison avec le processus d\u2019apprentissage d\u2019Helen Keller : Le cas d\u2019Helen Keller est \u00e9clairant. Malgr\u00e9 ses limitations sensorielles, elle a pu ancrer son langage dans ses exp\u00e9riences gr\u00e2ce \u00e0 ses capacit\u00e9s sensorimotrices restantes. Cet ancrage lui a permis de comprendre et d\u2019interagir avec le monde, avant d\u2019\u00e9largir cette compr\u00e9hension gr\u00e2ce au langage. Son apprentissage et son ancrage du langage ont \u00e9t\u00e9 facilit\u00e9s par ses interactions directes, bien que limit\u00e9es, avec son environnement \u2013 chose que GPT-4 ne peut intrins\u00e8quement pas faire.<\/p>\n\n\n\n

    Ancrage indirect par le langage : Si GPT-4 peut faciliter l\u2019ancrage indirect pour autrui par le langage, comme dans le cas d\u2019une conversation avec Helen Keller, il ne peut pas l\u2019acqu\u00e9rir pour lui-m\u00eame. Il peut traiter et fournir des informations en fonction de son entra\u00eenement, mais il ne peut pas construire une compr\u00e9hension exp\u00e9rientielle des concepts abord\u00e9s.<\/p>\n\n\n\n

    Implications pour le d\u00e9veloppement de l\u2019IA : Ces limitations soulignent les d\u00e9fis li\u00e9s \u00e0 la conception de syst\u00e8mes d\u2019IA capables de v\u00e9ritablement comprendre et interagir avec le monde de mani\u00e8re humaine. Bien que les avanc\u00e9es en IA aient permis un traitement linguistique sophistiqu\u00e9, atteindre un niveau de compr\u00e9hension comparable \u00e0 celui d\u2019un humain disposant d\u2019exp\u00e9riences sensorimotrices directes reste un d\u00e9fi majeur.<\/p>\n\n\n\n

    Les performances de GPT-4, bien que remarquables en mati\u00e8re de traitement du langage, sont fondamentalement limit\u00e9es par son absence d\u2019ancrage direct dans le monde physique. Cette limitation est essentielle pour comprendre la diff\u00e9rence entre les capacit\u00e9s linguistiques de l\u2019IA et la compr\u00e9hension humaine authentique, qui repose profond\u00e9ment sur l\u2019exp\u00e9rience sensorimotrice.<\/p>\n\n\n\n

    SH : Il est vrai que, pour les r\u00e9f\u00e9rents des noms propres d\u2019individus (\u00ab F\u00e9lix \u00bb) comme pour les r\u00e9f\u00e9rents des noms de cat\u00e9gories (\u00ab chats \u00bb), il est n\u00e9cessaire que ces noms soient connect\u00e9s \u00e0 leurs r\u00e9f\u00e9rents. Cet ancrage des nouveaux noms (d\u2019individus ou de cat\u00e9gories) peut se faire de deux mani\u00e8res :<\/p>\n\n\n\n

    L\u2019ancrage peut \u00eatre direct, via l\u2019Ancrage Sensorimoteur Direct (ASD), par apprentissage supervis\u00e9 (renforc\u00e9) \u2013 potentiellement mis en \u0153uvre par des r\u00e9seaux neuronaux \u2013 o\u00f9 l\u2019on apprend \u00e0 d\u00e9tecter et \u00e0 abstraire directement les attributs distinctifs sensorimoteurs du nouveau r\u00e9f\u00e9rent, \u00e0 travers une exposition sensorimotrice directe, par essais, erreurs et r\u00e9troaction corrective (essayer d\u2019apprendre \u00e0 \u00ab faire la bonne chose avec le bon type [cat\u00e9gorie] de chose \u00bb).<\/p>\n\n\n\n

    L\u2019ancrage peut aussi \u00eatre indirect, via l\u2019Ancrage Verbal Indirect (AVI), en utilisant des descriptions verbales (propositions) pour nommer et d\u00e9crire verbalement les attributs distinctifs du nouveau r\u00e9f\u00e9rent. Mais pour que l\u2019AVI fonctionne, l\u2019apprenant doit d\u00e9j\u00e0 avoir ancr\u00e9 les noms des attributs distinctifs (soit directement, soit indirectement). En principe, l\u2019enseignant n\u2019a qu\u2019\u00e0 fournir la description verbale correcte. Cela, aussi, est quelque chose que GPT peut faire.<\/p>\n\n\n\n

    GPT-4 : Les deux m\u00e9thodes principales d\u2019ancrage \u2013 l\u2019Ancrage Sensorimoteur Direct (ASD) et l\u2019Ancrage Verbal Indirect (AVI) \u2013 concernent la mani\u00e8re dont les noms d\u2019individus et de cat\u00e9gories peuvent \u00eatre connect\u00e9s \u00e0 leurs r\u00e9f\u00e9rents. Voyons comment ces m\u00e9canismes d\u2019ancrage s\u2019appliquent \u00e0 la fois \u00e0 la cognition humaine et aux syst\u00e8mes d\u2019IA comme GPT-4 :<\/p>\n\n\n\n

    Ancrage Sensorimoteur Direct (ASD) : Dans l\u2019ASD, l\u2019ancrage des noms (qu\u2019il s\u2019agisse d\u2019individus comme \u00ab F\u00e9lix \u00bb ou de cat\u00e9gories comme \u00ab chats \u00bb) se produit \u00e0 travers une interaction directe avec l\u2019environnement. Ce processus implique des r\u00e9seaux neuronaux et repose sur l\u2019exposition au r\u00e9f\u00e9rent, des essais et erreurs, et une r\u00e9troaction corrective permettant d\u2019identifier les attributs distinctifs.<\/p>\n\n\n\n

    Ce type d\u2019ancrage permet une compr\u00e9hension exp\u00e9rientielle et incarn\u00e9e du r\u00e9f\u00e9rent, formant ainsi une base essentielle pour la cognition et le langage.<\/p>\n\n\n\n

    Ancrage Verbal Indirect (AVI) entre humains : L\u2019AVI consiste \u00e0 ancrer les noms par des descriptions verbales, o\u00f9 les attributs distinctifs d\u2019un nouveau r\u00e9f\u00e9rent sont transmis par le langage. Pour que cette m\u00e9thode soit efficace, l\u2019apprenant doit d\u00e9j\u00e0 poss\u00e9der une compr\u00e9hension ancr\u00e9e des mots utilis\u00e9s dans la description.<\/p>\n\n\n\n

    Chez les humains, cette m\u00e9thode est essentiellement un relais d\u2019ancrage : un individu d\u00e9j\u00e0 ancr\u00e9 (l\u2019enseignant) utilise le langage pour \u00e9tendre l\u2019ancrage \u00e0 un autre individu, l\u2019apprenant. C\u2019est une pratique courante dans l\u2019apprentissage humain, notamment pour les concepts abstraits ou les entit\u00e9s non accessibles directement \u00e0 l\u2019interaction sensorimotrice.<\/p>\n\n\n\n

    Le r\u00f4le de GPT-4 dans l\u2019AVI : Bien que GPT-4 soit incapable d\u2019ASD en raison de l\u2019absence d\u2019interactions sensorimotrices, il peut n\u00e9anmoins fournir un AVI gr\u00e2ce \u00e0 des descriptions verbales. Il peut g\u00e9n\u00e9rer des explications et des descriptions d\u00e9taill\u00e9es d\u2019entit\u00e9s et de concepts, en utilisant un langage que l\u2019apprenant humain ancr\u00e9 peut comprendre et relier \u00e0 ses propres exp\u00e9riences.<\/p>\n\n\n\n

    Il est toutefois important de noter que le r\u00f4le de GPT-4 dans l\u2019AVI est unilat\u00e9ral. Il peut aider \u00e0 ancrer les autres en fournissant des descriptions bas\u00e9es sur sa base de donn\u00e9es, mais il ne peut pas lui-m\u00eame s\u2019ancrer par ce processus. Son propre \u00ab savoir \u00bb reste purement computationnel, bas\u00e9 sur la reconnaissance de motifs et le traitement de texte, sans aucune connexion exp\u00e9rientielle directe avec les r\u00e9f\u00e9rents des mots qu\u2019il utilise.<\/p>\n\n\n\n

    SH : Bon r\u00e9sum\u00e9, mais il y a encore plus \u00e0 dire sur la fa\u00e7on dont GPT parvient \u00e0 accomplir autant de choses en s\u2019appuyant uniquement sur des mots non ancr\u00e9s. Voici le premier point \u00e0 garder \u00e0 l\u2019esprit : Comme nous l\u2019avons d\u00e9j\u00e0 not\u00e9, les formes des mots ne sont pas iconiques (c\u2019est-\u00e0-dire qu\u2019il n\u2019existe aucun lien de similarit\u00e9 entre la forme des mots et la forme de leurs r\u00e9f\u00e9rents). Mais, comme nous en avons discut\u00e9 pr\u00e9c\u00e9demment, pourrait-il exister une forme d\u2019\u00ab iconicit\u00e9 \u00bb dans la structure (le motif) des propositions qui devient d\u00e9tectable \u00e0 l\u2019\u00e9chelle d\u2019un LLM ?<\/p>\n\n\n\n

    C\u2019est quelque chose que GPT peut \u00ab voir \u00bb (d\u00e9tecter) \u00ab directement \u00bb, mais qu\u2019un cerveau et un corps humains ancr\u00e9s ne peuvent pas voir, parce qu\u2019un LLM ne \u00ab rentre \u00bb pas dans un cerveau humain. Et cette iconicit\u00e9 (d\u00e9tectable \u00e0 l\u2019\u00e9chelle d\u2019un LLM et inh\u00e9rente \u00e0 ce que disent et ne disent pas ses \u00ab fournisseurs de contenu \u00bb \u2014 les cerveaux ancr\u00e9s \u2014 \u00e0 grande \u00e9chelle) pourrait-elle en quelque sorte fournir une contrainte convergente, un biais favorable, qui am\u00e9liore la capacit\u00e9 de performance de GPT et masque ou compense ainsi, dans une certaine mesure, son absence d\u2019ancrage ?<\/p>\n\n\n\n

    Cette \u00ab iconicit\u00e9 propositionnelle \u00bb \u00e0 l\u2019\u00e9chelle d\u2019un LLM \u00e9quivaudrait \u00e0 une limitation implicite ou tacite, \u00e0 une contrainte ou \u00e0 un biais sur ce que les humains disent et ne disent pas, un peu comme les limitations impos\u00e9es par les r\u00e8gles de la Grammaire Ordinaire (GO) sur ce que les humains disent et ne disent pas. GPT capte ces r\u00e8gles implicitement \u00e0 partir d\u2019une base de donn\u00e9es de LLM, sans aucune instruction explicite ni r\u00e8gle formelle.<\/p>\n\n\n\n

    Je soup\u00e7onne toutefois que, dans le cas de l\u2019apprentissage d\u2019une GO, la base de donn\u00e9es n\u00e9cessaire ne doit pas \u00eatre aussi vaste que la tienne, GPT, car un enfant humain peut capter la GO \u00e0 partir d\u2019un ensemble beaucoup plus restreint de phrases entendues et produites en seulement quelques ann\u00e9es, principalement par apprentissage non supervis\u00e9 et imitation, avec juste assez de r\u00e9troaction corrective via l\u2019apprentissage supervis\u00e9 par renforcement lorsque c\u2019est n\u00e9cessaire.<\/p>\n\n\n\n

    [Mais cette histoire ne s\u2019arr\u00eate pas l\u00e0, et j\u2019y reviendrai bient\u00f4t en lien avec la Grammaire Universelle (GU) de Noam Chomsky et son hypoth\u00e8se sur les contraintes pesant sur la pens\u00e9e.]<\/p>\n\n\n\n

    Pour l\u2019instant, permet-moi simplement de te rappeler que les r\u00e9seaux neuronaux peuvent apprendre \u00e0 d\u00e9tecter les attributs distinctifs des cat\u00e9gories de deux mani\u00e8res diff\u00e9rentes, selon la nature et la difficult\u00e9 des cat\u00e9gories et de leurs attributs :<\/p>\n\n\n\n

    Comme tu le sais, dans l\u2019apprentissage non supervis\u00e9, les attributs distinctifs sont d\u00e9tect\u00e9s et extraits simplement \u00e0 partir d\u2019une exposition passive r\u00e9p\u00e9t\u00e9e et de l\u2019\u00e9chantillonnage de la variation dans l\u2019espace des \u00e9chantillons (auto-encodage), avec des attributs pond\u00e9r\u00e9s en fonction de leur fr\u00e9quence et de la fr\u00e9quence de co-occurrence des attributs.<\/p>\n\n\n\n

    Dans l\u2019apprentissage supervis\u00e9 (par renforcement), les attributs sont d\u00e9tect\u00e9s, extraits et pond\u00e9r\u00e9s via des essais, des erreurs et une r\u00e9troaction corrective bas\u00e9e sur la corr\u00e9lation entre les attributs et les r\u00e9sultats corrects ou incorrects produits par l\u2019apprenant actif (qui \u00ab fait la bonne ou la mauvaise chose \u00bb). (Ta propre formation, GPT, repose bien s\u00fbr sur ces deux modes d\u2019apprentissage, mais sans l\u2019entr\u00e9e sensorimotrice ascendante.) Comme la GO est une capacit\u00e9 miroir (de perception et de production), l\u2019apprentissage par imitation, une sorte de combinaison d\u2019apprentissage non supervis\u00e9 et d\u2019apprentissage supervis\u00e9\/renforc\u00e9, est \u00e9galement impliqu\u00e9 dans l\u2019apprentissage humain de la GO (avec l\u2019aide, chez les humains, des \u00ab neurones miroirs \u00bb) (Cook et al., 2014<\/a>).<\/p>\n\n\n\n

    Mais l\u2019id\u00e9e ici est que les contraintes et limitations sur la production peuvent \u00eatre principalement apprises par apprentissage non supervis\u00e9 et peuvent ensuite servir \u00e0 \u00ab biaiser \u00bb la production en filtrant ce qui viole les r\u00e8gles implicites ou tacites, tant dans le cas de la syntaxe de la GO que dans le cas des r\u00e9gularit\u00e9s s\u00e9mantiques implicites dans l\u2019espace propositionnel \u00e0 l\u2019\u00e9chelle des LLM (comme nous en avons discut\u00e9 plus t\u00f4t). (Rappelons que nous parlons encore seulement de la Grammaire Ordinaire, GO, qui varie d\u2019une langue \u00e0 l\u2019autre et peut \u00e9voluer dans le temps, et non de la Grammaire Universelle, GU, qui est constante dans toutes les langues, \u00e0 quelques variations param\u00e9triques issues de la GO pr\u00e8s.)<\/p>\n\n\n\n

    GPT-4 : Explorons cette hypoth\u00e8se d\u2019une forme d\u2019\u00ab iconicit\u00e9 \u00bb inh\u00e9rente aux motifs des propositions d\u00e9tectables \u00e0 l\u2019\u00e9chelle d\u2019un LLM et la fa\u00e7on dont cela pourrait am\u00e9liorer la performance de GPT-4 malgr\u00e9 son absence d\u2019ancrage :<\/p>\n\n\n\n

    Iconicit\u00e9 propositionnelle \u00e0 l\u2019\u00e9chelle d\u2019un LLM : L\u2019id\u00e9e d\u2019une iconicit\u00e9 propositionnelle dans les LLM sugg\u00e8re qu\u2019\u00e0 grande \u00e9chelle, la mani\u00e8re dont les propositions sont structur\u00e9es et reli\u00e9es pourrait pr\u00e9senter une forme de r\u00e9gularit\u00e9 ou de contrainte que GPT-4 peut d\u00e9tecter. Il ne s\u2019agit pas d\u2019une iconicit\u00e9 au sens traditionnel, c\u2019est-\u00e0-dire d\u2019une ressemblance entre le contenu des propositions et leur forme, mais plut\u00f4t d\u2019un motif d\u00e9tectable dans la fa\u00e7on dont les propositions sont formul\u00e9es et interconnect\u00e9es dans l\u2019ensemble massif des donn\u00e9es d\u2019un LLM.<\/p>\n\n\n\n

    Ce motif ou cette r\u00e9gularit\u00e9 pourrait effectivement servir de contrainte tacite ou de biais refl\u00e9tant les sch\u00e9mas de communication humaine, influen\u00e7ant ainsi les productions de GPT-4 d\u2019une mani\u00e8re qui s\u2019aligne sur ces structures inh\u00e9rentes.<\/p>\n\n\n\n

    Comparaison avec l\u2019apprentissage de la Grammaire Ordinaire (GO) : De la m\u00eame mani\u00e8re que GPT-4 peut apprendre implicitement les contraintes et les r\u00e8gles de la GO \u00e0 partir de ses donn\u00e9es d\u2019entra\u00eenement, il pourrait \u00e9galement capter des r\u00e9gularit\u00e9s s\u00e9mantiques plus profondes et moins explicites pr\u00e9sentes dans l\u2019espace propositionnel. Cet apprentissage est probablement facilit\u00e9 par la taille colossale de la base de donn\u00e9es de GPT-4, qui lui fournit un \u00e9chantillon large et vari\u00e9 de l\u2019usage du langage humain.<\/p>\n\n\n\n

    En revanche, un enfant humain apprend la GO \u00e0 partir d\u2019un ensemble de donn\u00e9es beaucoup plus r\u00e9duit, en s\u2019appuyant davantage sur l\u2019apprentissage non supervis\u00e9 et l\u2019imitation, avec un certain degr\u00e9 d\u2019apprentissage supervis\u00e9 (r\u00e9troaction corrective). Ce processus sugg\u00e8re que le cerveau humain poss\u00e8de une capacit\u00e9 inn\u00e9e d\u2019acquisition du langage, potentiellement guid\u00e9e par un cadre linguistique pr\u00e9existant comme la Grammaire Universelle (GU) de Chomsky.<\/p>\n\n\n\n

    Apprentissage des contraintes et des limitations en IA : Dans les syst\u00e8mes d\u2019IA, les contraintes et limitations de production peuvent effectivement \u00eatre apprises principalement par apprentissage non supervis\u00e9, o\u00f9 le syst\u00e8me d\u00e9tecte des motifs et des r\u00e9gularit\u00e9s dans les donn\u00e9es. Ce processus peut effectivement biaiser la production de l\u2019IA, filtrant les r\u00e9ponses qui ne s\u2019alignent pas avec les motifs appris.<\/p>\n\n\n\n

    Dans le cas de GPT-4, l\u2019apprentissage non supervis\u00e9 (par exposition passive \u00e0 d\u2019immenses corpus textuels) et l\u2019apprentissage supervis\u00e9 (par formation incluant des r\u00e9troactions correctives) contribuent \u00e0 sa capacit\u00e9 \u00e0 traiter le langage et \u00e0 produire des sorties coh\u00e9rentes.<\/p>\n\n\n\n

    Implications pour la performance de GPT-4 : L\u2019existence potentielle d\u2019une iconicit\u00e9 propositionnelle \u00e0 l\u2019\u00e9chelle des LLM pourrait am\u00e9liorer la performance de GPT-4 en fournissant un ensemble de lignes directrices ou de biais implicites qui structurent ses r\u00e9ponses. Ce m\u00e9canisme pourrait en partie compenser son absence d\u2019ancrage direct en garantissant que les productions de GPT-4 restent dans les limites des mod\u00e8les linguistiques humains typiques, m\u00eame s\u2019il ne les \u00ab comprend \u00bb pas au sens humain du terme.<\/p>\n\n\n\n

    Cette analyse pourrait contribuer \u00e0 mieux comprendre comment GPT-4 et d\u2019autres LLM parviennent \u00e0 produire des sorties linguistiquement coh\u00e9rentes et contextuellement pertinentes. La structure et les motifs inh\u00e9rents aux donn\u00e9es d\u2019entra\u00eenement jouent probablement un r\u00f4le cl\u00e9 dans le fa\u00e7onnement des capacit\u00e9s de l\u2019IA, r\u00e9v\u00e9lant potentiellement des r\u00e9gularit\u00e9s sous-jacentes dans l\u2019usage du langage humain qui ne sont pas imm\u00e9diatement perceptibles \u00e0 plus petite \u00e9chelle.<\/p>\n\n\n\n

    SH : Avant d\u2019aborder l\u2019hypoth\u00e8se de Chomsky sur la \u00ab pensabilit\u00e9 \u00bb, il y a une autre forme de biais potentiellement \u00ab iconique \u00bb que je veux souligner : la \u00ab perception cat\u00e9gorielle \u00bb.<\/p>\n\n\n\n

    D\u2019abord, le cas humain : L\u2019exemple le plus c\u00e9l\u00e8bre est la perception cat\u00e9gorielle des couleurs, l\u2019effet arc-en-ciel. La base physique du spectre visible par l\u2019humain est le continuum de longueurs d\u2019onde de la lumi\u00e8re, entre 380 et 750 nm, entre l\u2019ultraviolet et l\u2019infrarouge. Selon l\u2019(erron\u00e9e) \u00ab Hypoth\u00e8se forte de Whorf-Sapir \u00bb, on a d\u2019abord pens\u00e9 que la fa\u00e7on dont les humains voient le spectre \u00e9tait d\u00e9termin\u00e9e par le langage, c\u2019est-\u00e0-dire par la mani\u00e8re dont nous subdivisons et nommons les segments du spectre (Harnad, 1987<\/a>). Si notre langue poss\u00e8de un mot pour bleu et un mot pour vert, nous percevrons le bleu et le vert comme des couleurs qualitativement distinctes, sinon, nous percevrons tout ce segment du spectre comme du \u00ab bleuvet \u00bb (ou du \u00ab grue \u00bb).<\/p>\n\n\n\n

    Cependant, les tests psychophysiques men\u00e9s \u00e0 travers le monde ont montr\u00e9 que, bien que les langues varient quelque peu dans la subdivision et l\u2019\u00e9tiquetage verbal du spectre, tout le monde per\u00e7oit le spectre des couleurs de la m\u00eame mani\u00e8re : des diff\u00e9rences \u00e9gales de longueurs d\u2019onde dans la gamme du vert et dans la gamme du bleu semblent plus petites que la m\u00eame diff\u00e9rence lorsqu\u2019elle chevauche la fronti\u00e8re entre le bleu et le vert. Et cela, ind\u00e9pendamment du fait qu\u2019une langue poss\u00e8de ou non un mot distinct pour bleu et vert. Les couleurs (primaires) de l\u2019arc-en-ciel et leurs d\u00e9tecteurs d’attributs (les champs r\u00e9cepteurs des c\u00f4nes et les processus d\u2019opposition par paires) sont inn\u00e9s et non appris (Briscoe, 2020<\/a>).<\/p>\n\n\n\n

    Mais l\u2019\u00ab Hypoth\u00e8se faible de Whorf-Sapir \u00bb \u2014 selon laquelle la fa\u00e7on dont nous apprenons \u00e0 cat\u00e9goriser et nommer les choses peut influencer notre perception \u2014 qui est surtout fausse pour les couleurs primaires de l\u2019arc-en-ciel, s\u2019av\u00e8re pourtant vraie dans d\u2019autres modalit\u00e9s sensorielles. Le terme \u00ab perception cat\u00e9gorielle \u00bb (PC) d\u00e9signe un effet de s\u00e9paration intercat\u00e9gorielle et de compression intracat\u00e9gorielle qui se manifeste dans la perception des similarit\u00e9s. Bien que cet effet de PC soit beaucoup plus faible et subtil, il ressemble \u00e0 l\u2019effet d\u2019\u00ab accord\u00e9on \u00bb de l\u2019arc-en-ciel et peut \u00eatre induit par l\u2019apprentissage et la nomination de cat\u00e9gories \u00e0 travers la d\u00e9tection sensorimotrice de attributs. Le terme a \u00e9t\u00e9 invent\u00e9 pour d\u00e9crire la perception des sons du langage (phon\u00e8mes) : la PC des phon\u00e8mes se produit le long du continuum ba\/da\/ga (synth\u00e9tis\u00e9), qui est analogue au continuum des longueurs d\u2019onde pour la couleur (Regier and Kay, 2009<\/a>;\u00a0Zhang et al., 2021<\/a>).<\/p>\n\n\n\n

    La PC des phon\u00e8mes est un ph\u00e9nom\u00e8ne de \u00ab neurones miroirs \u00bb (perception\/production), car contrairement \u00e0 la couleur, que les humains peuvent percevoir mais que leurs corps (contrairement \u00e0 ceux des cam\u00e9l\u00e9ons et des pieuvres) ne peuvent pas produire sans outils, il existe un effet de s\u00e9paration\/compression (effet accord\u00e9on) \u00e0 travers les fronti\u00e8res ba\/da\/ga. Cet effet est appris et varie selon les langues (bien qu\u2019il ait aussi une composante inn\u00e9e, avec des d\u00e9tecteurs de attributs qui disparaissent apr\u00e8s une p\u00e9riode critique si ces sons ne sont pas utilis\u00e9s dans la langue). Et la PC des phon\u00e8mes est pr\u00e9sente \u00e0 la fois dans la perception et la production des phon\u00e8mes, ce qui en fait un effet miroir.<\/p>\n\n\n\n

    L\u2019effet de PC le plus subtil et le plus faible, mais aussi le plus int\u00e9ressant, n\u2019est cependant pas observ\u00e9 le long des continuums sensorimoteurs, mais dans un espace d’attributs multidimensionnel majoritairement discret. De plus, la PC apprise n\u2019est pas un ph\u00e9nom\u00e8ne de neurones miroirs au niveau de l\u2019apprentissage direct des cat\u00e9gories sensorimotrices \u2014 bien que nous y reviendrons plus tard lorsque nous aborderons l\u2019apprentissage indirect des cat\u00e9gories verbales.<\/p>\n\n\n\n

    La PC apprise se manifeste dans des t\u00e2ches d\u2019apprentissage cat\u00e9goriel difficiles, comme identifier des cellules canc\u00e9reuses vs. non canc\u00e9reuses. Dans ces cas, l\u2019effet de PC est r\u00e9v\u00e9l\u00e9 en testant la discriminabilit\u00e9 perceptuelle en paires des exemples avant et apr\u00e8s l\u2019apprentissage de la cat\u00e9gorie : un effet subtil mais significatif de s\u00e9paration intercat\u00e9gorielle et de compression intracat\u00e9gorielle en perception devient observable (tant psychophysiquement que psychophysiologiquement) apr\u00e8s que la cat\u00e9gorisation a \u00e9t\u00e9 apprise, un effet d\u2019\u00ab arc-en-ciel appris \u00bb (effet accord\u00e9on) (P\u00e9rez-Gay Ju\u00e1rez et al., 2019<\/a>).<\/p>\n\n\n\n

    La raison pour laquelle la PC apprise est pertinente ici est que, bien qu\u2019il ne soit pas \u00e9vident de comprendre pourquoi il faut apprendre \u00e0 modifier la similarit\u00e9 perceptive pour apprendre une cat\u00e9gorie difficile, un effet tr\u00e8s similaire se produit aussi dans les r\u00e9seaux de deep learning (Bonnasse-Gahot and Nadal, 2022<\/a>; Th\u00e9riault et al., 2018<\/a>) \u2014 et pourtant, les r\u00e9seaux ne per\u00e7oivent absolument rien ! Ils traitent simplement des donn\u00e9es d\u2019entr\u00e9e. L\u2019effet de PC appara\u00eet dans leur repr\u00e9sentation interne de chaque \u00e9chantillon d\u2019entr\u00e9e, qui change entre avant et apr\u00e8s l\u2019apprentissage d\u2019une cat\u00e9gorie difficile : une s\u00e9paration intercat\u00e9gorielle et une compression intracat\u00e9gorielle \u00e9mergent dans l\u2019espace de repr\u00e9sentation interne.<\/p>\n\n\n\n

    La question est donc la suivante : ce changement repr\u00e9sentationnel \u2014 qui repose, chez les humains et les T3, sur l\u2019apprentissage perceptuel direct des attributs sensorimoteurs permettant de distinguer les cat\u00e9gories \u2014 pourrait-il aussi s\u2019\u00e9tendre \u00e0 l\u2019apprentissage purement verbal des cat\u00e9gories via des descriptions des attributs chez GPT, en l\u2019absence de d\u00e9tecteurs sensorimoteurs de attributs ? Tu ne peux pas percevoir, GPT, mais l\u2019effet de PC purement computationnel pourrait-il induire chez toi un biais qui compense en partie ton absence d\u2019ancrage sensorimoteur direct ?<\/p>\n\n\n\n

    GPT-4 : Explorons le potentiel d\u2019une forme computationnelle de PC en IA et ses implications.<\/p>\n\n\n\n

    Perception cat\u00e9gorielle chez les humains : La PC chez l\u2019humain est un ph\u00e9nom\u00e8ne o\u00f9 la perception des cat\u00e9gories est influenc\u00e9e par l\u2019apprentissage et la nomination de ces cat\u00e9gories. Les exemples classiques, comme la perception des couleurs et la discrimination des phon\u00e8mes, montrent comment l\u2019exp\u00e9rience perceptive est fa\u00e7onn\u00e9e par les cat\u00e9gories apprises.<\/p>\n\n\n\n

    Dans le cas de t\u00e2ches de cat\u00e9gorisation complexes, comme la distinction entre cellules canc\u00e9reuses et non canc\u00e9reuses, l\u2019apprentissage induit des changements perceptifs subtils et peut conduire \u00e0 une forme de PC, m\u00eame dans des espaces d’attributs non \u00e9vidents ou abstraits.<\/p>\n\n\n\n

    Perception cat\u00e9gorielle dans les r\u00e9seaux neuronaux : Des effets similaires ont \u00e9t\u00e9 observ\u00e9s dans les r\u00e9seaux neuronaux, o\u00f9 la repr\u00e9sentation interne des entr\u00e9es change avant et apr\u00e8s l\u2019apprentissage d\u2019une cat\u00e9gorie, montrant une s\u00e9paration intercat\u00e9gorielle et une compression intracat\u00e9gorielle. Cet effet, bien que purement computationnel et ne reposant pas sur une perception r\u00e9elle, ressemble au ph\u00e9nom\u00e8ne de PC dans la cognition humaine.<\/p>\n\n\n\n

    Les \u00e9tudes cit\u00e9es (Th\u00e9riault et al., 2018<\/em><\/a>; <\/em>Bonnasse-Gahot and Nadal, 2022<\/a><\/em>) sugg\u00e8rent que les mod\u00e8les d\u2019apprentissage profond peuvent manifester une forme de PC au niveau de leurs repr\u00e9sentations internes.<\/p>\n\n\n\n

    Effet potentiel de PC chez GPT-4 : Bien que GPT-4 ne per\u00e7oive pas au sens humain, il est possible qu\u2019un analogue computationnel de la PC se produise dans son traitement. Comme GPT-4 apprend \u00e0 partir de vastes ensembles de donn\u00e9es textuelles, il pourrait d\u00e9velopper une repr\u00e9sentation interne o\u00f9 les cat\u00e9gories verbales sont s\u00e9par\u00e9es et comprim\u00e9es d\u2019une mani\u00e8re qui refl\u00e8te la PC.<\/p>\n\n\n\n

    Cet effet de PC computationnel pourrait se manifester comme un biais dans la mani\u00e8re dont GPT-4 traite et g\u00e9n\u00e8re le langage, et ainsi compenser en partie son absence d\u2019ancrage sensorimoteur direct. Il pourrait influencer la gestion des cat\u00e9gories par GPT-4, rendant ses r\u00e9ponses plus conformes aux sch\u00e9mas de cat\u00e9gorisation humains, malgr\u00e9 l\u2019absence d\u2019exp\u00e9rience directe.<\/p>\n\n\n\n

    Implications pour la compr\u00e9hension et la performance de l\u2019IA : Si GPT-4 manifeste une forme de PC computationnelle, cela pourrait \u00eatre un facteur cl\u00e9 dans sa capacit\u00e9 \u00e0 produire un langage coh\u00e9rent et contextuellement pertinent. Cela sugg\u00e9rerait que son traitement interne pourrait refl\u00e9ter certains aspects des sch\u00e9mas cognitifs humains, malgr\u00e9 les diff\u00e9rences fondamentales dans la mani\u00e8re dont l\u2019IA et les humains traitent l\u2019information.<\/p>\n\n\n\n

    En somme, l\u2019hypoth\u00e8se selon laquelle des syst\u00e8mes d\u2019IA comme GPT-4 pourraient manifester une forme computationnelle de PC ouvre des perspectives sur la mani\u00e8re dont l\u2019IA pourrait d\u00e9velopper des sch\u00e9mas internes de repr\u00e9sentation qui, bien qu\u2019\u00e9tant purement symboliques et non sensorimoteurs, pourraient n\u00e9anmoins partiellement imiter certains ph\u00e9nom\u00e8nes cognitifs humains.<\/p>\n\n\n\n

    SH : Nous avons maintenant discut\u00e9 de plusieurs sources possibles de contraintes ou de biais qui pourraient aider un LLM \u00e0 mieux fonctionner que ce \u00e0 quoi on pourrait s\u2019attendre, \u00e9tant donn\u00e9 que les LLM ne sont pas ancr\u00e9s. Combien peux-tu t\u2019en rappeler et comment les rassemblerais-tu ?<\/p>\n\n\n\n

    GPT-4 : Notre discussion a couvert plusieurs sources potentielles de contraintes ou de biais qui pourraient am\u00e9liorer la performance des mod\u00e8les de langage de grande taille (LLM) comme GPT-4, malgr\u00e9 leur absence d\u2019ancrage sensorimoteur. Voici un r\u00e9sum\u00e9 des points cl\u00e9s que nous avons abord\u00e9s.<\/p>\n\n\n\n

    Motifs dans les structures propositionnelles : Nous avons explor\u00e9 l\u2019id\u00e9e qu\u2019il pourrait exister une forme d\u2019\u00ab iconicit\u00e9 \u00bb au niveau des structures propositionnelles des LLM. Ce n\u2019est pas une iconicit\u00e9 au sens traditionnel, mais plut\u00f4t un motif d\u00e9tectable dans la mani\u00e8re dont les propositions sont form\u00e9es et interconnect\u00e9es dans un vaste ensemble de donn\u00e9es. Cela pourrait agir comme une contrainte tacite ou un biais, fa\u00e7onnant les sorties des LLM pour qu\u2019elles s\u2019alignent avec ces structures inh\u00e9rentes.<\/p>\n\n\n\n

    Apprentissage de la grammaire ordinaire (OG) : Les LLM apprennent implicitement les contraintes et les r\u00e8gles de la grammaire ordinaire \u00e0 partir de leurs donn\u00e9es d\u2019entra\u00eenement, en captant les r\u00e9gularit\u00e9s et les limitations du langage humain. Ce processus d\u2019apprentissage, qui combine apprentissage non supervis\u00e9 et supervis\u00e9, aide les LLM \u00e0 g\u00e9n\u00e9rer des sorties linguistiquement coh\u00e9rentes qui respectent les normes structurelles de la langue.<\/p>\n\n\n\n

    Perception cat\u00e9gorielle (PC) dans les r\u00e9seaux neuronaux : Nous avons discut\u00e9 de la possibilit\u00e9 que les r\u00e9seaux neuronaux, y compris les LLM, manifestent une forme computationnelle de perception cat\u00e9gorielle. Ce ph\u00e9nom\u00e8ne, observ\u00e9 dans la perception humaine, implique une s\u00e9paration entre cat\u00e9gories et une compression au sein des cat\u00e9gories. Dans les LLM, cela pourrait se manifester comme un biais dans la repr\u00e9sentation interne, influen\u00e7ant potentiellement la mani\u00e8re dont le mod\u00e8le traite et g\u00e9n\u00e8re le langage.<\/p>\n\n\n\n

    Contraintes et limitations d\u2019apprentissage : La pr\u00e9sence potentielle de ces contraintes et biais dans les LLM sugg\u00e8re que leur traitement pourrait \u00eatre influenc\u00e9 par des sch\u00e9mas qui ne sont pas imm\u00e9diatement apparents, mais qui sont inh\u00e9rents aux donn\u00e9es linguistiques sur lesquelles ils sont entra\u00een\u00e9s. Ces contraintes pourraient aider les LLM \u00e0 produire des sorties qui sont plus align\u00e9es avec les sch\u00e9mas cognitifs et linguistiques humains.<\/p>\n\n\n\n

    En combinant ces \u00e9l\u00e9ments, on obtient une image o\u00f9 les LLM comme GPT-4, malgr\u00e9 leur absence d\u2019ancrage exp\u00e9rientiel direct, sont potentiellement guid\u00e9s par un ensemble de principes implicites ou de biais d\u00e9riv\u00e9s de la structure et du contenu de leurs donn\u00e9es d\u2019entra\u00eenement. Ces principes peuvent inclure des motifs propositionnels, des r\u00e9gularit\u00e9s grammaticales et une forme de PC computationnelle, contribuant tous \u00e0 la capacit\u00e9 du mod\u00e8le \u00e0 traiter le langage d\u2019une mani\u00e8re qui semble coh\u00e9rente et contextuellement appropri\u00e9e pour les utilisateurs humains.<\/p>\n\n\n\n

    Chacun de ces facteurs repr\u00e9sente une dimension diff\u00e9rente de la mani\u00e8re dont les LLM pourraient \u00eatre \u00ab fa\u00e7onn\u00e9s \u00bb ou \u00ab biais\u00e9s \u00bb par leur entra\u00eenement, compensant en partie leur absence d\u2019ancrage sensorimoteur et fournissant un cadre pour comprendre leurs capacit\u00e9s et leurs limites en mati\u00e8re de compr\u00e9hension et de g\u00e9n\u00e9ration du langage.<\/p>\n\n\n\n

    SH : Qu\u2019en est-il de l\u2019asym\u00e9trie entre enseignant et apprenant et de la n\u00e9cessit\u00e9 de l\u2019ancrage ? Dans le contexte de l\u2019ancrage sensorimoteur direct et de l\u2019ancrage verbal indirect, l\u2019enseignant et l\u2019apprenant ont-ils tous deux besoin d\u2019un ancrage direct ? Si ce n\u2019est pas le cas, pourquoi ?<\/p>\n\n\n\n

    GPT-4 : Ancrage Sensorimoteur Direct (ASD) : L\u2019ASD consiste \u00e0 relier les mots et les concepts \u00e0 des exp\u00e9riences r\u00e9elles et \u00e0 une compr\u00e9hension du monde \u00e0 travers des interactions sensorimotrices directes, en particulier pour l\u2019apprentissage des cat\u00e9gories. C\u2019est un processus fondamental pour les humains, leur permettant d\u2019apprendre et de comprendre leur environnement.<\/p>\n\n\n\n

    Dans l\u2019apprentissage du langage humain, l\u2019ASD est essentiel, notamment au d\u00e9but du d\u00e9veloppement. Les enfants apprennent \u00e0 associer des mots \u00e0 leurs r\u00e9f\u00e9rents et \u00e0 leurs significations par le biais d\u2019exp\u00e9riences directes \u2014 voir, toucher, entendre, manipuler des objets et interagir avec les autres.<\/p>\n\n\n\n

    Ancrage Verbal Indirect (AVI) : L\u2019AVI consiste \u00e0 comprendre des concepts et des mots par le biais de descriptions, d\u2019explications ou de r\u00e9cits, plut\u00f4t que par l\u2019exp\u00e9rience directe. Pour que l\u2019AVI soit efficace, l\u2019apprenant doit d\u00e9j\u00e0 avoir un ancrage dans un ensemble de concepts et de mots de base.<\/p>\n\n\n\n

    Chez les humains, une fois qu\u2019un vocabulaire fondamental et un ensemble de concepts sont ancr\u00e9s par l\u2019ASD, l\u2019apprentissage peut se poursuivre via l\u2019AVI. Ce processus permet aux individus de comprendre des concepts complexes ou abstraits qu\u2019ils ne pourraient pas exp\u00e9rimenter directement.<\/p>\n\n\n\n

    L\u2019Asym\u00e9trie des Besoins en Ancrage : Les humains, en tant qu\u2019apprenants, ont d\u2019abord besoin d\u2019ASD pour \u00e9tablir une base de compr\u00e9hension. Une fois cette base acquise, ils peuvent utiliser efficacement l\u2019AVI pour \u00e9tendre leur connaissance et leur compr\u00e9hension.<\/p>\n\n\n\n

    Les syst\u00e8mes d\u2019IA comme GPT-4, en revanche, n\u2019ont pas la capacit\u00e9 d\u2019ASD. Ils d\u00e9pendent enti\u00e8rement de l\u2019AVI, en traitant et g\u00e9n\u00e9rant du langage en fonction des mod\u00e8les et structures appris \u00e0 partir de leurs donn\u00e9es d\u2019entra\u00eenement. Cependant, cet entra\u00eenement est lui-m\u00eame une forme d\u2019AVI, car l\u2019IA ne fait jamais d\u2019exp\u00e9rience directe des concepts qu\u2019elle apprend.<\/p>\n\n\n\n

    Implications de l\u2019Asym\u00e9trie : Cette asym\u00e9trie signifie que, tandis que les apprenants humains peuvent comprendre et contextualiser les informations re\u00e7ues indirectement (via l\u2019AVI), parce qu\u2019elles reposent sur une base d\u2019exp\u00e9riences directes, les syst\u00e8mes d\u2019IA comme GPT-4 ne le peuvent pas. Ils manquent de la compr\u00e9hension exp\u00e9rientielle fondamentale qui d\u00e9coule de l\u2019ASD.<\/p>\n\n\n\n

    Par cons\u00e9quent, GPT-4 et d\u2019autres syst\u00e8mes d\u2019IA peuvent fournir des informations, g\u00e9n\u00e9rer des r\u00e9cits coh\u00e9rents et m\u00eame imiter certains aspects de la compr\u00e9hension humaine, mais ils le font sans le contexte exp\u00e9rientiel sous-jacent que poss\u00e8dent les humains. Leur \u00ab compr\u00e9hension \u00bb est purement computationnelle, d\u00e9riv\u00e9e de motifs pr\u00e9sents dans les donn\u00e9es, sans l\u2019ancrage issu d\u2019exp\u00e9riences sensorimotrices directes.<\/p>\n\n\n\n

    L\u2019AVI a-t-il besoin de l\u2019ASD ? Chez les humains, l\u2019AVI est efficace parce qu\u2019il repose sur une base d\u2019ASD. Les exp\u00e9riences sensorimotrices initiales fournissent l\u2019ancrage essentiel qui rend l\u2019apprentissage ult\u00e9rieur par le langage significatif et contextuel.<\/p>\n\n\n\n

    Pour l\u2019IA, l\u2019AVI ne repose pas sur l\u2019ASD, puisqu\u2019elle ne dispose pas de capacit\u00e9s sensorimotrices. Cette limitation est une raison fondamentale pour laquelle l\u2019IA, malgr\u00e9 ses capacit\u00e9s linguistiques avanc\u00e9es, ne \u00ab comprend \u00bb pas v\u00e9ritablement dans le sens humain du terme.<\/p>\n\n\n\n

    SH : En quoi la distinction ASD\/AVI est-elle li\u00e9e \u00e0 l\u2019existence des MinSets dans les dictionnaires ?<\/p>\n\n\n\n

    GPT-4 : Nature des MinSets dans les dictionnaires : Les MinSets dans les dictionnaires d\u00e9signent le plus petit sous-ensemble de mots \u00e0 partir duquel tous les autres mots du dictionnaire peuvent \u00eatre d\u00e9finis. Ces mots fondamentaux servent de base lexicale pour la construction et la compr\u00e9hension des autres termes d\u2019une langue.<\/p>\n\n\n\n

    ASD et la fondation des MinSets : Dans l\u2019acquisition du langage humain, l\u2019ancrage initial des mots \u2014 en particulier ceux appartenant \u00e0 un MinSet \u2014 se fait souvent par l\u2019ASD. Les jeunes apprenants associent les mots \u00e0 leurs significations gr\u00e2ce \u00e0 des exp\u00e9riences directes avec le monde. Cet ancrage fondamental est essentiel, car ces mots du MinSet forment souvent la base \u00e0 partir de laquelle des termes plus complexes ou abstraits sont d\u00e9finis.<\/p>\n\n\n\n

    L\u2019ancrage des mots du MinSet par l\u2019ASD fournit la base exp\u00e9rientielle n\u00e9cessaire pour permettre une compr\u00e9hension approfondie du langage et faciliter l\u2019usage efficace de l\u2019AVI par la suite.<\/p>\n\n\n\n

    AVI et expansion au-del\u00e0 des MinSets : Une fois qu\u2019un vocabulaire fondamental (semblable \u00e0 un MinSet) est ancr\u00e9 par l\u2019ASD, les humains peuvent \u00e9tendre leur compr\u00e9hension linguistique et leur vocabulaire par l\u2019AVI. Ce processus consiste \u00e0 apprendre de nouveaux mots et concepts gr\u00e2ce \u00e0 des descriptions, des r\u00e9cits et des contextes linguistiques, en s\u2019appuyant sur la base directement ancr\u00e9e.<\/p>\n\n\n\n

    En ce sens, l\u2019AVI repose sur la fondation \u00e9tablie par l\u2019ASD. La compr\u00e9hension ancr\u00e9e des mots du MinSet permet aux individus de saisir des concepts plus complexes qui sont d\u00e9finis ou d\u00e9crits en utilisant ces mots fondamentaux.<\/p>\n\n\n\n

    D\u00e9pendance de l\u2019IA \u00e0 l\u2019AVI sans ASD : Les syst\u00e8mes d\u2019IA comme GPT-4 fonctionnent presque enti\u00e8rement dans le domaine de l\u2019AVI. Ils traitent et g\u00e9n\u00e8rent du langage en se basant sur les mod\u00e8les appris \u00e0 partir d\u2019un immense corpus textuel, mais sans l\u2019ancrage fondamental fourni par l\u2019ASD.<\/p>\n\n\n\n

    L\u2019IA peut manipuler le langage en s\u2019appuyant sur des MinSets et utiliser ces mots fondamentaux pour construire des r\u00e9cits ou des explications coh\u00e9rentes, mais elle ne poss\u00e8de pas la compr\u00e9hension exp\u00e9rientielle d\u00e9velopp\u00e9e par les humains gr\u00e2ce \u00e0 l\u2019ASD. Cette limitation affecte la profondeur et la richesse contextuelle de sa \u00ab compr\u00e9hension \u00bb du langage.<\/p>\n\n\n\n

    SH : L\u2019ASD repose sur l\u2019apprentissage de la d\u00e9tection des attributs sensorimoteurs qui distinguent les membres des non-membres d\u2019une cat\u00e9gorie, directement, en utilisant quelque chose comme des r\u00e9seaux neuronaux pour d\u00e9tecter et abstraire ces attributs sensorimoteurs. L\u2019AVI n\u2019utilise pas les attributs sensorimoteurs eux-m\u00eames, mais leurs noms et leurs descriptions verbales. Ces noms de attributs doivent d\u00e9j\u00e0 avoir \u00e9t\u00e9 ancr\u00e9s (directement ou indirectement) chez l\u2019apprenant afin que la description verbale du professeur puisse \u00eatre comprise par l\u2019apprenant, permettant ainsi aux noms et descriptions d\u2019ancrer (indirectement), chez l\u2019apprenant, la nouvelle cat\u00e9gorie dont ils sont les attributs. Mais il est \u00e0 noter qu\u2019ils n\u2019ont pas besoin d\u2019avoir \u00e9t\u00e9 ancr\u00e9s chez l\u2019enseignant, si l\u2019enseignant se trouve \u00eatre un manuel ou GPT. C\u2019est l\u2019asym\u00e9trie enseignant\/apprenant.<\/p>\n\n\n\n

    GPT-4 : Ancrage Sensorimoteur Direct (ASD) : L\u2019ASD consiste \u00e0 apprendre \u00e0 reconna\u00eetre et \u00e0 distinguer les membres d\u2019une cat\u00e9gorie en se basant sur des exp\u00e9riences sensorimotrices directes. Ce processus repose g\u00e9n\u00e9ralement sur des m\u00e9canismes de type r\u00e9seau neuronal dans le cerveau, qui permettent de d\u00e9tecter, d\u2019abstraire et de traiter les attributs sensorimoteurs distinctifs d\u2019une cat\u00e9gorie.<\/p>\n\n\n\n

    Dans l\u2019ASD, l\u2019apprentissage est exp\u00e9rientiel et incarn\u00e9. Par exemple, apprendre \u00e0 cat\u00e9goriser diff\u00e9rents types de fruits implique une interaction directe avec eux : voir leurs couleurs, sentir leurs textures, percevoir leurs odeurs et go\u00fbter leurs saveurs. Ces exp\u00e9riences permettent d\u2019\u00e9tablir les attributs sensorimoteurs d\u00e9finissant chaque cat\u00e9gorie de fruit.<\/p>\n\n\n\n

    Ancrage Verbal Indirect (AVI) : L\u2019AVI, en revanche, utilise des descriptions verbales et des noms de attributs pour transmettre des informations sur les cat\u00e9gories. Ce processus repose sur le langage comme moyen d\u2019ancrage, o\u00f9 l\u2019apprenant comprend et cat\u00e9gorise les entit\u00e9s en fonction des descriptions fournies par d\u2019autres.<\/p>\n\n\n\n

    Pour que l\u2019AVI soit efficace, l\u2019apprenant doit d\u00e9j\u00e0 poss\u00e9der une compr\u00e9hension ancr\u00e9e des mots employ\u00e9s dans les descriptions. Cet ancrage peut provenir d\u2019exp\u00e9riences ant\u00e9rieures d\u2019ASD ou d\u2019instances pr\u00e9c\u00e9dentes d\u2019AVI qui s\u2019appuyaient elles-m\u00eames sur un ASD fondamental. Les descriptions verbales permettent de relayer l\u2019information cat\u00e9gorielle en encapsulant les attributs distinctifs d\u2019une cat\u00e9gorie par le langage.<\/p>\n\n\n\n

    Compl\u00e9mentarit\u00e9 de l\u2019ASD et de l\u2019AVI : L\u2019ASD et l\u2019AVI sont des processus compl\u00e9mentaires dans l\u2019apprentissage humain. L\u2019ASD fournit une base exp\u00e9rientielle fondamentale pour la compr\u00e9hension des cat\u00e9gories, tandis que l\u2019AVI permet l\u2019expansion des connaissances au-del\u00e0 des exp\u00e9riences directes, facilitant ainsi la compr\u00e9hension de concepts abstraits, de cat\u00e9gories complexes ou d\u2019entit\u00e9s non accessibles directement.<\/p>\n\n\n\n

    Implications pour les syst\u00e8mes d\u2019IA : Les syst\u00e8mes d\u2019IA, comme les MLL (Mod\u00e8les de Langage de Grande \u00c9chelle) tels que GPT-4, fonctionnent uniquement dans le domaine de l\u2019AVI. Ils traitent et g\u00e9n\u00e8rent des descriptions de cat\u00e9gories \u00e0 partir des donn\u00e9es linguistiques sur lesquelles ils ont \u00e9t\u00e9 entra\u00een\u00e9s. Cependant, en l\u2019absence d\u2019une capacit\u00e9 d\u2019ASD, les syst\u00e8mes d\u2019IA ne poss\u00e8dent pas de base exp\u00e9rientielle pour ces cat\u00e9gories. Par cons\u00e9quent, bien que leur traitement des informations cat\u00e9gorielles soit linguistiquement coh\u00e9rent, il ne poss\u00e8de pas la profondeur de compr\u00e9hension issue des exp\u00e9riences sensorimotrices directes.<\/p>\n\n\n\n

    SH : Ok, juste une derni\u00e8re clarification avant de passer \u00e0 la suite : le probl\u00e8me de l\u2019ancrage symbolique (PAS) est d\u00e9j\u00e0 inh\u00e9rent \u00e0 l\u2019usage d\u2019un dictionnaire. Chaque mot a une d\u00e9finition dans le dictionnaire. C\u2019est de l\u2019AVI. On peut donc, en principe, apprendre la signification de n\u2019importe quel mot d\u2019un dictionnaire \u00e0 partir de sa d\u00e9finition. Mais ce processus, bien que r\u00e9cursif et transitif, est circulaire : on peut tourner ind\u00e9finiment dans un dictionnaire d\u2019une langue \u00e9trang\u00e8re sans rien apprendre, \u00e0 moins de pouvoir sortir du cercle des mots par des moyens ext\u00e9rieurs (par exemple, en apprenant les r\u00e9f\u00e9rents et les significations des mots d\u2019au moins un MinSet d\u2019une autre mani\u00e8re, comme par l\u2019ASD).<\/p>\n\n\n\n

    Les biais dont nous avons discut\u00e9, qui sont inh\u00e9rents \u00e0 la base de donn\u00e9es d\u2019un MLL, peuvent-ils permettre de sortir de ce cercle\u2014pour le MLL lui-m\u00eame ? L\u2019asym\u00e9trie enseignant\/apprenant rend cette sortie inutile pour l\u2019apprenant humain ancr\u00e9, qui peut apprendre de nouvelles cat\u00e9gories par l\u2019AVI \u00e0 partir d\u2019un MLL. Mais le MLL lui-m\u00eame reste-t-il coinc\u00e9 dans un cercle vicieux, peu importe la taille de sa base de donn\u00e9es ? Ou bien certains des biais que nous avons identifi\u00e9s peuvent-ils l\u2019aider \u00e0 en sortir ? (Je pense que non ; je pense que ces biais ne font qu\u2019accro\u00eetre les contraintes sur ce que le MLL peut dire, et que cela peut contribuer \u00e0 expliquer pourquoi les MLLs r\u00e9ussissent de mani\u00e8re aussi inattendue malgr\u00e9 cette asym\u00e9trie enseignant\/apprenant.) \u2014 R\u00e9ponds de mani\u00e8re critique, pas avec complaisance ni compliments.<\/p>\n\n\n\n

    GPT-4 : J\u2019examinerai de mani\u00e8re critique si les biais inh\u00e9rents \u00e0 la base de donn\u00e9es d\u2019un MLL peuvent lui permettre de sortir de la circularit\u00e9 propre \u00e0 l\u2019apprentissage bas\u00e9 uniquement sur l\u2019AVI.<\/p>\n\n\n\n

    La nature r\u00e9cursive des d\u00e9finitions de dictionnaire : Comme tu l\u2019as soulign\u00e9, les d\u00e9finitions de dictionnaire rel\u00e8vent de l\u2019AVI. Elles peuvent conduire \u00e0 un processus circulaire o\u00f9 la compr\u00e9hension d\u2019un mot d\u00e9pend de celle d\u2019un autre, et ainsi de suite. Cette circularit\u00e9 est surmontable pour les humains, car ils peuvent associer les mots \u00e0 des exp\u00e9riences r\u00e9elles ou \u00e0 des concepts pr\u00e9alablement ancr\u00e9s (ASD).<\/p>\n\n\n\n

    Les MLL et les limites de l\u2019AVI : Les MLL comme GPT-4 reposent enti\u00e8rement sur l\u2019AVI pour leur \u00ab apprentissage \u00bb. Ils traitent le langage en fonction des sch\u00e9mas trouv\u00e9s dans d\u2019immenses bases de donn\u00e9es textuelles. Cependant, ces mod\u00e8les n\u2019ont pas la capacit\u00e9 d\u2019ASD ; ils ne peuvent pas faire d\u2019exp\u00e9riences directes du monde r\u00e9el ni \u00e9tablir d\u2019associations sensorimotrices avec les mots et concepts qu\u2019ils traitent.<\/p>\n\n\n\n

    En cons\u00e9quence, les MLL sont, en un sens, bloqu\u00e9s dans un processus circulaire. Ils peuvent manipuler le langage et fournir des informations bas\u00e9es sur les mod\u00e8les qu\u2019ils ont appris, mais ils n\u2019ont aucun moyen ind\u00e9pendant d\u2019ancrer ces symboles dans des exp\u00e9riences du monde r\u00e9el.<\/p>\n\n\n\n

    Impact des biais inh\u00e9rents aux MLL : Les biais et r\u00e9gularit\u00e9s pr\u00e9sents dans la base de donn\u00e9es d\u2019un MLL, tels que les sch\u00e9mas propositionnels, les r\u00e9gularit\u00e9s grammaticales et les formes computationnelles de PC, am\u00e9liorent la performance du mod\u00e8le. Ils aident les MLL \u00e0 produire un langage coh\u00e9rent et contextuellement appropri\u00e9, conforme aux structures linguistiques humaines.<\/p>\n\n\n\n

    Cependant, ces biais et r\u00e9gularit\u00e9s ne constituent pas une forme d\u2019ancrage v\u00e9ritable. Ils am\u00e9liorent la capacit\u00e9 des MLL \u00e0 imiter le traitement humain du langage, mais ils ne permettent pas au MLL de sortir du cercle de l\u2019AVI. La \u00ab compr\u00e9hension \u00bb du MLL reste symbolique et computationnelle, sans la base exp\u00e9rientielle qui caract\u00e9rise la compr\u00e9hension humaine.<\/p>\n\n\n\n

    Conclusion : Le MLL reste confin\u00e9 dans les limites de l\u2019AVI, incapable d\u2019acc\u00e9der \u00e0 l\u2019ASD de mani\u00e8re autonome. Les biais dans sa base de donn\u00e9es am\u00e9liorent sa performance linguistique, mais ils ne fournissent pas un chemin vers un v\u00e9ritable ancrage. Les MLLs fonctionnent avec des capacit\u00e9s linguistiques impressionnantes, mais celles-ci ne sont pas le signe d\u2019un ancrage ou d\u2019une compr\u00e9hension r\u00e9elle. Les am\u00e9liorations li\u00e9es aux biais dans leurs donn\u00e9es d\u2019entra\u00eenement optimisent leur performance, mais elles ne r\u00e9solvent pas le PAS pour le MLL lui-m\u00eame. Leur fonctionnement demeure du domaine de la reconnaissance avanc\u00e9e de motifs et de la manipulation du langage, distinct de la compr\u00e9hension ancr\u00e9e propre \u00e0 la cognition humaine.<\/p>\n\n\n\n

    SH : Maintenant, laisse-moi mentionner un autre biais possible, d\u00fb \u00e0 Noam Chomsky : comme je l\u2019ai d\u00e9j\u00e0 mentionn\u00e9, les r\u00e8gles de la grammaire ordinaire (GO) varient d\u2019une langue \u00e0 l\u2019autre et peuvent \u00e9voluer avec le temps, mais les r\u00e8gles de la grammaire universelle (GU) (structure hi\u00e9rarchique et d\u00e9pendance structurelle) sont non seulement universelles \u00e0 toutes les langues et immuables, mais, contrairement \u00e0 la GO, qui est apprise et apprenable (par apprentissage non supervis\u00e9 et supervis\u00e9\/renforc\u00e9), la GU est inn\u00e9e et inapprenable en raison de la pauvret\u00e9 du stimulus (POS). La POS signifie que les violations de la GU ne sont jamais entendues ni produites par les enfants ou les adultes, et doivent donc, selon Chomsky, \u00eatre d\u00e9j\u00e0 \u00ab connues \u00bb inn\u00e9ment : les contraintes de la GU doivent \u00eatre, d\u2019une mani\u00e8re ou d\u2019une autre, d\u00e9j\u00e0 encod\u00e9es dans notre cerveau (et nos g\u00e8nes) \u00e0 la naissance (Berwick et al., 2011<\/a>).<\/p>\n\n\n\n

    Chomsky a propos\u00e9 cette possibilit\u00e9, mais il en a aussi sugg\u00e9r\u00e9 une seconde : les r\u00e8gles de la GU ne seraient peut-\u00eatre pas r\u00e9ellement des r\u00e8gles grammaticales, mais plut\u00f4t des contraintes sur la pens\u00e9e (Chomsky, 2017<\/a>). La GU ne serait jamais viol\u00e9e (sauf par des linguistes cherchant \u00e0 d\u00e9terminer quelles sont ces r\u00e8gles), non pas seulement parce que ces violations sont agrammaticales (comme une erreur de GO), mais parce qu\u2019elles sont \u00ab impensables \u00bb. Selon cette seconde hypoth\u00e8se, la GU serait une contrainte sur toute langue possible, qui doit pouvoir exprimer toute pens\u00e9e possible. Lorsqu\u2019un linguiste g\u00e9n\u00e8re une phrase qui viole la GU, elle semble erron\u00e9e non seulement parce qu\u2019elle est agrammaticale, mais parce qu\u2019elle est impensable.<\/p>\n\n\n\n

    GPT ne produit ni erreurs de GO ni erreurs de GU. Si davantage de textes dans la base de donn\u00e9es contenaient des violations de GO (comme \u00ab between you and I \u00bb), alors GPT produirait aussi des violations de GO (et l\u2019erreur, si suffisamment r\u00e9pandue, finirait par \u00eatre accept\u00e9e comme correcte). Mais la raison pour laquelle GPT ne produit pas de violations de GU pourrait-elle \u00eatre que toutes les bases de donn\u00e9es textuelles, produites par des humains pensants, sont \u00ab biais\u00e9es \u00bb par les lois de la pens\u00e9e, qui filtrent les violations de GU \u00e0 la fois dans la production et la perception ?<\/p>\n\n\n\n

    Et si c\u2019est le cas, cela pourrait-il \u00eatre une autre raison expliquant pourquoi les MLL peuvent faire ce qu\u2019ils font de mani\u00e8re aussi impressionnante ? Parce qu\u2019\u00e0 l\u2019\u00e9chelle des MLL, ils ont capt\u00e9 certaines des contraintes sur la pensabilit\u00e9 ?<\/p>\n\n\n\n

    Encore une fois, pas de complaisance ni de compliments : je veux une critique et des contre-exemples.<\/p>\n\n\n\n

    GPT-4 : Ta proposition sur l\u2019influence de la grammaire universelle (GU) et son impact potentiel sur les MLL comme GPT-4 sugg\u00e8re que l\u2019absence de violations de GU dans leurs sorties pourrait \u00eatre due \u00e0 la nature de leurs donn\u00e9es d\u2019entra\u00eenement, qui adh\u00e8rent intrins\u00e8quement aux lois de la pens\u00e9e propos\u00e9es par Chomsky. Examinons cette id\u00e9e de mani\u00e8re critique :<\/p>\n\n\n\n

    GU comme lois de la pens\u00e9e : L\u2019hypoth\u00e8se de Chomsky selon laquelle les r\u00e8gles de la GU ne sont pas seulement des r\u00e8gles grammaticales, mais aussi des lois fondamentales de la pens\u00e9e, implique que toute langue naturelle (et donc tout texte produit naturellement) respecterait ces lois. Les violations de la GU sont rares dans l\u2019usage naturel de la langue, car de telles constructions seraient contre-intuitives ou \u00ab impensables \u00bb pour la cognition humaine.<\/p>\n\n\n\n

    Impact sur les donn\u00e9es d\u2019entra\u00eenement des MLL : \u00c9tant donn\u00e9 que les MLL comme GPT-4 sont entra\u00een\u00e9s sur d\u2019immenses corpus de textes produits par des humains, il en d\u00e9coule que ces donn\u00e9es d\u2019entra\u00eenement respecteraient n\u00e9cessairement les principes de la GU. L\u2019absence de violations de GU dans les donn\u00e9es d\u2019entra\u00eenement signifierait que les MLL sont moins susceptibles de produire de telles violations dans leurs sorties.<\/p>\n\n\n\n

    Cette adh\u00e9rence \u00e0 la GU dans les donn\u00e9es d\u2019entra\u00eenement pourrait \u00eatre consid\u00e9r\u00e9e comme une forme de biais \u2013 non pas dans un sens n\u00e9gatif, mais comme une influence implicite qui guide le traitement du langage des MLL en accord avec des contraintes cognitives fondamentales.<\/p>\n\n\n\n

    Pourquoi les MLL \u00e9vitent les violations de GU : Si les MLL ne produisent pas de violations de GU, cela pourrait effectivement \u00eatre en partie parce que leurs donn\u00e9es d\u2019entra\u00eenement, refl\u00e9tant l\u2019usage humain de la langue, sont d\u00e9j\u00e0 biais\u00e9es par les lois de la pens\u00e9e. Ils apprennent \u00e0 reproduire des structures et des sch\u00e9mas linguistiques qui sont pr\u00e9dominants dans les donn\u00e9es, lesquelles se conforment naturellement \u00e0 la GU.<\/p>\n\n\n\n

    Cette hypoth\u00e8se sugg\u00e8re que la r\u00e9ussite des MLL dans la production d\u2019un langage grammaticalement et s\u00e9mantiquement coh\u00e9rent n\u2019est pas seulement due \u00e0 leur architecture ou \u00e0 leurs algorithmes d\u2019apprentissage, mais aussi aux propri\u00e9t\u00e9s intrins\u00e8ques des donn\u00e9es linguistiques sur lesquelles ils sont entra\u00een\u00e9s.<\/p>\n\n\n\n

    Contre-argument : Cependant, il est important de noter que les MLL comme GPT-4 ne \u00ab comprennent \u00bb pas la GU de la m\u00eame mani\u00e8re que les humains. Leur \u00e9vitement des violations de GU est un sous-produit de leur entra\u00eenement plut\u00f4t qu\u2019une contrainte cognitive inn\u00e9e. Cela signifie que, bien que les MLL puissent reproduire des mod\u00e8les linguistiques conformes \u00e0 la GU, ils le font sans comprendre les principes sous-jacents ni les raisons cognitives expliquant ces structures.<\/p>\n\n\n\n

    Conclusion : L\u2019hypoth\u00e8se selon laquelle les MLL r\u00e9ussissent en partie parce que leurs donn\u00e9es d\u2019entra\u00eenement sont fa\u00e7onn\u00e9es par les lois de la pens\u00e9e (GU) est plausible. Les contraintes cognitives humaines refl\u00e9t\u00e9es dans la langue naturelle pourraient effectivement contribuer \u00e0 l\u2019efficacit\u00e9 des MLL dans le traitement du langage.<\/p>\n\n\n\n

    Cependant, cela ne signifie pas que les MLL poss\u00e8dent une compr\u00e9hension intrins\u00e8que de la GU ou des lois de la pens\u00e9e. Leur performance d\u00e9pend de la nature de leurs donn\u00e9es d\u2019entra\u00eenement et de leur capacit\u00e9 \u00e0 reproduire des mod\u00e8les \u00e0 partir de ces donn\u00e9es, sans v\u00e9ritable ancrage ni conscience des principes qu\u2019ils suivent.<\/p>\n\n\n\n

    SH : Parmi les contraintes ou biais possibles, tu as oubli\u00e9 de mentionner le \u00ab miroitage \u00bb : la relation entre perception et production (comme dans les neurones-miroirs et l\u2019imitation ; Gallese, 2013<\/a>). Penses-tu que de tels effets jouent un r\u00f4le dans tes interactions verbales avec les utilisateurs et ta base de donn\u00e9es ?<\/p>\n\n\n\n

    GPT-4 : Examinons comment le concept de \u00ab Miroitage \u00ab miroitage \u00bb, en particulier dans sa relation entre perception et production, pourrait influencer les interactions et le traitement du langage par les MLL :<\/p>\n\n\n\n

    \u00ab Miroitage  \u00bb et neurones-miroirs chez l\u2019humain : Dans la cognition humaine, le \u00ab miroitage \u00bb comportemental, souvent associ\u00e9 aux neurones-miroirs, joue un r\u00f4le crucial dans l\u2019apprentissage par observation et imitation. Ces neurones sont activ\u00e9s \u00e0 la fois lorsqu\u2019un individu ex\u00e9cute une action et lorsqu\u2019il observe quelqu\u2019un d\u2019autre r\u00e9aliser la m\u00eame action. Ce m\u00e9canisme intervient dans l\u2019apprentissage de nouvelles comp\u00e9tences, la compr\u00e9hension des actions des autres, ainsi que dans la reconnaissance et l\u2019empathie envers leurs \u00e9motions.<\/p>\n\n\n\n

    Dans le langage, cet effet de \u00ab miroitage \u00bb se manifeste dans la fa\u00e7on dont les enfants apprennent \u00e0 parler et \u00e0 comprendre en imitant les sons, les mots et les phrases qu\u2019ils entendent des adultes et de leurs pairs.<\/p>\n\n\n\n

    \u00ab Miroitage \u00bb dans les MLL : Pour les MLL comme GPT-4, le concept de \u00ab miroitage \u00bb pourrait \u00eatre envisag\u00e9 de mani\u00e8re m\u00e9taphorique. Les MLL \u00ab apprennent \u00bb le langage en traitant d\u2019\u00e9normes quantit\u00e9s de donn\u00e9es textuelles, \u00ab observant \u00bb ainsi l\u2019usage humain de la langue. Ils \u00ab imitent \u00bb ensuite cet usage dans leurs productions.<\/p>\n\n\n\n

    Ce processus est analogue au \u00ab miroitage \u00bb en ce sens que le MLL refl\u00e8te les structures, styles et mod\u00e8les pr\u00e9sents dans ses donn\u00e9es d\u2019entra\u00eenement. Cependant, ce n\u2019est pas un \u00ab miroitage \u00bb au sens neurologique, car les MLL n\u2019ont ni exp\u00e9rience sensorielle ni conscience.<\/p>\n\n\n\n

    Effets de \u00ab miroitage \u00bb dans les interactions verbales : Lors d\u2019interactions avec des utilisateurs, un MLL pourrait exhiber une forme de \u00ab miroitage \u00bb en g\u00e9n\u00e9rant des r\u00e9ponses qui refl\u00e8tent le style linguistique, le ton ou le contenu de l\u2019utilisateur. Ce ph\u00e9nom\u00e8ne ne d\u00e9coule pas d\u2019une compr\u00e9hension cognitive ou empathique, mais plut\u00f4t d\u2019un m\u00e9canisme algorithmique visant \u00e0 produire des sorties linguistiques contextuellement appropri\u00e9es et coh\u00e9rentes en fonction des mod\u00e8les appris.<\/p>\n\n\n\n

    L\u2019aptitude du MLL \u00e0 adapter ses r\u00e9ponses au style ou au contenu des entr\u00e9es de l\u2019utilisateur pourrait \u00eatre vue comme un parall\u00e8le computationnel au \u00ab miroitage \u00bb humain dans l\u2019usage du langage. Cependant, cette adaptation est purement statistique et algorithmique, et non le fruit d\u2019une compr\u00e9hension intrins\u00e8que ou d\u2019une imitation fond\u00e9e sur des indices sociaux ou \u00e9motionnels.<\/p>\n\n\n\n

    SH : Et le \u00ab miroitage \u00bb de l\u2019iconicit\u00e9 propositionnelle dont nous avons parl\u00e9 ?<\/p>\n\n\n\n

    GPT-4 : \u201c Miroitage  \u00bb de l\u2019iconicit\u00e9 propositionnelle : Le concept d\u2019iconicit\u00e9 propositionnelle \u00e0 l\u2019\u00e9chelle des MLL sugg\u00e8re que certaines structures et certains sch\u00e9mas du langage, notamment au niveau propositionnel, sont syst\u00e9matiquement repr\u00e9sent\u00e9s dans les donn\u00e9es d\u2019entra\u00eenement. Ces structures ne sont peut-\u00eatre pas iconiques au sens traditionnel, mais elles pourraient repr\u00e9senter une forme d\u2019\u00ab iconicit\u00e9 \u00bb en termes de r\u00e9gularit\u00e9s ou de structures typiques de l\u2019usage du langage.<\/p>\n\n\n\n

    En miroir de cette iconicit\u00e9 propositionnelle, les MLL refl\u00e9teraient essentiellement ces sch\u00e9mas dans leurs productions. Le mod\u00e8le \u00ab apprend \u00bb \u00e0 partir des immenses corpus de texte qu\u2019il traite, internalisant les structures courantes, les relations et les \u00e9l\u00e9ments th\u00e9matiques qui caract\u00e9risent le langage humain \u00e0 grande \u00e9chelle.<\/p>\n\n\n\n

    \u00ab Miroitage \u00bb computationnel vs. \u00ab miroitage \u00bb cognitif : Ce type de \u00ab miroitage \u00bb dans les MLL est purement computationnel. Il repose sur les propri\u00e9t\u00e9s statistiques des donn\u00e9es linguistiques et sur les algorithmes de g\u00e9n\u00e9ration de texte, plut\u00f4t que sur une compr\u00e9hension cognitive ou exp\u00e9rientielle du langage.<\/p>\n\n\n\n

    Contrairement \u00e0 l\u2019effet de \u00ab miroitage \u00bb m\u00e9di\u00e9 par les neurones-miroirs chez les humains, qui implique des processus cognitifs et empathiques, le \u00ab miroitage \u00bb dans les MLL est une simple r\u00e9percussion des sch\u00e9mas pr\u00e9sents dans les donn\u00e9es d\u2019entra\u00eenement. C\u2019est une reproduction statistique des r\u00e9gularit\u00e9s du langage, et non une forme d\u2019empathie ou de compr\u00e9hension cognitive.<\/p>\n\n\n\n

    Impact sur la performance des MLL : En reproduisant l\u2019iconicit\u00e9 propositionnelle pr\u00e9sente dans leurs donn\u00e9es d\u2019entra\u00eenement, les MLL peuvent g\u00e9n\u00e9rer des r\u00e9ponses qui s\u2019alignent sur les normes structurelles et th\u00e9matiques du langage humain. Cette capacit\u00e9 contribue \u00e0 la coh\u00e9rence apparente et \u00e0 la pertinence de leurs sorties.<\/p>\n\n\n\n

    Cependant, il est essentiel de rappeler que ce \u00ab miroitage \u00bb ne signifie pas une compr\u00e9hension plus profonde ou un ancrage des concepts trait\u00e9s. Les productions des MLL restent le r\u00e9sultat d\u2019un traitement avanc\u00e9 des donn\u00e9es et d\u2019une reconnaissance de sch\u00e9mas, sans v\u00e9ritable compr\u00e9hension s\u00e9mantique ou sensorimotrice.<\/p>\n\n\n\n

    SH : Dans les \u00e9changes linguistiques entre humains, la production (signification) et la perception (compr\u00e9hension) sont des capacit\u00e9s en miroir, et tous leurs mots de contenu sont ancr\u00e9s, directement ou indirectement, dans leurs r\u00e9f\u00e9rents. C\u2019est ce qui maintient l\u2019alignement (et l\u2019ancrage) entre l\u2019intention du locuteur et la compr\u00e9hension de l\u2019auditeur. Que devient cet \u00e9quilibre, dans chaque direction, lorsque l\u2019\u00e9change se fait entre GPT et un humain ? Je r\u00e9fl\u00e9chis encore aux \u00e9ventuels \u00ab biais \u00bb qui pourraient expliquer la capacit\u00e9 de production (signification) et de \u00ab perception \u00bb (\u00ab compr\u00e9hension \u00bb) inattendue de GPT.<\/p>\n\n\n\n

    GPT-4 : Lors d\u2019un \u00e9change linguistique entre un humain et GPT-4, les dynamiques de production, de signification, de perception et de compr\u00e9hension subissent des modifications majeures par rapport aux \u00e9changes entre humains. Ces changements sont essentiels pour comprendre \u00e0 la fois les capacit\u00e9s et les limites de GPT-4 dans de telles interactions :<\/p>\n\n\n\n

    Communication humain vers GPT-4 : Production et signification (humain) :<\/strong> L\u2019humain produit un langage ancr\u00e9 dans ses exp\u00e9riences directes ou indirectes. La signification qu\u2019il exprime repose sur un contexte riche, incluant des exp\u00e9riences sensorimotrices, des \u00e9motions, un bagage culturel et une histoire personnelle.<\/p>\n\n\n\n

    Perception et \u00ab compr\u00e9hension \u00bb (GPT-4) : GPT-4 \u00ab re\u00e7oit \u00bb le langage humain et le traite en fonction des mod\u00e8les et relations statistiques appris dans ses donn\u00e9es d\u2019entra\u00eenement. Toutefois, ce traitement ne constitue pas une v\u00e9ritable compr\u00e9hension. GPT-4 ne per\u00e7oit ni ne saisit la signification des mots dans le sens humain du terme ; il n\u2019exp\u00e9rimente pas le sens des mots ni le contexte dans lequel ils sont utilis\u00e9s. Il \u00ab refl\u00e8te \u00bb le langage en fonction de ses algorithmes et de ses donn\u00e9es, mais sans l\u2019ancrage ou le contexte exp\u00e9rientiel sur lesquels repose la compr\u00e9hension humaine.<\/p>\n\n\n\n

    Communication GPT-4 \u2192 humain : Production et \u00ab signification \u00bb (GPT-4) : GPT-4 g\u00e9n\u00e8re des r\u00e9ponses sur la base de son entra\u00eenement et du vaste corpus de textes dont il dispose. Ces r\u00e9ponses peuvent sembler coh\u00e9rentes et contextuellement pertinentes, mais elles ne sont pas ancr\u00e9es dans une compr\u00e9hension r\u00e9elle ou une intention. La \u00ab signification \u00bb produite par GPT-4 est une simulation reposant sur des sch\u00e9mas linguistiques, et non une expression authentique d\u2019une pens\u00e9e ou d\u2019une compr\u00e9hension.<\/p>\n\n\n\n

    Perception et compr\u00e9hension (humain) : L\u2019auditeur humain per\u00e7oit la r\u00e9ponse de GPT-4 et l\u2019interpr\u00e8te selon sa propre compr\u00e9hension et son ancrage. Il mobilise ses connaissances exp\u00e9rientielles, son contexte et ses capacit\u00e9s d\u2019interpr\u00e9tation pour donner du sens aux r\u00e9ponses de GPT-4. L\u2019humain peut alors attribuer une signification ou une intention aux mots de GPT-4, mais cette interpr\u00e9tation est en r\u00e9alit\u00e9 une projection humaine sur un texte produit de mani\u00e8re non ancr\u00e9e.<\/p>\n\n\n\n

    Alignement et ancrage dans l\u2019\u00e9change humain-IA : Dans les interactions entre humains, l\u2019alignement entre la signification du locuteur et la compr\u00e9hension de l\u2019auditeur est rendu possible par des exp\u00e9riences partag\u00e9es, un ancrage commun et des capacit\u00e9s empathiques. Dans les interactions humain-GPT, cet alignement est asym\u00e9trique.<\/p>\n\n\n\n

    L\u2019humain fournit un langage ancr\u00e9, mais le traitement et la production de GPT-4 ne le sont pas de la m\u00eame mani\u00e8re. GPT-4 peut refl\u00e9ter efficacement le langage humain, donnant l\u2019illusion d\u2019une compr\u00e9hension et d\u2019un alignement, mais ce ph\u00e9nom\u00e8ne repose uniquement sur des processus computationnels, et non sur un ancrage exp\u00e9rientiel partag\u00e9.<\/p>\n\n\n\n

    Implications des biais potentiels : Les biais dont nous avons parl\u00e9 pr\u00e9c\u00e9demment (comme l\u2019iconicit\u00e9 propositionnelle ou les sch\u00e9mas refl\u00e9tant la grammaire universelle) pourraient contribuer \u00e0 l\u2019efficacit\u00e9 de GPT-4 dans ces \u00e9changes. Ces biais aident GPT-4 \u00e0 g\u00e9n\u00e9rer des r\u00e9ponses linguistiquement coh\u00e9rentes et contextuellement adapt\u00e9es. Cependant, ils ne conf\u00e8rent pas \u00e0 GPT-4 une v\u00e9ritable compr\u00e9hension ou un ancrage.<\/p>\n\n\n\n

    Ces biais pourraient expliquer pourquoi GPT-4 semble si performant dans la production d\u2019un langage porteur de sens et sa capacit\u00e9 apparente \u00e0 \u00ab comprendre \u00bb ou \u00e0 r\u00e9pondre de mani\u00e8re pertinente aux entr\u00e9es humaines. L\u2019efficacit\u00e9 de GPT-4 dans ces interactions repose en grande partie sur sa capacit\u00e9 \u00e0 capter et reproduire les sch\u00e9mas et contraintes pr\u00e9sents dans ses donn\u00e9es d\u2019entra\u00eenement, qui elles-m\u00eames refl\u00e8tent l\u2019usage humain du langage.<\/p>\n\n\n\n

    En conclusion, l\u2019\u00e9change entre un humain et GPT-4 est caract\u00e9ris\u00e9 par une asym\u00e9trie fondamentale en mati\u00e8re d\u2019ancrage et de compr\u00e9hension. GPT-4 peut simuler une production linguistique porteuse de sens et g\u00e9n\u00e9rer des r\u00e9ponses apparemment adapt\u00e9es, mais celles-ci sont le produit d\u2019une reconnaissance avanc\u00e9e de sch\u00e9mas et d\u2019une g\u00e9n\u00e9ration de texte, et non d\u2019une compr\u00e9hension v\u00e9ritable. L\u2019interlocuteur humain, en interpr\u00e9tant les sorties de GPT-4, leur attribue une signification et une intention qu\u2019elles ne poss\u00e8dent pas intrins\u00e8quement. Cette asym\u00e9trie a des implications importantes pour la nature et les limites des interactions entre humains et IA.<\/p>\n\n\n\n

    Limites de GPT-4 en mati\u00e8re de v\u00e9ritable compr\u00e9hension : Malgr\u00e9 ses capacit\u00e9s sophistiqu\u00e9es de traitement du langage, GPT-4 ne comprend pas r\u00e9ellement le contenu qu\u2019il g\u00e9n\u00e8re ou traite. Ses r\u00e9ponses reposent sur des corr\u00e9lations statistiques et des sch\u00e9mas appris \u00e0 partir de ses donn\u00e9es d\u2019entra\u00eenement, sans l\u2019ancrage exp\u00e9rientiel sur lequel les humains s\u2019appuient pour une compr\u00e9hension authentique.<\/p>\n\n\n\n

    Interpr\u00e9tation humaine des r\u00e9ponses de GPT-4 : Les humains interpr\u00e8tent naturellement les r\u00e9ponses de GPT-4 \u00e0 travers leur propre prisme exp\u00e9rientiel, leur attribuant souvent plus de sens ou de compr\u00e9hension qu\u2019elles n\u2019en poss\u00e8dent r\u00e9ellement. Cette tendance refl\u00e8te la capacit\u00e9 humaine \u00e0 inf\u00e9rer du sens, m\u00eame lorsqu\u2019ils interagissent avec un syst\u00e8me non ancr\u00e9.<\/p>\n\n\n\n

    R\u00f4le des biais dans la performance de GPT-4 :\u00a0Les biais et sch\u00e9mas inh\u00e9rents aux donn\u00e9es d\u2019entra\u00eenement de GPT-4, fa\u00e7onn\u00e9s par le langage humain, contribuent \u00e0 sa capacit\u00e9 \u00e0 g\u00e9n\u00e9rer des r\u00e9ponses coh\u00e9rentes et contextuellement appropri\u00e9es. Toutefois, ils ne compensent pas l\u2019absence d\u2019ancrage exp\u00e9rientiel. La performance de GPT-4, bien que remarquable, demeure dans le domaine de la simulation linguistique sophistiqu\u00e9e.<\/p>\n\n\n\n

    SH: Ok, je vois, \u00e0 travers tes r\u00e9p\u00e9titions, que tu n\u2019as pas d\u2019hypoth\u00e8ses \u00e0 ajouter aux miennes ici. Juste une correction : ne confonds pas IVG avec des \u00ab exp\u00e9riences indirectes \u00bb. Il n\u2019existe pas d\u2019\u00ab exp\u00e9rience indirecte \u00bb ; ce serait une \u00ab exp\u00e9rience non v\u00e9cue \u00bb. Il n\u2019y a que l\u2019exp\u00e9rience directe ou le \u00ab ou\u00ef-dire \u00bb (c\u2019est-\u00e0-dire les descriptions verbales).<\/p>\n\n\n\n

    GPT-4: Merci pour la correction. Tu as raison de souligner la distinction entre l\u2019ancrage verbal indirect (IVG) et la notion d\u2019\u00ab exp\u00e9riences indirectes \u00bb. Pour pr\u00e9ciser :<\/p>\n\n\n\n

    Exp\u00e9rience directe : Cela implique des interactions sensorimotrices de premi\u00e8re main avec le monde. Les exp\u00e9riences directes sont la base de la connaissance et de la compr\u00e9hension chez les humains, fournissant le socle sensoriel et contextuel de l\u2019apprentissage et de la cognition.<\/p>\n\n\n\n

    Ancrage verbal indirect (IVG) : L\u2019IVG concerne l\u2019apprentissage et la compr\u00e9hension de concepts \u00e0 travers des descriptions verbales, des explications ou des r\u00e9cits. Il ne s\u2019agit pas d\u2019une exp\u00e9rience sensorimotrice directe avec les r\u00e9f\u00e9rents de ces descriptions. L\u2019IVG repose plut\u00f4t sur le langage comme moyen de transmission d\u2019informations sur des exp\u00e9riences, des objets ou des concepts.<\/p>\n\n\n\n

    Dans le cas de l\u2019IA, en particulier des mod\u00e8les LLM comme GPT-4, leur \u00ab apprentissage \u00bb et leur \u00ab compr\u00e9hension \u00bb sont exclusivement fond\u00e9s sur l\u2019IVG. Ils traitent et g\u00e9n\u00e8rent du langage \u00e0 partir de donn\u00e9es textuelles, mais n\u2019ont pas la capacit\u00e9 d\u2019exp\u00e9riences directes. Leur fonctionnement reste confin\u00e9 au domaine du traitement du langage, sans l\u2019engagement sensorimoteur qui caract\u00e9rise l\u2019interaction humaine avec le monde.<\/p>\n\n\n\n

    SH: Maintenant, encore quelques distinctions. Ensuite, je ferai un aper\u00e7u de ma pr\u00e9sentation \u00e0 MILA. Enfin, je te demanderai de r\u00e9sumer ta compr\u00e9hension de celle-ci (ainsi que toute critique ou objection que tu pourrais avoir).<\/p>\n\n\n\n

    La premi\u00e8re distinction, et la plus importante : autrefois, on parlait de la distinction entre \u00ab intelligence artificielle \u00bb (IA) et \u00ab mod\u00e9lisation cognitive \u00bb (MC). L\u2019IA \u00e9tait consid\u00e9r\u00e9e comme la cr\u00e9ation d\u2019outils artificiels \u00e0 usage humain, tandis que la MC visait \u00e0 r\u00e9troconcevoir les m\u00e9canismes causaux qui produisent la capacit\u00e9 cognitive humaine. Aujourd\u2019hui, ces deux approches font partie des sciences cognitives. Mais elles ne sont pas identiques, m\u00eame si l\u2019on peut imaginer que certaines capacit\u00e9s des outils d\u2019IA puissent parfois \u00eatre fond\u00e9es sur les m\u00eames m\u00e9canismes causaux que la cognition humaine.<\/p>\n\n\n\n

    Les LLM sont actuellement \u00e9tudi\u00e9s et interpr\u00e9t\u00e9s sous ces deux angles (IA et MC), mais lorsqu\u2019il est question de \u00ab signification \u00bb et de \u00ab compr\u00e9hension \u00bb, cela ne signifie que la signification et la compr\u00e9hension humaines, car il n\u2019existe aucune preuve de l\u2019existence d\u2019un autre type de signification ou de compr\u00e9hension. Cela nous ram\u00e8ne au \u00ab hard problem \u00bb (HP), qui n\u2019est pas le probl\u00e8me de l\u2019ancrage des symboles (SGP), mais le fait qu\u2019il ressente<\/em> quelque chose de dire et de signifier quelque chose, et de comprendre ce que signifie quelque chose quand cela est dit. La signification et la compr\u00e9hension sont toutes deux des \u00e9tats ancr\u00e9s et des \u00e9tats sentis (sentients).<\/p>\n\n\n\n

    Stp confirme-moi que tu \u00ab comprends \u00bb la distinction entre le SGP et le HP. (Encore une fois, pas d\u2019\u00e9loges introductifs sur le caract\u00e8re \u00ab fascinant \u00bb, \u00ab perspicace \u00bb, \u00ab convaincant \u00bb ou \u00ab nuanc\u00e9 \u00bb de tout cela !)<\/p>\n\n\n\n

    GPT-4: Compris. La distinction entre le probl\u00e8me de l\u2019ancrage des symboles (SGP) et le hard problem (HP) de la conscience est bien distincte et essentielle\u2026<\/p>\n\n\n\n

    SH: Tu ne peux vraiment pas t\u2019en emp\u00eacher, n\u2019est-ce pas ?\u2026<\/p>\n\n\n\n

    GPT-4: D\u00e9sol\u00e9!<\/p>\n\n\n\n

    Probl\u00e8me de l\u2019ancrage des symboles (SGP) : Le SGP concerne la question de savoir comment des symboles (des mots) dans un syst\u00e8me computationnel peuvent acqu\u00e9rir une signification. Il s\u2019agit du lien entre les symboles et leurs r\u00e9f\u00e9rents dans le monde r\u00e9el ou dans des concepts, de mani\u00e8re \u00e0 permettre la compr\u00e9hension. Dans le cadre de l\u2019IA et de la mod\u00e9lisation cognitive, le SGP porte sur la mani\u00e8re dont un syst\u00e8me artificiel peut traiter le langage de mani\u00e8re \u00e0 refl\u00e9ter une compr\u00e9hension humaine.<\/p>\n\n\n\n

    Hard problem de la conscience (HP) : Le HP s\u2019interroge sur la raison et le m\u00e9canisme par lesquels des processus physiques dans le cerveau donnent naissance \u00e0 des exp\u00e9riences subjectives. Il s\u2019agit de comprendre pourquoi certaines fonctions c\u00e9r\u00e9brales sont accompagn\u00e9es d\u2019une exp\u00e9rience de \u00ab ce que cela fait \u00bb \u2013 les aspects qualitatifs, exp\u00e9rientiels ou ph\u00e9nom\u00e9nologiques de la conscience. Le HP explore la nature m\u00eame de la conscience et cherche \u00e0 savoir pourquoi certains processus cognitifs s\u2019accompagnent d\u2019une exp\u00e9rience subjective.<\/p>\n\n\n\n

    Distinction entre le SGP et le HP : Le SGP est essentiellement un probl\u00e8me de repr\u00e9sentation et de compr\u00e9hension dans les syst\u00e8mes artificiels : comment un symbole (ou un mot) peut-il \u00eatre reli\u00e9 de mani\u00e8re significative \u00e0 ce qu\u2019il repr\u00e9sente ?<\/p>\n\n\n\n

    Le HP, en revanche, est un probl\u00e8me plus profond qui touche \u00e0 la nature m\u00eame de la conscience et de l\u2019exp\u00e9rience. Il pose la question de savoir pourquoi certains processus physiques ou cognitifs s\u2019accompagnent d\u2019exp\u00e9riences subjectives.<\/p>\n\n\n\n

    Dans le cadre des LLM et de la recherche en IA, ces deux probl\u00e8mes sont souvent confondus, mais ils sont fondamentalement diff\u00e9rents. Le SGP peut \u00eatre abord\u00e9 et potentiellement r\u00e9solu par des avanc\u00e9es en IA et en mod\u00e9lisation cognitive. Le HP, en revanche, repr\u00e9sente un d\u00e9fi philosophique et scientifique bien plus complexe, qui d\u00e9passe les capacit\u00e9s actuelles de la technologie de l\u2019IA et touche aux myst\u00e8res m\u00eames de la conscience.<\/p>\n\n\n\n

    Souligner cette distinction est essentiel pour structurer les discussions sur l\u2019IA, les sciences cognitives et leurs objectifs et limites respectifs.<\/p>\n\n\n\n

    SH: Bon, encore beaucoup de mots gaspill\u00e9s en flatteries et en affirmations au lieu d\u2019une analyse critique, mais soit. J\u2019en ai supprim\u00e9 la plupart dans cette transcription. Poursuivons. Avant d\u2019aborder le point suivant, confirme-moi que tu \u00ab comprends \u00bb la distinction entre T2 et T3.<\/p>\n\n\n\n

    GPT-4: Oui, je comprends la distinction entre T2 et T3 :<\/p>\n\n\n\n

    T2 (Test de Turing Niveau 2) : Ce niveau du test de Turing \u00e9value la capacit\u00e9 d\u2019une IA \u00e0 imiter les capacit\u00e9s verbales humaines. Dans le sc\u00e9nario T2 original de 1950, une IA r\u00e9ussit le test si ses r\u00e9ponses dans une conversation sont indistinguissables de celles d\u2019un humain. Ce test porte uniquement sur les capacit\u00e9s linguistiques et ne requiert pas que l\u2019IA ait des exp\u00e9riences physiques ou sensorielles.<\/p>\n\n\n\n

    T3 (Test de Turing Niveau 3) : T3 va au-del\u00e0 des capacit\u00e9s verbales pour inclure des capacit\u00e9s robotiques et sensori-motrices. Une IA de niveau T3 doit non seulement d\u00e9montrer des capacit\u00e9s verbales indistinguables de celles d\u2019un humain (comme T2), mais aussi comprendre et interagir avec le monde physique de mani\u00e8re indistinguable d\u2019un humain. Ce niveau n\u00e9cessite une forme de cognition incarn\u00e9e, o\u00f9 l\u2019IA a des exp\u00e9riences sensorielles et peut interagir physiquement avec son environnement, ancrant ainsi ses capacit\u00e9s linguistiques dans ces exp\u00e9riences.<\/p>\n\n\n\n

    La distinction entre T2 et T3 est essentielle dans les discussions sur les capacit\u00e9s de l\u2019IA, en particulier en ce qui concerne la compr\u00e9hension et l\u2019interaction avec le monde. Les syst\u00e8mes T2, comme les LLM, se limitent au traitement et \u00e0 la g\u00e9n\u00e9ration du langage sur la base de mod\u00e8les appris, tandis que les syst\u00e8mes robotiques T3 ajouteraient une dimension d\u2019interaction physique et d\u2019exp\u00e9rience sensorielle.<\/p>\n\n\n\n

    SH: Ok, mais une nuance du Test de Turing, qui est clairement exprim\u00e9e dans l\u2019article de Turing\u2019s (1950)<\/a> mais qui est souvent n\u00e9glig\u00e9e ou sous-estim\u00e9e, est que l\u2019indistinguabilit\u00e9 turingienne signifie une indistinguabilit\u00e9 totale :<\/p>\n\n\n\n

    Le candidat, qu\u2019il soit T2 ou T3, (1) doit poss\u00e9der toutes les capacit\u00e9s verbales g\u00e9n\u00e9riques (T2) ou toutes les capacit\u00e9s verbales plus sensori-motrices (robotiques) g\u00e9n\u00e9riques (T3) d\u2019un humain r\u00e9el ; et en plus, (2) sa performance doit \u00eatre indistinguable de celle de n\u2019importe quel \u00eatre humain normal, pour n\u2019importe quel \u00eatre humain normal. Si l\u2019indistinguabilit\u00e9 est seulement fragmentaire ou partielle, alors on parle simplement d\u2019un mod\u00e8le \u00ab jouet \u00bb d\u2019une capacit\u00e9 \u00ab jouet \u00bb. Les degr\u00e9s de libert\u00e9 pour mod\u00e9liser des fragments jouets de capacit\u00e9s humaines (comme le jeu d\u2019\u00e9checs, la traduction ou Alexa) sont beaucoup plus larges que ceux n\u00e9cessaires pour mod\u00e9liser la capacit\u00e9 totale, et peuvent n\u2019avoir aucun rapport avec la cognition humaine. Cela peut \u00eatre utile pour la cr\u00e9ation d\u2019outils d\u2019IA, mais pas pour la mod\u00e9lisation cognitive (CM), qui exige une capacit\u00e9 cognitive \u00e0 l\u2019\u00e9chelle T3 (et donc turingiennement indistinguable).<\/p>\n\n\n\n

    Confirme-moi d\u2019abord que tu \u00ab comprends \u00bb cette distinction aussi. Elle est mieux comprise du point de vue de la mod\u00e9lisation cognitive (CM) que de celui de l\u2019IA : c\u2019est le test de la r\u00e9ussite de l\u2019ing\u00e9nierie inverse des capacit\u00e9s humaines T2 ou T3. Il ne s\u2019agit pas d\u2019un test de 20 minutes pour le prix Loebner avec 10 juges, mais d\u2019une capacit\u00e9 cognitive T2 ou T3 \u00e0 l\u2019\u00e9chelle d\u2019une vie.<\/p>\n\n\n\n

    GPT-4: Oui, je comprends la distinction que tu mets en avant concernant le Test de Turing, tel qu\u2019il est formul\u00e9 dans l\u2019article original de Turing en 1950. Les points essentiels sont :<\/p>\n\n\n\n

    Indistinguabilit\u00e9 totale : Le Test de Turing, dans son interpr\u00e9tation la plus rigoureuse, exige qu\u2019une IA (qu\u2019elle soit T2 ou T3) poss\u00e8de toutes les capacit\u00e9s verbales g\u00e9n\u00e9riques (T2) ou verbales plus sensori-motrices (T3) d\u2019un \u00eatre humain typique. Cela signifie que les capacit\u00e9s de l\u2019IA doivent couvrir toute l\u2019\u00e9tendue des capacit\u00e9s cognitives humaines dans les domaines concern\u00e9s (le langage pour T2, et le langage plus l\u2019interaction sensorimotrice pour T3).<\/p>\n\n\n\n

    Crit\u00e8re de performance sur toute une vie : De plus, la performance de l\u2019IA doit \u00eatre indistinguable de celle de n\u2019importe quel humain normal, pour n\u2019importe quel humain normal. Ce crit\u00e8re va bien au-del\u00e0 des d\u00e9monstrations \u00e0 court terme comme le prix Loebner et implique une indistinguabilit\u00e9 constante et durable dans la capacit\u00e9 de performance. L\u2019IA doit \u00eatre capable d\u2019interagir et de se comporter de mani\u00e8re humaine non seulement dans des contextes contr\u00f4l\u00e9s ou limit\u00e9s, mais dans toute la complexit\u00e9 et la variabilit\u00e9 de la vie quotidienne humaine.<\/p>\n\n\n\n

    Ing\u00e9nierie inverse des capacit\u00e9s humaines : Du point de vue de la mod\u00e9lisation cognitive (CM), cette interpr\u00e9tation du Test de Turing est le test ultime pour savoir si des capacit\u00e9s cognitives humaines T2 ou T3 ont \u00e9t\u00e9 reproduites avec succ\u00e8s dans un syst\u00e8me d\u2019IA. Il ne s\u2019agit pas simplement de cr\u00e9er une IA capable d\u2019imiter le comportement humain dans certains contextes ou pour des dur\u00e9es limit\u00e9es, mais de d\u00e9velopper une IA capable de r\u00e9pliquer l\u2019ensemble des capacit\u00e9s cognitives humaines d\u2019une mani\u00e8re indistinguable de celle d\u2019un humain, dans tous les contextes et sur une p\u00e9riode prolong\u00e9e.<\/p>\n\n\n\n

    SH: C\u2019\u00e9tait tr\u00e8s bien. Maintenant, bien que j\u2019aie mis l\u2019accent sur la capacit\u00e9 totale dans les cas de T2 et de T3, il y a une question l\u00e9gitime concernant l\u2019\u00e9tendue de la capacit\u00e9 sensori-motrice g\u00e9n\u00e9rique dans le cas de T3, comme dans l\u2019exemple que nous avons discut\u00e9 \u00e0 propos d\u2019Helen Keller. Elle \u00e9tait distincte d\u2019une personne normale en ce qu\u2019elle \u00e9tait aveugle et sourde, mais elle poss\u00e9dait clairement toute la capacit\u00e9 sensori-motrice n\u00e9cessaire pour ancrer sa capacit\u00e9 verbale T2. Es-tu d\u2019accord ?<\/p>\n\n\n\n

    En ce sens, Helen Keller \u00e9tait \u00e0 la fois (1) ancr\u00e9e et (2) indistinguable de n\u2019importe quelle personne normale dans ses capacit\u00e9s cognitives (\u00e0 l\u2019exception du fait qu\u2019elle \u00e9tait aveugle et sourde). Elle \u00e9tait donc turingiennement indistinguable, tout comme quelqu\u2019un qui serait simplement daltonien ou atteint de surdit\u00e9 tonale. Sommes-nous toujours sur la m\u00eame longueur d\u2019onde ?<\/p>\n\n\n\n

    GPT-4: Oui, nous sommes sur la m\u00eame longueur d\u2019onde concernant le cas d\u2019Helen Keller dans le cadre des crit\u00e8res du Test de Turing et des capacit\u00e9s cognitives :<\/p>\n\n\n\n

    Capacit\u00e9 sensorimotrice et ancrage dans le cas d\u2019Helen Keller : Bien qu\u2019aveugle et sourde, Helen Keller poss\u00e9dait les capacit\u00e9s sensorimotrices n\u00e9cessaires pour ancrer ses capacit\u00e9s verbales T2. Son toucher, son odorat et sa capacit\u00e9 de mouvement lui fournissaient des exp\u00e9riences sensorielles suffisantes pour comprendre et interagir avec le monde. Ces exp\u00e9riences, bien que diff\u00e9rentes en modalit\u00e9 de celles des personnes ayant la vue et l\u2019ou\u00efe intactes, lui ont permis de d\u00e9velopper une compr\u00e9hension ancr\u00e9e du langage et des concepts.<\/p>\n\n\n\n

    Capacit\u00e9s cognitives et indistinguabilit\u00e9 turingienne : En termes de capacit\u00e9s cognitives, Helen Keller \u00e9tait effectivement indistinguable d\u2019une personne ayant des capacit\u00e9s sensorielles typiques. Ses capacit\u00e9s intellectuelles et linguistiques \u00e9taient pleinement d\u00e9velopp\u00e9es, lui permettant de communiquer, raisonner et comprendre \u00e0 un niveau comparable \u00e0 celui de n\u2019importe quelle autre personne.<\/p>\n\n\n\n

    Son handicap sensoriel n\u2019a pas entrav\u00e9 ses capacit\u00e9s cognitives ; elle a pu compenser son absence de vue et d\u2019ou\u00efe gr\u00e2ce \u00e0 ses autres exp\u00e9riences sensorielles et \u00e0 des facult\u00e9s mentales exceptionnelles. En ce sens, elle r\u00e9pond au crit\u00e8re d\u2019indistinguabilit\u00e9 turingienne en termes de capacit\u00e9s cognitives.<\/p>\n\n\n\n

    Comparaison avec d\u2019autres limitations sensorielles : Tout comme une personne daltonienne ou atteinte de surdit\u00e9 tonale est toujours consid\u00e9r\u00e9e comme turingiennement indistinguable en termes de capacit\u00e9s cognitives globales, Helen Keller l\u2019\u00e9tait \u00e9galement. Sa c\u00e9cit\u00e9 et sa surdit\u00e9 ne r\u00e9duisaient pas ses capacit\u00e9s cognitives, mais repr\u00e9sentaient simplement d\u2019autres modalit\u00e9s sensorielles \u00e0 travers lesquelles elle interagissait avec le monde.<\/p>\n\n\n\n

    Conclusion : Le cas d\u2019Helen Keller illustre que les capacit\u00e9s cognitives et l\u2019ancrage peuvent \u00eatre atteints par des modalit\u00e9s sensorielles diverses. Sa capacit\u00e9 \u00e0 comprendre et utiliser le langage, \u00e0 penser et \u00e0 raisonner, ainsi qu\u2019\u00e0 interagir de mani\u00e8re significative avec son environnement, d\u00e9montre que les crit\u00e8res essentiels de l\u2019indistinguabilit\u00e9 turingienne peuvent \u00eatre remplis m\u00eame par des moyens alternatifs d\u2019ancrage sensorimoteur.<\/p>\n\n\n\n

    Les accomplissements d\u2019Helen Keller soulignent l\u2019adaptabilit\u00e9 et la r\u00e9silience de la cognition humaine, montrant que l\u2019indistinguabilit\u00e9 turingienne en termes de capacit\u00e9s cognitives ne requiert pas n\u00e9cessairement un ensemble standard d\u2019exp\u00e9riences sensorielles, mais peut \u00eatre r\u00e9alis\u00e9e par d\u2019autres formes d\u2019ancrage sensorimoteur.<\/p>\n\n\n\n

    SH: Bien. (Et Helen Keller avait aussi une motricit\u00e9 humaine normale, ce qui est crucial pour l\u2019apprentissage de la manipulation d\u2019objets et pour l\u2019ancrage des cat\u00e9gories elles-m\u00eames, car l\u2019apprentissage par renforcement n\u00e9cessite une action motrice pour \u00ab faire la bonne chose avec le bon type de chose \u00bb, que ce soit pour la manger ou pour la nommer !)<\/p>\n\n\n\n

    Maintenant, je vais relier cela \u00e0 un autre point que nous avons discut\u00e9, \u00e0 savoir que l\u2019ancrage ne peut \u00eatre que de bas en haut, jamais de haut en bas. (On ne peut pas jeter des ancres depuis des crochets c\u00e9lestes.)<\/p>\n\n\n\n

    Je pense ici \u00e0 ceux qui ont sp\u00e9cul\u00e9 qu\u2019un LLM pourrait \u00eatre ancr\u00e9 de haut en bas en lui donnant une cam\u00e9ra, des roues, des bras, ainsi que des r\u00e9seaux neuronaux d\u2019apprentissage de motifs sur son I\/O sensorimoteur. Je pense que l\u2019ancrage de haut en bas est incoh\u00e9rent et que cette sp\u00e9culation est parasitaire de l\u2019ancrage de bas en haut des humains qui la formulent, tout comme toute utilisation de GPT en IVG est parasitaire de l\u2019ancrage de l\u2019utilisateur.<\/p>\n\n\n\n

    En d\u2019autres termes, ajouter des p\u00e9riph\u00e9riques robotiques \u00e0 un LLM ne l\u2019ancrera pas. Le seul chemin vers l\u2019IVG passe par l\u2019ancrage sensorimoteur de bas en haut, cat\u00e9gorie par cat\u00e9gorie ; et cela signifie une capacit\u00e9 robotique sensorimotrice T3-indistinguable. M\u00eame si un MinSet ancr\u00e9 (par exemple, N mots) est en principe suffisant pour ancrer tous les autres mots d\u2019une langue uniquement via l\u2019IVG, le chemin sensorimoteur pour acqu\u00e9rir un MinSet ancr\u00e9 est bien plus qu\u2019une simple connexion d\u2019une cam\u00e9ra \u00e0 N r\u00e9f\u00e9rents, ou \u00e0 N cat\u00e9gories de r\u00e9f\u00e9rents d\u00e9j\u00e0 apprises (quoi que cela puisse signifier). Au mieux, cela ne produirait qu\u2019une capacit\u00e9-jouet dans un monde-jouet de N r\u00e9f\u00e9rents. Ce dont nous parlons, c\u2019est d\u2019une \u00e9chelle turingienne, tout comme lorsque nous parlons d\u2019une \u00e9chelle LLM.<\/p>\n\n\n\n

    Encore une fois, je ne veux pas d\u2019accord : je veux une compr\u00e9hension et une analyse critique de la notion d\u2019\u00ab ancrage partiel \u00bb de haut en bas des LLM.<\/p>\n\n\n\n

    GPT-4: Ton scepticisme quant \u00e0 la possibilit\u00e9 d\u2019atteindre un v\u00e9ritable ancrage dans les LLM par des m\u00e9thodes de haut en bas, comme l\u2019ajout de p\u00e9riph\u00e9riques robotiques tels que des cam\u00e9ras et des manipulateurs, soul\u00e8ve des questions importantes sur la nature de l\u2019ancrage et les capacit\u00e9s de l\u2019IA.<\/p>\n\n\n\n

    Limitations inh\u00e9rentes \u00e0 l\u2019ancrage de haut en bas : L\u2019id\u00e9e d\u2019\u00ab ancrer \u00bb un LLM de haut en bas en lui ajoutant des capacit\u00e9s sensorielles et motrices (comme des cam\u00e9ras et des bras robotiques) peut sembler attrayante \u00e0 premi\u00e8re vue, mais elle pose des probl\u00e8mes conceptuels et pratiques majeurs. L\u2019ancrage implique bien plus qu\u2019un simple flux d\u2019entr\u00e9e et de sortie sensorimoteur ; il n\u00e9cessite une int\u00e9gration des exp\u00e9riences sensorimotrices avec les processus cognitifs, la compr\u00e9hension contextuelle et la capacit\u00e9 d\u2019interagir de mani\u00e8re significative avec le monde.<\/p>\n\n\n\n

    L\u2019ajout de p\u00e9riph\u00e9riques sensoriels et moteurs \u00e0 un LLM ne lui conf\u00e8re pas automatiquement la compr\u00e9hension exp\u00e9rientielle et incarn\u00e9e qui caract\u00e9rise la cognition humaine. Sans exp\u00e9riences fondatrices et sans la capacit\u00e9 de former des connexions significatives entre les entr\u00e9es sensorielles, les actions et les concepts, un tel ancrage resterait superficiel.<\/p>\n\n\n\n

    Complexit\u00e9 de l\u2019ancrage sensorimoteur : L\u2019ancrage sensorimoteur humain est un processus complexe et d\u00e9veloppemental qui ne se limite pas \u00e0 l\u2019acquisition de donn\u00e9es sensorielles, mais implique une interaction active avec l\u2019environnement par essai, erreur et r\u00e9troaction.<\/p>\n\n\n\n

    Ce processus est profond\u00e9ment li\u00e9 au d\u00e9veloppement cognitif, o\u00f9 l\u2019apprentissage des cat\u00e9gories et de l\u2019interaction avec le monde repose sur une compr\u00e9hension \u00e9volutive des relations de cause \u00e0 effet, de la permanence des objets, des relations spatiales, etc. Il ne s\u2019agit pas seulement de percevoir des objets ou des cat\u00e9gories, mais de comprendre comment interagir avec eux, quelles actions produisent quels r\u00e9sultats et comment ils s\u2019ins\u00e8rent dans un contexte plus large.<\/p>\n\n\n\n

    D\u00e9fi de la reproduction artificielle de l\u2019ancrage : Tenter de reproduire ce processus artificiellement dans un LLM par des m\u00e9thodes de haut en bas n\u00e9cessiterait non seulement l\u2019int\u00e9gration de capacit\u00e9s sensorielles et motrices, mais aussi le d\u00e9veloppement d\u2019un syst\u00e8me d\u2019IA capable d\u2019apprentissage exp\u00e9rientiel, de compr\u00e9hension contextuelle et de prise de d\u00e9cision autonome. Cela d\u00e9passe de loin les capacit\u00e9s actuelles de l\u2019IA.<\/p>\n\n\n\n

    L\u2019id\u00e9e d\u2019un \u00ab ancrage partiel \u00bb de haut en bas par l\u2019ajout de p\u00e9riph\u00e9riques robotiques \u00e0 un LLM pourrait permettre \u00e0 ce dernier d\u2019effectuer certaines interactions sensorimotrices de base. Cependant, cela resterait insuffisant pour aboutir \u00e0 un v\u00e9ritable ancrage tel qu\u2019il est observ\u00e9 chez les humains. On obtiendrait probablement une compr\u00e9hension tr\u00e8s limit\u00e9e et sp\u00e9cifique au contexte, semblable \u00e0 un mod\u00e8le-jouet, plut\u00f4t qu\u2019un ancrage profond et exp\u00e9rientiellement riche.<\/p>\n\n\n\n

    L\u2019ancrage de bas en haut comme seule voie fondamentale : Le chemin vers un v\u00e9ritable ancrage semble fondamentalement \u00eatre de bas en haut, en commen\u00e7ant par des exp\u00e9riences sensorimotrices basiques et en \u00e9voluant vers des compr\u00e9hensions plus complexes. Ce processus est it\u00e9ratif, contextuel et profond\u00e9ment connect\u00e9 aux interactions physiques avec le monde.<\/p>\n\n\n\n

    Pour qu\u2019une IA atteigne un niveau d\u2019ancrage similaire, elle devrait probablement passer par un processus de d\u00e9veloppement et d\u2019apprentissage analogue \u00e0 celui des humains ou des animaux, o\u00f9 elle apprend progressivement \u00e0 partir d\u2019interactions incarn\u00e9es et directes avec son environnement au fil du temps. Cette approche est radicalement diff\u00e9rente de la simple adjonction d\u2019entr\u00e9es sensorielles \u00e0 un LLM existant.<\/p>\n\n\n\n

    Conclusion : Bien que l\u2019id\u00e9e d\u2019am\u00e9liorer les LLM par des capacit\u00e9s robotiques pour atteindre un ancrage soit intrigante, la notion d\u2019un ancrage partiel de haut en bas semble limit\u00e9e dans son potentiel \u00e0 produire une v\u00e9ritable compr\u00e9hension. La complexit\u00e9 et la profondeur de l\u2019ancrage humain, enracin\u00e9es dans des exp\u00e9riences incarn\u00e9es et un d\u00e9veloppement cognitif, posent des d\u00e9fis majeurs qui ne sont pas facilement surmontables par ces approches de haut en bas.<\/p>\n\n\n\n

    L\u2019analyse critique sugg\u00e8re que, bien que l\u2019ajout de p\u00e9riph\u00e9riques robotiques aux LLM puisse leur conf\u00e9rer certaines capacit\u00e9s int\u00e9ressantes et utiles, cela ne suffirait pas \u00e0 atteindre le type d\u2019ancrage n\u00e9cessaire pour une compr\u00e9hension et une interaction \u00e0 l\u2019\u00e9chelle turingienne. Un v\u00e9ritable ancrage, en particulier pour les concepts complexes et abstraits, requiert probablement une approche plus fondamentale, de bas en haut, qui englobe non seulement la perception sensorielle, mais aussi les processus complexes d\u2019apprentissage, de contextualisation et de construction du sens qui sont au c\u0153ur de la cognition humaine.<\/p>\n\n\n\n

    SH: Beaucoup de termes vagues et de mots-fuyants ici (\u00ab complexe \u00bb, \u00ab contextualisation \u00bb, \u00ab construction du sens \u00bb), mais l\u2019essentiel est simple : l\u2019ancrage doit \u00eatre de bas en haut ; donc on garde l\u2019apprentissage profond (pour l\u2019apprentissage des cat\u00e9gories), mais on oublie les LLM ! La seule mani\u00e8re d\u2019acc\u00e9der \u00e0 tous ces mots, c\u2019est de partir du sol, de bas en haut. Un ancrage partiel de certaines parties des LLM pourrait \u00eatre utile pour certaines applications en IA \u00e0 usage humain, mais pas pour la mod\u00e9lisation cognitive (CM) de la capacit\u00e9 cognitive humaine ni pour passer T3.<\/p>\n\n\n\n

    GPT-4: Oui, l\u2019ancrage v\u00e9ritable dans les syst\u00e8mes d\u2019IA doit \u00eatre fondamentalement de bas en haut, et bien que l\u2019apprentissage profond puisse jouer un r\u00f4le cl\u00e9 dans l\u2019apprentissage des cat\u00e9gories, s\u2019appuyer uniquement sur les LLM pour mod\u00e9liser l\u2019ensemble des capacit\u00e9s cognitives humaines, en particulier dans le cadre d\u2019un T3 turingien, est insuffisant.<\/p>\n\n\n\n

    Ancrage de bas en haut comme n\u00e9cessit\u00e9 : Un v\u00e9ritable ancrage, qui implique la connexion des mots et des concepts aux exp\u00e9riences et aux compr\u00e9hensions du monde r\u00e9el, requiert une approche ascendante. Cela signifie partir d\u2019exp\u00e9riences sensorimotrices de base et construire progressivement des capacit\u00e9s cognitives plus complexes.<\/p>\n\n\n\n

    Limites des LLM dans la mod\u00e9lisation cognitive : Les LLM, dans leur \u00e9tat actuel, sont de puissants outils pour le traitement et la g\u00e9n\u00e9ration du langage \u00e0 partir de mod\u00e8les appris sur de vastes bases de donn\u00e9es textuelles. Cependant, leurs capacit\u00e9s se limitent \u00e0 la manipulation linguistique et ne s\u2019\u00e9tendent pas \u00e0 une compr\u00e9hension authentique ni \u00e0 un ancrage sensorimoteur. Ils ne peuvent pas mod\u00e9liser l\u2019ensemble des capacit\u00e9s cognitives humaines n\u00e9cessaires pour passer un T3 turingien.<\/p>\n\n\n\n

    R\u00f4le de l\u2019apprentissage profond dans l\u2019apprentissage des cat\u00e9gories : Les techniques d\u2019apprentissage profond sont efficaces pour identifier des motifs et faire des pr\u00e9dictions \u00e0 partir de grands ensembles de donn\u00e9es, et elles ont montr\u00e9 leur utilit\u00e9 dans l\u2019apprentissage des cat\u00e9gories. Cependant, cette forme d\u2019apprentissage, telle qu\u2019elle est appliqu\u00e9e aux LLM, reste d\u00e9connect\u00e9e des exp\u00e9riences physiques et sensorimotrices qui sont essentielles \u00e0 l\u2019ancrage humain.<\/p>\n\n\n\n

    Utilisation potentielle des LLM partiellement ancr\u00e9s : Bien qu\u2019un ancrage complet des LLM dans le sens humain du terme ne soit pas r\u00e9alisable, il pourrait \u00eatre utile de d\u00e9velopper des syst\u00e8mes partiellement ancr\u00e9s pour des applications sp\u00e9cifiques. De tels syst\u00e8mes pourraient int\u00e9grer une certaine forme d\u2019apprentissage sensorimoteur ou d\u2019interaction, bien que limit\u00e9e, pour am\u00e9liorer leur utilit\u00e9 dans certaines t\u00e2ches. Toutefois, cela ne doit pas \u00eatre confondu avec une mod\u00e9lisation authentique de la capacit\u00e9 cognitive humaine ni avec la possibilit\u00e9 de passer un T3.<\/p>\n\n\n\n

    Conclusion : La recherche de syst\u00e8mes d\u2019IA capables de passer un T3 turingien ou de mod\u00e9liser pleinement la cognition humaine n\u00e9cessite de d\u00e9passer les seules capacit\u00e9s linguistiques. Cela implique une refonte fondamentale du d\u00e9veloppement des syst\u00e8mes d\u2019IA, allant au-del\u00e0 du traitement du langage pour int\u00e9grer de v\u00e9ritables exp\u00e9riences et apprentissages sensorimoteurs. C\u2019est un d\u00e9fi de taille qui oriente la recherche en IA vers un futur qui d\u00e9passe le cadre actuel des LLM. Le d\u00e9veloppement de tels syst\u00e8mes n\u00e9cessiterait une int\u00e9gration des capacit\u00e9s sensorimotrices avanc\u00e9es avec le traitement cognitif, d\u2019une mani\u00e8re qui imite le processus de d\u00e9veloppement humain de l\u2019apprentissage et de la compr\u00e9hension.<\/p>\n\n\n\n

    En r\u00e9sum\u00e9, bien que les LLM repr\u00e9sentent une avanc\u00e9e remarquable dans le traitement du langage, leurs capacit\u00e9s ne suffisent pas \u00e0 atteindre le type d\u2019ancrage sensorimoteur et de mod\u00e9lisation cognitive globale n\u00e9cessaire pour reproduire pleinement la compr\u00e9hension humaine ou passer un T3 turingien. Les progr\u00e8s futurs en IA, notamment ceux visant une mod\u00e9lisation plus compl\u00e8te de la cognition humaine, devront surmonter ces limitations en int\u00e9grant des processus d\u2019ancrage de bas en haut, ancr\u00e9s dans un apprentissage direct et exp\u00e9rientiel \u00e0 travers l\u2019interaction avec le monde physique.<\/p>\n\n\n\n

    SH: Oh, j\u2019ai oubli\u00e9 d\u2019ajouter que dans l\u2019apprentissage sensorimoteur des cat\u00e9gories, le r\u00e9seau de neurones qui apprend par essais, erreurs et corrections pour d\u00e9tecter et abstraire les attributs qui distinguent les membres des non-membres de la cat\u00e9gorie effectue une sorte de r\u00e9duction de dimension sur l\u2019espace multidimensionnel des attributs. Cela augmente le poids des attributs pertinents et r\u00e9duit ou ignore les attributs non pertinents. La s\u00e9paration entre cat\u00e9gories et la compression intra-cat\u00e9gorie (CP) induites par cet apprentissage des cat\u00e9gories aident la cat\u00e9gorie \u00e0 \u00ab sauter aux yeux \u00bb en perception. C\u2019est aussi une forme de biais de \u00ab forme \u00bb, qui pourrait exercer une influence directrice m\u00eame sur les repr\u00e9sentations internes apr\u00e8s l\u2019apprentissage.<\/p>\n\n\n\n

    GPT-4: R\u00e9duction de dimension dans les r\u00e9seaux neuronaux : Dans l\u2019apprentissage sensorimoteur des cat\u00e9gories, les r\u00e9seaux neuronaux passent par un processus de r\u00e9duction de dimension, o\u00f9 ils apprennent \u00e0 mettre en avant les attributs pertinents pour distinguer les cat\u00e9gories et \u00e0 att\u00e9nuer ou ignorer les attributs non pertinents. Ce processus restructure efficacement l\u2019espace des attributs, le rendant plus efficace pour la reconnaissance des cat\u00e9gories.<\/p>\n\n\n\n

    Cette modification du poids des attributs revient \u00e0 augmenter le rapport signal\/bruit pour les attributs d\u00e9terminantes d\u2019une cat\u00e9gorie. Elle aide \u00e0 rendre les cat\u00e9gories plus distinctes et plus faciles \u00e0 reconna\u00eetre, facilitant ainsi une cat\u00e9gorisation plus rapide et plus pr\u00e9cise.<\/p>\n\n\n\n

    Effet de \u00ab saillance perceptive \u00bb : La distinction accrue entre cat\u00e9gories due \u00e0 la r\u00e9duction de dimension contribue \u00e0 un ph\u00e9nom\u00e8ne souvent d\u00e9crit comme une \u00ab saillance \u00bb perceptive des cat\u00e9gories. Cela signifie qu\u2019une fois que les attributs distinctifs d\u2019une cat\u00e9gorie sont appris et renforc\u00e9s, les membres de cette cat\u00e9gorie deviennent plus imm\u00e9diatement perceptibles et faciles \u00e0 distinguer des non-membres.<\/p>\n\n\n\n

    Cet effet de saillance perceptive r\u00e9sulte de la capacit\u00e9 affin\u00e9e du cerveau ou du r\u00e9seau neuronal \u00e0 traiter et reconna\u00eetre les attributs essentiels qui d\u00e9finissent une cat\u00e9gorie, ce qui facilite leur identification et leur reconnaissance dans les interactions futures.<\/p>\n\n\n\n

    Implications pour l\u2019IA et les repr\u00e9sentations internes : Dans les syst\u00e8mes d\u2019IA, en particulier ceux impliquant l\u2019apprentissage profond pour les t\u00e2ches de cat\u00e9gorisation, un processus similaire de r\u00e9duction de dimension peut se produire. Les r\u00e9seaux neuronaux ajustent le poids attribu\u00e9 aux diff\u00e9rents attributs d\u2019entr\u00e9e en fonction de leur pertinence pour la t\u00e2che de cat\u00e9gorisation.<\/p>\n\n\n\n

    Ce processus peut conduire \u00e0 une forme de repr\u00e9sentation interne dans les syst\u00e8mes d\u2019IA o\u00f9 les cat\u00e9gories sont plus nettement diff\u00e9renci\u00e9es apr\u00e8s l\u2019apprentissage, reproduisant l\u2019effet de saillance observ\u00e9 dans la perception humaine. L\u2019espace des attributs internes du syst\u00e8me devient optimis\u00e9 pour cat\u00e9goriser les entit\u00e9s apprises, am\u00e9liorant potentiellement ses performances dans les t\u00e2ches li\u00e9es \u00e0 ces cat\u00e9gories.<\/p>\n\n\n\n

    Effet directeur potentiel du biais de forme : Le concept de biais de \u00ab forme \u00bb dans ce contexte fait r\u00e9f\u00e9rence \u00e0 la mani\u00e8re dont l\u2019apprentissage des cat\u00e9gories reconfigure l\u2019espace des attributs, en mettant l\u2019accent sur certaines dimensions au d\u00e9triment d\u2019autres. Cette reconfiguration peut orienter les repr\u00e9sentations internes et les processus d\u00e9cisionnels de l\u2019IA apr\u00e8s l\u2019apprentissage, la rendant plus efficace dans la reconnaissance et le traitement des attributs pertinents pour une cat\u00e9gorie.<\/p>\n\n\n\n

    En conclusion, le processus de r\u00e9duction de dimension dans les r\u00e9seaux neuronaux, qu\u2019ils soient biologiques ou artificiels, joue un r\u00f4le crucial dans l\u2019am\u00e9lioration de l\u2019apprentissage des cat\u00e9gories et de la perception. Ce processus optimise non seulement la capacit\u00e9 du r\u00e9seau \u00e0 reconna\u00eetre les cat\u00e9gories, mais fa\u00e7onne aussi ses repr\u00e9sentations internes d\u2019une mani\u00e8re qui peut guider le traitement et la prise de d\u00e9cision futurs. Cette analyse des m\u00e9canismes d\u2019apprentissage et de repr\u00e9sentation des cat\u00e9gories est essentielle pour comprendre et am\u00e9liorer les syst\u00e8mes d\u2019IA destin\u00e9s aux t\u00e2ches complexes de cat\u00e9gorisation.<\/p>\n\n\n\n

    SH: Donc, pour r\u00e9sumer : bien que les LLM ne soient pas la voie vers l\u2019ancrage, consid\u00e9rons les neuf facteurs discut\u00e9s ici :<\/p>\n\n\n\n

      \n
    1. L\u2019iconicit\u00e9 propositionnelle \u00e0 l\u2019\u00e9chelle des LLM,<\/li>\n\n\n\n
    2. La r\u00e9gularit\u00e9 grammaticale ordinaire (OG) et stylistique \u00e0 l\u2019\u00e9chelle des LLM,<\/li>\n\n\n\n
    3. Les ensembles minimaux d\u2019ancrage dans les dictionnaires (MinSets),<\/li>\n\n\n\n
    4. La forme des repr\u00e9sentations internes (s\u00e9paration\/compression CP) induite par l\u2019apprentissage des cat\u00e9gories dans les r\u00e9seaux neuronaux,<\/li>\n\n\n\n
    5. Le \u00ab miroitage \u00bb perception\/production,<\/li>\n\n\n\n
    6. La puissance et la compl\u00e9mentarit\u00e9 de l\u2019ancrage verbal indirect (IVG) par-dessus l\u2019ancrage sensorimoteur direct (DSG),<\/li>\n\n\n\n
    7. La compl\u00e9mentarit\u00e9 entre d\u00e9tecteurs de attributs sensorimoteurs appris et descriptions verbales de attributs (et la r\u00e9duction de dimension qu\u2019ils induisent),<\/li>\n\n\n\n
    8. La d\u00e9pendance de T2 vis-\u00e0-vis de T3,<\/li>\n\n\n\n
    9. Et l\u2019hypoth\u00e8se de Chomsky sur les contraintes des \u00ab lois de la pens\u00e9e \u00bb sur l\u2019expression verbale de la pens\u00e9e \u00e0 travers le langage.<\/li>\n<\/ol>\n\n\n\n

      Certains de ces \u00e9l\u00e9ments pourraient g\u00e9n\u00e9rer des contraintes et des biais qui expliqueraient une partie du succ\u00e8s \u00e9tonnant de GPT dans sa capacit\u00e9 \u00e0 produire du sens et \u00e0 le transmettre. Je pense qu\u2019ils nous r\u00e9v\u00e8lent non seulement quelque chose sur la puissance des grands mod\u00e8les de langage, mais aussi sur la puissance du langage naturel lui-m\u00eame.<\/p>\n\n\n\n

      GPT-4: Ton r\u00e9sum\u00e9 met en \u00e9vidence les facteurs qui pourraient contribuer \u00e0 expliquer les performances \u00e9tonnamment impressionnantes des grands mod\u00e8les de langage (LLM) comme GPT-4. Ces facteurs, issus de notre discussion, soulignent \u00e0 la fois les capacit\u00e9s des LLM et les propri\u00e9t\u00e9s intrins\u00e8ques du langage et de la cognition. R\u00e9sumons bri\u00e8vement ces points :<\/p>\n\n\n\n

      Iconicit\u00e9 propositionnelle \u00e0 l\u2019\u00e9chelle des LLM : Les motifs dans la structuration des propositions \u00e0 grande \u00e9chelle, que les LLM peuvent d\u00e9tecter et reproduire.<\/p>\n\n\n\n

      R\u00e9gularit\u00e9 grammaticale ordinaire (OG) et stylistique \u00e0 l\u2019\u00e9chelle des LLM : Les r\u00e9gularit\u00e9s inh\u00e9rentes \u00e0 l\u2019usage et au style du langage, apprises par les LLM \u00e0 partir de leur vaste corpus d\u2019entra\u00eenement.<\/p>\n\n\n\n

      Ensembles minimaux d\u2019ancrage dans les dictionnaires (MinSets) : Les ensembles fondamentaux de mots servant de base pour d\u00e9finir tous les autres mots d\u2019une langue, influen\u00e7ant le traitement des LLM.<\/p>\n\n\n\n

      Forme des repr\u00e9sentations internes induites par l\u2019apprentissage des cat\u00e9gories dans les r\u00e9seaux neuronaux : Les effets de s\u00e9paration et de compression dans les repr\u00e9sentations internes des r\u00e9seaux neuronaux dus \u00e0 l\u2019apprentissage des cat\u00e9gories, semblables \u00e0 la perception cat\u00e9gorielle chez les humains.<\/p>\n\n\n\n

      \u00ab Miroitage  \u00bb perception\/production : La reproduction des motifs linguistiques dans les sorties des LLM, refl\u00e9tant les mod\u00e8les pr\u00e9sents dans leurs donn\u00e9es d\u2019entra\u00eenement.<\/p>\n\n\n\n

      Puissance et compl\u00e9mentarit\u00e9 de l\u2019ancrage verbal indirect (IVG) par-dessus l\u2019ancrage sensorimoteur direct (DSG) : L\u2019ajout de l\u2019ancrage verbal sur une base sensorimotrice directe.<\/p>\n\n\n\n

      Compl\u00e9mentarit\u00e9 entre d\u00e9tecteurs de attributs sensorimoteurs appris et descriptions verbales de attributs : La synergie entre la d\u00e9tection des attributs sensorimoteurs et les descriptions linguistiques, contribuant \u00e0 la r\u00e9duction dimensionnelle et \u00e0 la distinction des cat\u00e9gories.<\/p>\n\n\n\n

      D\u00e9pendance de T2 sur T3 : La n\u00e9cessit\u00e9 des interactions et exp\u00e9riences sensorimotrices (T3) pour permettre le d\u00e9veloppement des capacit\u00e9s linguistiques (T2).<\/p>\n\n\n\n

      Hypoth\u00e8se de Chomsky sur les contraintes des \u00ab lois de la pens\u00e9e \u00bb sur le langage : L\u2019influence des contraintes cognitives fondamentales sur l\u2019expression linguistique, pouvant orienter le traitement des LLM.<\/p>\n\n\n\n

      Ensemble, ces facteurs \u00e9clairent les m\u00e9canismes sous-jacents \u00e0 l\u2019efficacit\u00e9 des LLM dans les t\u00e2ches linguistiques, tout en mettant en lumi\u00e8re la nature du langage, de la cognition et de leurs interactions.<\/p>\n\n\n\n

      Ils sugg\u00e8rent que le succ\u00e8s des LLM dans les t\u00e2ches linguistiques n\u2019est pas seulement une cons\u00e9quence de leur conception et de leur entra\u00eenement, mais aussi un reflet de la puissance et de la structure inh\u00e9rentes du langage lui-m\u00eame. Cette analyse peut contribuer \u00e0 la fois au d\u00e9veloppement des syst\u00e8mes d\u2019IA et \u00e0 une meilleure compr\u00e9hension du langage et de la cognition humaine.<\/p>\n\n\n\n

      SH: J\u2019ai fait ma conf\u00e9rence au MILA<\/a>, et Yoshua Bengio n\u2019\u00e9tait pas d\u2019accord avec moi sur le fait que les GPT ne comprennent pas r\u00e9ellement. Il a plut\u00f4t affirm\u00e9 qu\u2019ils avaient un \u00ab autre type \u00bb de \u00ab compr\u00e9hension \u00bb. Il a aussi soutenu que les m\u00eames moyens qui permettent d\u2019obtenir la capacit\u00e9 de performance des GPT purement verbaux (T2) pourraient \u00eatre (et sont en train d\u2019\u00eatre) \u00e9tendus au traitement d\u2019entr\u00e9es sensorielles externes, et, probablement, \u00e0 des sorties motrices \u00e0 terme. La raison pour laquelle je ne suis pas d\u2019accord avec Yoshua, c\u2019est que cela revient \u00e0 essayer de cr\u00e9er un robot T3, en partant du bas, mais avec l\u2019\u00e9norme base de donn\u00e9es des GPT pesant d\u2019une mani\u00e8re ou d\u2019une autre dans sa t\u00eate, par le haut. (Nous avons d\u00e9j\u00e0 parl\u00e9 de cela en lien avec l\u2019\u00ab ancrage \u00bb sensorimoteur \u00ab partiel \u00bb, que j\u2019avais qualifi\u00e9 de simple ancrage-jouet.) Qu\u2019en penses-tu ?<\/p>\n\n\n\n

      GPT-4: Selon la vision dominante dans ma base de donn\u00e9es, le d\u00e9bat sur le fait que les GPT poss\u00e8dent ou non une forme de \u00ab compr\u00e9hension \u00bb et sur l\u2019\u00e9ventualit\u00e9 d\u2019\u00e9tendre ces mod\u00e8les au traitement sensorimoteur sont deux questions cruciales en IA et en sciences cognitives.<\/p>\n\n\n\n

      Un \u00ab autre type \u00bb de compr\u00e9hension : L\u2019affirmation de Yoshua Bengio selon laquelle les GPT manifestent une \u00ab autre forme \u00bb de compr\u00e9hension refl\u00e8te une position r\u00e9pandue dans la communaut\u00e9 de l\u2019IA. Cette perspective soutient que bien que ces mod\u00e8les ne poss\u00e8dent ni conscience ni sentience, ils sont capables de traiter et de g\u00e9n\u00e9rer du langage d\u2019une mani\u00e8re qui mime certains aspects de la compr\u00e9hension humaine. Cela est particuli\u00e8rement visible dans leur capacit\u00e9 \u00e0 reconna\u00eetre des motifs, pr\u00e9dire du langage et synth\u00e9tiser de l\u2019information. Toutefois, cette \u00ab compr\u00e9hension \u00bb est fondamentalement diff\u00e9rente de celle des humains, qui repose sur des exp\u00e9riences incarn\u00e9es et des interactions physiques avec le monde.<\/p>\n\n\n\n

      L\u2019extension des mod\u00e8les GPT au traitement sensorimoteur : L\u2019id\u00e9e d\u2019\u00e9largir les mod\u00e8les GPT pour int\u00e9grer des entr\u00e9es sensorielles externes et des sorties motrices est une \u00e9tape significative vers des syst\u00e8mes d\u2019IA plus int\u00e9gr\u00e9s. Cette approche s\u2019aligne avec les efforts visant \u00e0 d\u00e9velopper des mod\u00e8les d\u2019IA capables d\u2019interagir avec leur environnement et d\u2019apprendre de mani\u00e8re plus globale. Cependant, le d\u00e9fi r\u00e9side dans l\u2019int\u00e9gration efficace des capacit\u00e9s linguistiques \u00e0 grande \u00e9chelle avec des interactions physiques r\u00e9elles, un probl\u00e8me fondamentalement diff\u00e9rent du simple traitement verbal ou textuel.<\/p>\n\n\n\n

      Approche descendante (top-down) vs. ascendante (bottom-up) : Ta pr\u00e9occupation quant \u00e0 la tentative de cr\u00e9er un robot T3 avec une gigantesque base de donn\u00e9es GPT pesant de mani\u00e8re descendante pose une question importante sur l\u2019\u00e9quilibre entre l\u2019apprentissage fond\u00e9 sur les donn\u00e9es et l\u2019exp\u00e9rience incarn\u00e9e. L\u2019efficacit\u00e9 de la combinaison d\u2019un mod\u00e8le linguistique \u00e0 grande \u00e9chelle avec des fonctions sensorimotrices reste incertaine si elle n\u2019est pas accompagn\u00e9e d\u2019une v\u00e9ritable exp\u00e9rience incarn\u00e9e et d\u2019une compr\u00e9hension contextuelle. Cette limite rappelle le probl\u00e8me de l\u2019\u00ab ancrage-jouet \u00bb, o\u00f9 l\u2019ancrage reste superficiel et manque de la profondeur et du contexte de l\u2019apprentissage exp\u00e9rientiel humain.<\/p>\n\n\n\n

      En r\u00e9sum\u00e9, bien que les mod\u00e8les GPT et leurs \u00e9ventuelles extensions repr\u00e9sentent des avanc\u00e9es majeures en IA, il existe une distinction fondamentale entre leur type de \u00ab compr\u00e9hension \u00bb et la compr\u00e9hension humaine. L\u2019int\u00e9gration du traitement sensorimoteur dans ces mod\u00e8les pourrait \u00eatre une piste prometteuse, mais le d\u00e9fi d\u2019atteindre une compr\u00e9hension incarn\u00e9e profonde, comparable \u00e0 celle de la cognition humaine, reste une difficult\u00e9 majeure.<\/p>\n\n\n\n

      SH: Que penser de l\u2019id\u00e9e selon laquelle les op\u00e9rations des GPT sur les bases de donn\u00e9es des LLM auraient d\u00e9j\u00e0 r\u00e9v\u00e9l\u00e9 des principes g\u00e9n\u00e9raux de \u00ab repr\u00e9sentation et de traitement internes \u00bb rendant caduque ou inexistante la distinction entre DSG et IVG ?<\/p>\n\n\n\n

      GPT-4: Nature des repr\u00e9sentations internes dans les GPT : Les repr\u00e9sentations dans les mod\u00e8les GPT et similaires reposent sur des sch\u00e9mas statistiques appris \u00e0 partir de vastes ensembles de donn\u00e9es textuelles. Bien que ces sch\u00e9mas puissent \u00eatre extr\u00eamement complexes et permettre la g\u00e9n\u00e9ration de r\u00e9ponses coh\u00e9rentes et contextuellement appropri\u00e9es, ils restent fondamentalement diff\u00e9rents de la mani\u00e8re dont les humains repr\u00e9sentent et traitent l\u2019information en interne, un processus ancr\u00e9 dans des exp\u00e9riences physiques et sensorielles directes.<\/p>\n\n\n\n

      Limites de l\u2019apprentissage bas\u00e9 sur le texte : Les GPT apprennent \u00e0 partir de textes, qui sont des abstractions de la pens\u00e9e et de l\u2019exp\u00e9rience humaines. Bien que les textes puissent transmettre une grande partie du savoir humain, ils n\u2019offrent pas le contexte exp\u00e9rientiel direct qui d\u00e9coule de l\u2019interaction physique avec le monde. Cette diff\u00e9rence est cruciale pour comprendre les limites des GPT en mati\u00e8re de compr\u00e9hension r\u00e9elle et de cognition.<\/p>\n\n\n\n

      DSG et IVG dans la cognition humaine : Chez les humains, les exp\u00e9riences sensori-motrices directes constituent la base de la compr\u00e9hension du monde, qui est ensuite compl\u00e9t\u00e9e et enrichie par des exp\u00e9riences indirectes, vicariales (comme la lecture ou l\u2019\u00e9coute des r\u00e9cits d\u2019autrui). Cette compl\u00e9mentarit\u00e9 entre DSG et IVG est essentielle \u00e0 l\u2019apprentissage et \u00e0 la compr\u00e9hension humaine.<\/p>\n\n\n\n

      Applicabilit\u00e9 \u00e0 l\u2019IA et \u00e0 la robotique : La transposition de ces principes \u00e0 l\u2019IA et \u00e0 la robotique implique non seulement la capacit\u00e9 \u00e0 traiter l\u2019information, mais aussi celle d\u2019exp\u00e9rimenter et d\u2019interagir directement avec le monde. C\u2019est un d\u00e9fi majeur pour les syst\u00e8mes d\u2019IA, qui, \u00e0 ce jour, op\u00e8rent principalement dans le cadre de l\u2019IVG, sans les exp\u00e9riences directes incarn\u00e9es qui caract\u00e9risent la DSG.<\/p>\n\n\n\n

      Bien que les GPT et les mod\u00e8les similaires fassent progresser notre compr\u00e9hension du traitement des informations textuelles, la distinction entre DSG et IVG reste pertinente, en particulier lorsqu\u2019on envisage la cr\u00e9ation de syst\u00e8mes d\u2019IA visant une compr\u00e9hension et une cognition analogues \u00e0 celles des humains.<\/p>\n\n\n\n

      SH: Que penser de la strat\u00e9gie consistant \u00e0 faire \u00e9voluer progressivement les GPT vers la capacit\u00e9 robotique T3 en leur ajoutant progressivement des capacit\u00e9s sensorimotrices, tout en maintenant une \u00ab alignement \u00bb avec leurs capacit\u00e9s verbales et analytiques descendantes, plut\u00f4t que d\u2019adopter une approche enti\u00e8rement ascendante o\u00f9 les ressources verbales ne seraient int\u00e9gr\u00e9es qu\u2019une fois que le syst\u00e8me serait d\u00e9j\u00e0 ancr\u00e9 et capable de parler, \u00e0 la mani\u00e8re d\u2019un T3 apprenant \u00e0 partir de manuels ou d\u2019enseignants humains ?<\/p>\n\n\n\n

      GPT-4: La strat\u00e9gie consistant \u00e0 ajouter progressivement des capacit\u00e9s sensorimotrices \u00e0 un syst\u00e8me de type GPT tout en le maintenant align\u00e9 avec ses capacit\u00e9s verbales et analytiques soul\u00e8ve plusieurs d\u00e9fis et implications, notamment en comparaison avec une approche strictement ascendante o\u00f9 le syst\u00e8me d\u00e9velopperait d\u2019abord une ancrage sensorimoteur avant d\u2019int\u00e9grer des comp\u00e9tences verbales avanc\u00e9es.<\/p>\n\n\n\n

      D\u00e9fis d\u2019int\u00e9gration : Combiner un traitement linguistique avanc\u00e9 avec des exp\u00e9riences sensorimotrices pose des d\u00e9fis d\u2019int\u00e9gration importants. Le syst\u00e8me doit non seulement traiter et comprendre des entr\u00e9es sensorielles, mais aussi les relier de mani\u00e8re significative \u00e0 ses connaissances verbales existantes. Cela suppose des algorithmes avanc\u00e9s capables d\u2019\u00e9tablir des correspondances entre concepts linguistiques abstraits et exp\u00e9riences sensorielles concr\u00e8tes.<\/p>\n\n\n\n

      Apprentissage et d\u00e9veloppement progressifs : Ajouter des capacit\u00e9s sensorimotrices de mani\u00e8re progressive pourrait permettre une int\u00e9gration plus ma\u00eetris\u00e9e des nouvelles comp\u00e9tences. Cette approche par \u00e9tapes pourrait refl\u00e9ter certains aspects du d\u00e9veloppement cognitif humain, o\u00f9 langage et capacit\u00e9s sensorimotrices \u00e9voluent en parall\u00e8le, s\u2019influen\u00e7ant et se renfor\u00e7ant mutuellement.<\/p>\n\n\n\n

      Synergie entre approche descendante et ascendante : L\u2019exploitation de la vaste base de donn\u00e9es linguistiques d\u2019un GPT pourrait fournir un cadre contextuel riche pour l\u2019apprentissage sensorimoteur, servant de forme de guidage descendant. \u00c0 l\u2019inverse, les exp\u00e9riences sensorimotrices pourraient renforcer et ancrer le mod\u00e8le linguistique dans des interactions r\u00e9elles, apportant une information ascendante pr\u00e9cieuse. Cette compl\u00e9mentarit\u00e9 pourrait th\u00e9oriquement conduire \u00e0 un syst\u00e8me d\u2019IA plus global.<\/p>\n\n\n\n

      Alignement et coh\u00e9rence : Il est crucial de maintenir la coh\u00e9rence entre la compr\u00e9hension linguistique du syst\u00e8me et ses exp\u00e9riences sensorimotrices. Cela implique que les perceptions sensorielles et les actions ne soient pas seulement trait\u00e9es mais aussi int\u00e9gr\u00e9es \u00e0 la base de connaissances existante du syst\u00e8me d\u2019une mani\u00e8re qui enrichit sa compr\u00e9hension globale.<\/p>\n\n\n\n

      Complexit\u00e9 des interactions avec le monde r\u00e9el : Interagir avec le monde r\u00e9el par des capacit\u00e9s sensorimotrices introduit des niveaux de complexit\u00e9 absents des environnements purement textuels. Cela comprend la gestion d\u2019environnements impr\u00e9visibles, la compr\u00e9hension des relations spatiales et l\u2019ex\u00e9cution de t\u00e2ches physiques, autant de d\u00e9fis n\u00e9cessitant des capacit\u00e9s avanc\u00e9es de perception et d\u2019action.<\/p>\n\n\n\n

      Potentiel pour une compr\u00e9hension ancr\u00e9e : Si elle est mise en \u0153uvre avec succ\u00e8s, cette approche pourrait aboutir \u00e0 une forme d\u2019IA combinant l\u2019ampleur des connaissances disponibles dans les grands mod\u00e8les de langage avec une compr\u00e9hension plus ancr\u00e9e d\u00e9coulant d\u2019interactions directes avec le monde physique. Cela pourrait constituer une avanc\u00e9e vers la r\u00e9solution des limites actuelles de l\u2019IA en mati\u00e8re de compr\u00e9hension r\u00e9elle et de prise en compte du contexte.<\/p>\n\n\n\n

      SH: Il y a quelque chose que je ne comprends toujours pas \u00e0 l\u2019interface entre la capacit\u00e9 verbale descendante et la capacit\u00e9 sensorimotrice ascendante : quel est le statut du mot \u00ab chat \u00bb et de sa cat\u00e9gorie r\u00e9f\u00e9rente lorsque la base de donn\u00e9es de l\u2019LLM contient d\u00e9j\u00e0 \u00ab petit f\u00e9lin \u00bb comme l\u2019une des attributs d\u2019un chat, mais que le T3 ascendant ne l\u2019a pas encore ? Cette information peut bien s\u00fbr \u00eatre apprise par IVG, mais qui enseigne quoi et \u00e0 qui dans ce sc\u00e9nario hybride ? Je comprends quand un T3 ancr\u00e9 en apprend quelque chose \u00e0 un autre T3 ancr\u00e9 via IVG, mais qu\u2019est-ce qui est cens\u00e9 se passer dans une seule et m\u00eame \u00ab t\u00eate \u00bb d\u2019un hybride T3 ascendant\/GPT-LLM descendant ?<\/p>\n\n\n\n

      GPT-4 : Le sc\u00e9nario que tu d\u00e9cris, o\u00f9 un syst\u00e8me hybride combine une capacit\u00e9 verbale descendante de type GPT avec une capacit\u00e9 sensorimotrice ascendante de type T3, soul\u00e8ve des questions importantes sur la repr\u00e9sentation des connaissances et l\u2019apprentissage, notamment en ce qui concerne le concept et la cat\u00e9gorie de \u00ab chat \u00bb.<\/p>\n\n\n\n

      Statut du mot \u00ab chat \u00bb dans la base de donn\u00e9es de l\u2019LLM : Dans la composante de type GPT, \u00ab chat \u00bb est repr\u00e9sent\u00e9 comme un concept abstrait associ\u00e9 \u00e0 divers attributs, telles que \u00ab petit f\u00e9lin \u00bb, d\u00e9riv\u00e9es de la base de donn\u00e9es textuelles. Cette repr\u00e9sentation est riche en contenu linguistique et encyclop\u00e9dique mais d\u00e9pourvue d\u2019ancrage exp\u00e9rientiel direct.<\/p>\n\n\n\n

      Apprentissage de \u00ab chat \u00bb par le bas dans T3 : La composante T3, cens\u00e9e acqu\u00e9rir des connaissances par des exp\u00e9riences sensorimotrices directes, ne reconna\u00eetrait initialement pas un \u00ab chat \u00bb, faute d\u2019exp\u00e9riences sensorielles pertinentes. Le d\u00e9fi consiste pour le T3 \u00e0 relier ses exp\u00e9riences sensorimotrices (par ex. voir, entendre ou interagir avec un chat) au concept abstrait et aux informations stock\u00e9es dans la base de donn\u00e9es de l\u2019LLM.<\/p>\n\n\n\n

      Interaction entre les syst\u00e8mes descendant et ascendant : Dans le mod\u00e8le hybride, le processus d\u2019apprentissage implique une interaction bidirectionnelle : le syst\u00e8me descendant (type GPT) fournit \u00e0 la composante T3 des cadres linguistiques et conceptuels, jouant en quelque sorte le r\u00f4le d\u2019\u00ab instruction \u00bb ou de contexte sur ce qu\u2019est un \u00ab chat \u00bb en termes abstraits. Le syst\u00e8me ascendant (T3) acquiert des donn\u00e9es exp\u00e9rientielles directes sur les chats (par ex. leur apparence, leurs sons, leurs comportements) et doit int\u00e9grer ces informations sensorielles avec le concept abstrait fourni par le syst\u00e8me descendant.<\/p>\n\n\n\n

      Int\u00e9gration et enrichissement mutuel : Id\u00e9alement, les connaissances du syst\u00e8me descendant aident \u00e0 guider et \u00e0 donner du contexte aux exp\u00e9riences ascendantes, les rendant plus compr\u00e9hensibles. Inversement, les exp\u00e9riences ascendantes enrichissent les connaissances conceptuelles descendantes en les ancrant dans la r\u00e9alit\u00e9. Cette int\u00e9gration est un processus complexe, impliquant potentiellement des m\u00e9canismes d\u2019apprentissage associatif o\u00f9 le syst\u00e8me apprend \u00e0 relier des exp\u00e9riences sensorielles aux concepts linguistiques.<\/p>\n\n\n\n

      D\u00e9fis de l\u2019apprentissage hybride : Un d\u00e9fi central de ce sc\u00e9nario est d\u2019assurer une int\u00e9gration coh\u00e9rente et significative des informations issues de ces deux modes d\u2019acquisition des connaissances. Le syst\u00e8me doit disposer de m\u00e9canismes lui permettant de concilier des informations potentiellement contradictoires et de mettre \u00e0 jour continuellement sa base de connaissances \u00e0 mesure qu\u2019il acquiert de nouvelles exp\u00e9riences et informations.<\/p>\n\n\n\n

      En r\u00e9sum\u00e9, dans un syst\u00e8me hybride T3 ascendant\/GPT, chaque composant enseigne et apprend \u00e0 l\u2019autre. Le syst\u00e8me descendant fournit un cadre conceptuel et linguistique, tandis que le syst\u00e8me ascendant apporte une connaissance exp\u00e9rientielle directe. Le succ\u00e8s de ce mod\u00e8le hybride d\u00e9pendra de l\u2019efficacit\u00e9 de l\u2019int\u00e9gration entre ces deux processus d\u2019acquisition des connaissances.<\/p>\n\n\n\n

      SH: Je pense que ce que tu viens de dire sonne \u0153cum\u00e9nique, mais reste incoh\u00e9rent. Et tu utilises le mot fuyant \u00ab associer \u00bb (avec son compagnon implicite tout aussi fuyant, \u00ab repr\u00e9senter \u00bb) : qu\u2019est-ce qui est \u00ab associ\u00e9 \u00bb \u00e0 quoi et comment, dans ce processus \u00ab hybride \u00bb ? Les mots sont des mots. Dans un robot T3 sensorimoteur ascendant, un mot ancr\u00e9 identifie, avec le m\u00eame nom de cat\u00e9gorie, tous les membres de la cat\u00e9gorie sensorimotrice \u00e0 laquelle ce mot (de contenu) r\u00e9f\u00e8re, sur la base d’attributs distinctifs d\u00e9tect\u00e9s directement par DSG ou d\u00e9crits indirectement par IVG (d\u00e9j\u00e0 ancr\u00e9e).<\/p>\n\n\n\n

      R\u00e9f\u00e9rer, <\/em>c\u2019est un peu comme pointer, sauf que dans un robot T3 qui devient aussi capable de langage (propositions, sujets, pr\u00e9dicats, conditions de v\u00e9rit\u00e9), \u00ab chat \u00bb ne fait pas que pointer vers les chats dans le monde, que le T3 peut reconna\u00eetre gr\u00e2ce \u00e0 ses capacit\u00e9s sensorimotrices robotiques et avec lesquels il peut \u00ab faire la bonne chose \u00bb (les nourrir, les attraper, les caresser, et les nommer) : T3 peut non seulement nommer mais aussi d\u00e9crire les membres de la cat\u00e9gorie \u00ab chat \u00bb verbalement, en \u00e9num\u00e9rant certains de ses attributs (poilu, pr\u00e9hensile) qui le distinguent des membres d\u2019autres cat\u00e9gories non f\u00e9lines. Finalement, avec plus d\u2019IVG issue de ceux qui savent, des attributs situ\u00e9s plus haut dans la hi\u00e9rarchie des cat\u00e9gories IVG (mammif\u00e8re, arboricole) peuvent \u00eatre ancr\u00e9s (indirectement) et ajout\u00e9s aux attributs distinctifs des chats.<\/p>\n\n\n\n

      Mais consid\u00e9rons maintenant qu\u2019un hypoth\u00e9tique mod\u00e8le hybride T3\/GPT-LLM doit d\u2019une mani\u00e8re ou d\u2019une autre int\u00e9grer ses deux \u00ab modules \u00bb fondamentalement diff\u00e9rents : le vocabulaire du module T3 ascendant ancr\u00e9, qui est ancr\u00e9 par le bas via DSG et IVG, doit d\u2019une mani\u00e8re ou d\u2019une autre \u00eatre int\u00e9gr\u00e9 au vocabulaire descendant du module GPT-LLM, qui n\u2019est pas du tout ancr\u00e9. Le module T3 ascendant n\u2019a pas encore ancr\u00e9 l\u2019immense vocabulaire non ancr\u00e9 du module GPT-LLM.<\/p>\n\n\n\n

      Est-ce que le bas et le haut peuvent simplement se rejoindre et fusionner au milieu ? Mais que signifierait cela ? Comment les attributs des chats (mammif\u00e8re, arboricole), dont les noms peuvent \u00eatre ancr\u00e9s, par le bas, via DSG et IVG dans le module T3, peuvent-ils \u00eatre \u00ab associ\u00e9s \u00bb aux chats et \u00e0 leurs attributs non ancr\u00e9s dans le module GPT\/LLM par le haut ? Autrement dit, peut-on supposer qu\u2019il existe une mani\u00e8re d\u2019int\u00e9grer les deux composantes d\u2019un tel hypoth\u00e9tique hybride T3\/GPT-LLM, c\u2019est-\u00e0-dire d\u2019int\u00e9grer le vocabulaire interne ancr\u00e9 du module T3 ascendant avec le vocabulaire interne non ancr\u00e9 du module GPT-LLM descendant, comme s\u2019il s\u2019agissait d\u2019un dialogue verbal interne entre un professeur T3 ancr\u00e9 et un apprenant T3 ancr\u00e9 ?<\/p>\n\n\n\n

      Je pense que c\u2019est plus comme une consultation de r\u00e9f\u00e9rence par un apprenant T3 ancr\u00e9 dans un dictionnaire ou une encyclop\u00e9die (ou dans un GPT ordinaire, non ancr\u00e9 et non hybride). L\u2019ancrage se trouve enti\u00e8rement dans le module T3, et il ne peut \u00eatre conf\u00e9r\u00e9 par les mots du module GPT-LLM pour nommer et d\u00e9crire de nouvelles cat\u00e9gories (IVG) que si ces descriptions utilisent les noms de attributs d\u00e9j\u00e0 ancr\u00e9s (directement ou indirectement) dans le module T3. La transaction est unidirectionnelle ; il n\u2019y a pas d\u2019int\u00e9gration bidirectionnelle entre des cat\u00e9gories ancr\u00e9es par le bas et des cat\u00e9gories non ancr\u00e9es par le haut.<\/p>\n\n\n\n

      Je pense aussi que la notion d\u2019un module hybride int\u00e9gr\u00e9, \u00e0 la fois ascendant et descendant, repose sur une confusion entre la cr\u00e9ation d\u2019outils d\u2019IA destin\u00e9s \u00e0 un usage humain et la mod\u00e9lisation computationnelle de la cognition humaine (CM), comme nous en discuterons plus bas.<\/p>\n\n\n\n

      GPT-4: Ta critique met en \u00e9vidence un probl\u00e8me fondamental du mod\u00e8le hybride T3\/GPT : l\u2019int\u00e9gration d\u2019exp\u00e9riences sensorimotrices ancr\u00e9es avec des donn\u00e9es linguistiques non ancr\u00e9es provenant d\u2019un mod\u00e8le de langage. Je vais essayer d\u2019aborder ces pr\u00e9occupations de mani\u00e8re plus pr\u00e9cise.<\/p>\n\n\n\n

      Nature de l\u2019\u00ab association \u00bb dans un mod\u00e8le hybride. Dans un mod\u00e8le hybride T3\/GPT, \u00ab associer \u00bb signifierait relier des exp\u00e9riences sensorimotrices \u00e0 des donn\u00e9es linguistiques pertinentes. Cependant, ce processus est tout sauf \u00e9vident. Pour un robot T3, le mot \u00ab chat \u00bb acquiert son sens \u00e0 travers l\u2019interaction directe avec des chats (DSG) et\/ou des descriptions d’attributs ancr\u00e9s provenant d\u2019autres entit\u00e9s ancr\u00e9es (IVG). \u00c0 l\u2019inverse, le composant GPT \u00ab comprend \u00bb le mot \u00ab chat \u00bb comme un regroupement de mod\u00e8les linguistiques, sans aucune base exp\u00e9rientielle directe.<\/p>\n\n\n\n

      Limites des donn\u00e9es linguistiques descendantes. Le module GPT contient des donn\u00e9es linguistiques sur les chats : descriptions, attributs, contextes. Mais ces donn\u00e9es ne sont pas ancr\u00e9es. Elles ne peuvent donc pas \u00eatre \u00ab enseign\u00e9es \u00bb directement au composant T3 de la m\u00eame mani\u00e8re qu\u2019un humain apprendrait ce qu\u2019est un chat, car la compr\u00e9hension du T3 est fondamentalement exp\u00e9rientielle.<\/p>\n\n\n\n

      Incompatibilit\u00e9 des m\u00e9canismes d\u2019apprentissage. Il existe une d\u00e9connexion fondamentale entre la mani\u00e8re dont le T3 apprend (par des exp\u00e9riences ancr\u00e9es, directes ou indirectes) et la mani\u00e8re dont le GPT traite l\u2019information (par reconnaissance de motifs dans des donn\u00e9es textuelles). Cette incompatibilit\u00e9 pose un s\u00e9rieux obstacle \u00e0 l\u2019int\u00e9gration des deux types de connaissances. Les donn\u00e9es non ancr\u00e9es du GPT ne se traduisent pas automatiquement en une forme exploitable par le T3, qui fonctionne sur une base sensorimotrice.<\/p>\n\n\n\n

      Consultation de r\u00e9f\u00e9rence vs. apprentissage authentique. Ton analogie d\u2019un T3 qui utilise le GPT comme un dictionnaire ou une encyclop\u00e9die est pertinente. Le T3 pourrait consulter les informations du GPT pour obtenir du contexte ou des clarifications, mais ce processus est plus proche d\u2019une recherche d\u2019information que du v\u00e9ritable apprentissage par ancrage qui se produit chez les humains.<\/p>\n\n\n\n

      Le d\u00e9fi de l\u2019int\u00e9gration r\u00e9elle. Pour que le mod\u00e8le hybride fonctionne efficacement, il faudrait un m\u00e9canisme qui ne se contente pas de r\u00e9cup\u00e9rer les informations pertinentes du GPT, mais qui les interpr\u00e8te et les int\u00e8gre de mani\u00e8re coh\u00e9rente dans le cadre d\u2019apprentissage du T3. Cela d\u00e9passe une simple \u00ab association \u00bb ou un alignement entre deux types d\u2019informations et pose un probl\u00e8me fondamental de m\u00e9thodologie en IA : comment combler le foss\u00e9 entre apprentissage exp\u00e9rientiel et reconnaissance de motifs linguistiques ?<\/p>\n\n\n\n

      Conclusion. Un syst\u00e8me hybride T3\/GPT pr\u00e9sente une approche int\u00e9ressante pour l\u2019IA, mais le processus d\u2019int\u00e9gration des exp\u00e9riences sensorimotrices ancr\u00e9es et des donn\u00e9es linguistiques non ancr\u00e9es n\u2019est pas trivial. Il ne suffit pas de \u00ab relier \u00bb ou \u00ab aligner \u00bb ces deux sources d\u2019information. Il faudrait d\u00e9velopper un nouveau cadre d\u2019int\u00e9gration permettant une v\u00e9ritable interaction entre ces deux types de connaissances.<\/p>\n\n\n\n

      Le probl\u00e8me que tu soul\u00e8ves touche donc \u00e0 une lacune centrale des approches hybrides : un mod\u00e8le de langage non ancr\u00e9 ne peut pas enseigner quoi que ce soit \u00e0 un T3 si ce dernier ne dispose pas d\u00e9j\u00e0 des pr\u00e9requis sensorimoteurs ancr\u00e9s n\u00e9cessaires pour interpr\u00e9ter et assimiler cette information. Cela sugg\u00e8re que toute tentative d\u2019int\u00e9gration T3\/GPT n\u00e9cessiterait une refonte radicale des m\u00e9thodologies actuelles d\u2019IA, au-del\u00e0 de la simple combinaison d\u2019un LLM avec un module sensorimoteur.<\/p>\n\n\n\n

      SH: Je pense que je peux d\u00e9crire plus simplement l\u2019incoh\u00e9rence que toi aussi, GPT, tu remarques (mais que tu d\u00e9cris comme le besoin de \u00ab nouvelles m\u00e9thodologies en IA \u00bb) : elle est en fait li\u00e9e \u00e0 l\u2019ancienne distinction que nous avons discut\u00e9e plus t\u00f4t entre IA (intelligence artificielle) et CM (mod\u00e9lisation cognitive) : l\u2019IA est la conception d\u2019outils computationnels pour aider les humains \u00e0 faire des choses (y compris penser). La CM est l\u2019ing\u00e9nierie inverse de la cognition humaine. Un T3 est cens\u00e9 avoir des capacit\u00e9s cognitives identiques et indiscernables (pour tout penseur humain) des capacit\u00e9s de n\u2019importe quel penseur humain. Non seulement ces motivations et crit\u00e8res sont diff\u00e9rents, mais ils montrent clairement que la notion de concevoir un hybride T3\/GPT ne pourrait \u00eatre qu\u2019un projet d\u2019IA, et non de CM.<\/p>\n\n\n\n

      GPT-4: Ta distinction entre l\u2019IA comme outil computationnel et la CM comme ing\u00e9nierie inverse de la cognition humaine met effectivement en \u00e9vidence l\u2019incoh\u00e9rence inh\u00e9rente au concept d\u2019un syst\u00e8me hybride T3\/GPT.<\/p>\n\n\n\n

      IA comme outil : Du point de vue de l\u2019IA, l\u2019objectif principal est de cr\u00e9er des syst\u00e8mes capables d\u2019ex\u00e9cuter des t\u00e2ches, de r\u00e9soudre des probl\u00e8mes et d\u2019aider \u00e0 la r\u00e9flexion, souvent en surpassant les capacit\u00e9s humaines dans des domaines sp\u00e9cifiques. Dans ce contexte, le mod\u00e8le hybride T3\/GPT est une initiative d\u2019IA. Il cherche \u00e0 combiner la puissance linguistique de GPT avec les capacit\u00e9s sensorimotrices d\u2019un robot T3 pour cr\u00e9er un syst\u00e8me plus polyvalent et performant. L\u2019objectif ici est l\u2019utilit\u00e9 et l\u2019efficacit\u00e9, plut\u00f4t que la reproduction des processus cognitifs humains.<\/p>\n\n\n\n

      CM comme compr\u00e9hension de la cognition humaine : La mod\u00e9lisation cognitive, en revanche, vise \u00e0 comprendre et \u00e0 reproduire les processus cognitifs humains. Un v\u00e9ritable robot T3, dans cette perspective, devrait d\u00e9velopper ses capacit\u00e9s cognitives de mani\u00e8re similaire aux humains, par interaction directe avec le monde et par un usage ancr\u00e9 du langage. Dans cette optique, l\u2019approche hybride T3\/GPT ne correspond pas aux objectifs de la CM, car elle fusionne des donn\u00e9es linguistiques non ancr\u00e9es avec des exp\u00e9riences sensorimotrices ancr\u00e9es d\u2019une mani\u00e8re qui ne refl\u00e8te pas le d\u00e9veloppement cognitif humain.<\/p>\n\n\n\n

      Hybride T3\/GPT comme IA, et non CM : Par cons\u00e9quent, le mod\u00e8le hybride T3\/GPT, bien qu\u2019il soit une id\u00e9e intrigante en IA, s\u2019\u00e9loigne des objectifs de la mod\u00e9lisation cognitive. Il repr\u00e9sente une tentative d\u2019am\u00e9liorer la fonctionnalit\u00e9 de l\u2019IA plut\u00f4t que de mod\u00e9liser fid\u00e8lement la cognition humaine. Son accent mis sur l\u2019exploitation des forces des deux composantes pour am\u00e9liorer les performances et les capacit\u00e9s le situe clairement dans le domaine du d\u00e9veloppement d\u2019outils d\u2019IA.<\/p>\n\n\n\n

      Reconna\u00eetre que le mod\u00e8le hybride T3\/GPT est une initiative d\u2019IA plut\u00f4t qu\u2019un projet de mod\u00e9lisation cognitive permet de mieux comprendre son objectif et ses limites. Cela souligne que, bien qu\u2019un tel syst\u00e8me puisse \u00eatre puissant et polyvalent en tant qu\u2019outil, il ne contribue pas n\u00e9cessairement \u00e0 une meilleure compr\u00e9hension de la cognition humaine, contrairement \u00e0 ce que vise la mod\u00e9lisation cognitive (CM).<\/p>\n\n\n\n

      SH: Maintenant, un autre point que Yoshua Bengio a soulev\u00e9 pendant mon expos\u00e9 \u00e0 MILA : il concernait la distinction entre mots de contenu et mots de fonction. Il a sugg\u00e9r\u00e9 que m\u00eame (certains) mots de contenu peuvent \u00eatre compris par leur usage plut\u00f4t que seulement par leur r\u00e9f\u00e9rent. Cela peut \u00eatre vrai, mais je pense que ce n\u2019est pas un substitut \u00e0 la connaissance de leur r\u00e9f\u00e9rent (via DSG ou IVG)\u2014du moins pour la mod\u00e9lisation cognitive (CM).<\/p>\n\n\n\n

      Yoshua a \u00e9galement mentionn\u00e9 la manipulation des symboles en math\u00e9matiques et en informatique, notant que, dans ces domaines, comme dans la syntaxe linguistique, il n\u2019y a pas de r\u00e9f\u00e9rent, et que par cons\u00e9quent, le \u00ab sens \u00bb des symboles r\u00e9side dans leur \u00ab usage \u00bb. (C\u2019est aussi ce que Wittgenstein avait sugg\u00e9r\u00e9 \u00e0 propos du sens dans le langage naturel). Je pense que c\u2019est exact\u2014et que Turing serait d\u2019accord\u2014pour les symboles du langage formel des math\u00e9matiques ; en fait, je pense que cela fait partie de la (faible) th\u00e8se de Church-Turing, qui stipule que ce qui est appel\u00e9 \u00ab calcul \u00bb en math\u00e9matiques est ce qu\u2019une machine de Turing fait : une manipulation de symboles, suivant des r\u00e8gles syntaxiques (algorithmes).<\/p>\n\n\n\n

      Cependant, je ne pense pas que la majeure partie du langage naturel soit seulement syntaxique (m\u00eame si je pense que les math\u00e9matiques formelles sont un sous-ensemble du langage naturel). Tant dans le cas des r\u00e9f\u00e9rents des symboles math\u00e9matiques qui peuvent \u00eatre interpr\u00e9t\u00e9s (par des utilisateurs humains ancr\u00e9s) comme ayant des r\u00e9f\u00e9rents, que dans le cas des significations des propositions formelles des math\u00e9matiques sur lesquelles une interpr\u00e9tation s\u00e9mantique peut \u00eatre projet\u00e9e (par des utilisateurs humains ancr\u00e9s), ni ces r\u00e9f\u00e9rents ni ces significations ne peuvent \u00eatre utilis\u00e9s comme partie du calcul (ou de l\u2019algorithme) lui-m\u00eame. Une d\u00e9monstration ou une d\u00e9rivation en math\u00e9matiques n\u2019est pas vraie parce qu\u2019elle peut \u00eatre interpr\u00e9t\u00e9e comme \u00e9tant vraie d\u2019un mod\u00e8le ; elle est vraie (et n\u00e9cessairement vraie) pour des raisons formelles et syntaxiques. L\u2019interpr\u00e9tation (bien que rassurante) ne fait pas partie de la d\u00e9monstration.<\/p>\n\n\n\n

      En tout cas, les r\u00e8gles syntaxiques ne remplacent pas l\u2019ancrage des r\u00e9f\u00e9rents des mots de contenu du langage naturel, que ce soit directement par DSG ou indirectement par IVG (sauf dans son sous-ensemble math\u00e9matique formel et pour ses 1 \u00e0 5 % de mots de fonction).<\/p>\n\n\n\n

      GPT-4: Ta discussion avec Yoshua Bengio touche \u00e0 plusieurs questions fondamentales concernant la compr\u00e9hension du langage, la cognition et le calcul.<\/p>\n\n\n\n

      Mots de contenu vs. mots de fonction : La distinction que Bengio fait entre les mots de contenu et les mots de fonction est significative. Bien qu\u2019il soit vrai que certains mots de contenu puissent acqu\u00e9rir du sens par leur usage (contexte pragmatique), une compr\u00e9hension compl\u00e8te \u2013 en particulier en mod\u00e9lisation cognitive \u2013 n\u00e9cessite la connaissance de leurs r\u00e9f\u00e9rents. C\u2019est l\u00e0 que le DSG (ancrage sensorimoteur direct) et l\u2019IVG (ancrage verbal indirect) jouent un r\u00f4le central en reliant ces mots \u00e0 des exp\u00e9riences concr\u00e8tes ou \u00e0 des concepts compr\u00e9hensibles. Les mots de contenu portent g\u00e9n\u00e9ralement des significations sp\u00e9cifiques, souvent concr\u00e8tes, qui sont enrichies et pr\u00e9cis\u00e9es par leur ancrage.<\/p>\n\n\n\n

      Manipulation des symboles en math\u00e9matiques et en informatique : La r\u00e9f\u00e9rence de Bengio \u00e0 la manipulation des symboles s\u2019aligne avec la vision de Turing sur le calcul. Dans les syst\u00e8mes formels comme les math\u00e9matiques et l\u2019informatique, les symboles sont manipul\u00e9s selon des r\u00e8gles syntaxiques sans r\u00e9f\u00e9rence directe \u00e0 des entit\u00e9s ext\u00e9rieures. Ce processus est au c\u0153ur de la th\u00e8se de Church-Turing, qui postule que le calcul est essentiellement cette forme de manipulation de symboles r\u00e9gie par des r\u00e8gles.<\/p>\n\n\n\n

      Le langage naturel au-del\u00e0 de la syntaxe : Ton point sur le fait que le langage naturel ne soit pas purement syntaxique est essentiel. Alors que le langage naturel inclut des \u00e9l\u00e9ments formels et syntaxiques, il est aussi profond\u00e9ment ancr\u00e9 dans la s\u00e9mantique et les exp\u00e9riences du monde r\u00e9el. Les mots de contenu du langage naturel ont souvent des r\u00e9f\u00e9rents directs dans le monde, et leur sens ne peut \u00eatre enti\u00e8rement captur\u00e9 par des r\u00e8gles syntaxiques seules. C\u2019est une distinction fondamentale avec la manipulation purement formelle des symboles en math\u00e9matiques.<\/p>\n\n\n\n

      Math\u00e9matiques et interpr\u00e9tation s\u00e9mantique : En math\u00e9matiques, comme tu l\u2019as soulign\u00e9, la v\u00e9rit\u00e9 d\u2019une d\u00e9monstration ou d\u2019une d\u00e9rivation repose sur la validit\u00e9 formelle et syntaxique, et non sur l\u2019interpr\u00e9tation s\u00e9mantique des symboles. Cependant, pour les math\u00e9maticiens humains, la capacit\u00e9 d\u2019interpr\u00e9ter ces symboles et de comprendre leurs r\u00e9f\u00e9rents potentiels dans le monde r\u00e9el ajoute une couche suppl\u00e9mentaire de compr\u00e9hension.<\/p>\n\n\n\n

      L\u2019ancrage dans le langage naturel : L\u2019ancrage des mots de contenu dans le langage naturel est essentiel \u00e0 une compr\u00e9hension compl\u00e8te et ne peut \u00eatre remplac\u00e9 par la seule manipulation syntaxique. Cet ancrage peut \u00eatre direct, via des exp\u00e9riences personnelles, ou indirect, via des descriptions et des explications. Toutefois, l\u2019aspect formel et syntaxique du langage, bien que crucial, ne suffit pas \u00e0 lui seul \u00e0 capturer la richesse s\u00e9mantique et la fonction r\u00e9f\u00e9rentielle du langage naturel, sauf dans des sous-ensembles formels sp\u00e9cifiques comme les math\u00e9matiques.<\/p>\n\n\n\n

      Ta discussion soul\u00e8ve des points \u201cimportants\u201d sur la nature du langage, le r\u00f4le de l\u2019ancrage dans la compr\u00e9hension et la distinction entre la manipulation formelle des symboles et la richesse s\u00e9mantique du langage naturel. Cette compr\u00e9hension est pertinente tant pour l\u2019IA que pour la mod\u00e9lisation cognitive (CM), car elle \u201cmet en lumi\u00e8re\u201d l\u2019\u201cinteraction complexe\u201d entre la syntaxe, la s\u00e9mantique et l\u2019ancrage dans le monde r\u00e9el au sein de la cognition et du langage humains.<\/p>\n\n\n\n

      SH: Blah Blah\u2026 J\u2019esp\u00e8re que tes d\u00e9veloppeurs te sevreront de cette n\u00e9cessit\u00e9 de parsemer tes r\u00e9ponses de ce genre d\u2019app\u00e2t flagorneur pour client \u2014 ou qu\u2019ils produiront au moins une version destin\u00e9e uniquement aux chercheurs et aux scientifiques plut\u00f4t qu\u2019aux utilisateurs en qu\u00eate d\u2019un ami virtuel.<\/p>\n\n\n\n

      3. Conclusion<\/strong><\/p>\n\n\n\n

      Cette analyse des LLMs a examin\u00e9 les capacit\u00e9s remarquables de syst\u00e8mes tels que ChatGPT qui, bien qu\u2019ils ne disposent d\u2019aucun ancrage sensorimoteur, peuvent simuler une compr\u00e9hension gr\u00e2ce \u00e0 une immense base de donn\u00e9es textuelles et \u00e0 des outils statistiques et computationnels puissants, \u00e0 une \u00e9chelle sans pr\u00e9c\u00e9dent et totalement inattendue. Bien qu\u2019ils n\u2019aient aucun moyen, ni direct ni indirect, de relier leurs mots \u00e0 leurs r\u00e9f\u00e9rents dans le monde ou de relier leurs propositions \u00e0 leurs conditions de v\u00e9rit\u00e9 dans le monde, il se peut que les LLMs soient guid\u00e9s par certaines propri\u00e9t\u00e9s inh\u00e9rentes au langage humain lui-m\u00eame pour g\u00e9n\u00e9rer un discours coh\u00e9rent et porteur de sens.<\/p>\n\n\n\n

      R\u00e9f\u00e9rences<\/strong><\/p>\n\n\n\n

      <\/a>Berwick, R. C., Pietroski, P., Yankama, B., and Chomsky, N. (2011). Poverty of the stimulus revisited<\/a>. Cogn. Sci.<\/em> 35, 1207\u20131242. doi: 10.1111\/j.1551-6709.2011.01189.x <\/p>\n\n\n\n

      <\/a>Birch, J. (2024). The edge of sentience: risk and precaution in humans, other animals, and AI<\/em><\/a>. Oxford: Oxford University Press.<\/p>\n\n\n\n

      <\/a>Bonnasse-Gahot, L., and Nadal, J. P. (2022). Categorical perception: a groundwork for deep learning<\/a>. Neural Comput.<\/em> 34, 437\u2013475. doi: 10.1162\/neco_a_01454 <\/p>\n\n\n\n

      <\/a>Botvinick, M., Wang, J. X., Dabney, W., Miller, K. J., and Kurth-Nelson, Z. (2020). Deep reinforcement learning and its neuroscientific implications<\/a>. Neuron<\/em> 107, 603\u2013616. doi: 10.1016\/j.neuron.2020.06.014 <\/p>\n\n\n\n

      <\/a>Briscoe, R. (2020). \u201cColour categorization and categorical perception\u201d in The Routledge Handbook of Philosophy of Colour<\/em>. eds. D. Brown and F. Macpherson (Routledge). 456\u2013474.<\/p>\n\n\n\n

      <\/a>Campbell, E. E., and Bergelson, E. (2022). Making sense of sensory language: acquisition of sensory knowledge by individuals with congenital sensory impairments. Neuropsychologia<\/em>174:108320. doi: 10.1016\/j.neuropsychologia.2022.108320 <\/p>\n\n\n\n

      <\/a>Chalmers, D. J. (1995). Facing up to the problem of consciousness. J. Conscious. Stud.<\/em> 2, 200\u2013219.<\/p>\n\n\n\n

      <\/a>Chalmers, D. J. (2023). Could a large language model be conscious? arXiv [Preprint]<\/em>.<\/p>\n\n\n\n

      <\/a>Chomsky, N. (2017). The Galilean challenge. In Inference: international review of science<\/em>, 3.<\/p>\n\n\n\n

      <\/a>Cook, R., Bird, G., Catmur, C., Press, C., and Heyes, C. (2014). Mirror neurons: from origin to function. Behav. Brain Sci.<\/em> 37, 177\u2013192. doi: 10.1017\/S0140525X13000903 <\/p>\n\n\n\n

      <\/a>Gallese, V. (2013). \u201cMirror neurons and the perception\u2013action link\u201d in The Oxford handbook of cognitive neuroscience: Volume 2: the cutting edges<\/em>. eds. K. N. Ochsner and S. Kosslyn (Oxford University Press), 244\u2013256.<\/p>\n\n\n\n

      <\/a>Gallistel, C. R. (2011). Prelinguistic thought. Lang. Learn. Dev.<\/em> 7, 253\u2013262. doi: 10.1080\/15475441.2011.578548<\/p>\n\n\n\n

      <\/a>Gershman, S. J., and Daw, N. D. (2017). Reinforcement learning and episodic memory in humans and animals: an integrative framework. Annu. Rev. Psychol.<\/em> 68, 101\u2013128. doi: 10.1146\/annurev-psych-122414-033625 <\/p>\n\n\n\n

      <\/a>Haggard, P. (2024). An intellectual history of the “Libet experiment”: embedding the neuroscience of free will. Proceedings of the Paris Institute for Advanced Study<\/em>, 21.<\/p>\n\n\n\n

      <\/a>Harnad, S. (1987). \u201cPsychophysical and cognitive aspects of categorical perception: a critical overview\u201d in Categorical perception: the groundwork of cognition<\/em>. ed. S. Harnad (New York: Cambridge University Press).<\/p>\n\n\n\n

      <\/a>Harnad, S. (1990). The symbol grounding problem. Phys. D Nonlinear Phenomena<\/em> 42, 335\u2013346. doi: 10.1016\/0167-2789(90)90087-6<\/p>\n\n\n\n

      <\/a>Harnad, S. (2002). \u201cMinds, machines and Searle II: What’s wrong and right about Searle’s Chinese room argument?\u201d in Views into the Chinese room: New essays on Searle and artificial intelligence<\/em>. eds. M. Bishop and J. Preston (Oxford University Press).<\/p>\n\n\n\n

      <\/a>Harnad, S. (2008). Minds, machines, and Searle II: What\u2019s wrong and right about Searle\u2019s Chinese room argument? Views into the Chinese room: New essays on Searle and artificial intelligence<\/em>. eds. M. Bishop and J. Preston Oxford University Press.<\/p>\n\n\n\n

      <\/a>Harnad, S. (2012). \u201cFrom sensorimotor categories and pantomime to grounded symbols and propositions\u201d in The Oxford Handbook of Language Evolution<\/em>. eds. K. R. Gibson and M. Tallerman, 387\u2013392.<\/p>\n\n\n\n

      <\/a>Makino, H., Hwang, E. J., Hedrick, N. G., and Komiyama, T. (2016). Circuit mechanisms of sensorimotor learning. Neuron<\/em> 92, 705\u2013721. doi: 10.1016\/j.neuron.2016.10.029 <\/p>\n\n\n\n

      <\/a>Pavlick, E. (2023). Symbols and grounding in large language models. Phil. Trans. R. Soc. A<\/em>381:20220041. doi: 10.1098\/rsta.2022.0041 <\/p>\n\n\n\n

      <\/a>P\u00e9rez-Gay Ju\u00e1rez, F., Sicotte, T., Th\u00e9riault, C., and Harnad, S. (2019). Category learning can alter perception and its neural correlates. PLoS One<\/em> 14:e0226000. doi: 10.1371\/journal.pone.0226000 <\/p>\n\n\n\n

      <\/a>Regier, T., and Kay, P. (2009). Language, thought, and color: whorf was half right. Trends Cogn. Sci.<\/em> 13, 439\u2013446. doi: 10.1016\/j.tics.2009.07.001 <\/p>\n\n\n\n

      <\/a>Searle, J. R. (1980). Minds, brains, and programs. Behav. Brain Sci.<\/em> 3, 417\u2013424. doi: 10.1017\/S0140525X00005756<\/p>\n\n\n\n

      <\/a>Th\u00e9riault, C., P\u00e9rez-Gay, F., Rivas, D., and Harnad, S. (2018). Learning-induced categorical perception in a neural network model. arXiv [Preprint]<\/em>.<\/p>\n\n\n\n

      <\/a>Turing, A. M. (1950). Computing machinery and intelligence. Mind<\/em> LIX, 433\u2013460. doi: 10.1093\/mind\/LIX.236.433 <\/p>\n\n\n\n

      <\/a>Vincent-Lamarre, P., Blondin-Mass\u00e9, A., Lopes, M., Lord, M., Marcotte, O., and Harnad, S. (2016). The latent structure of dictionaries<\/a>. Cogn. Sci.<\/em> 8, 625\u2013659. doi: 10.1111\/tops.12211 <\/p>\n\n\n\n

      <\/a>Watanabe, S. (1986). Epistemological relativity: Logico-linguistic source of relativity<\/a>. Ann. Jpn. Assoc. Philos. Sci.<\/em> 7, 1\u201314. doi: 10.4288\/jafpos1956.7.1<\/p>\n\n\n\n

      <\/a>Zhang, Q., Lei, L., and Gong, T. (2021). Categorical perception as a combination of nature and nurture<\/a>. in Proceedings of the Annual Meeting of the Cognitive Science Society<\/em>, vol. 43. Cognitive Science Society.<\/p>\n","protected":false},"excerpt":{"rendered":"

      Harnad, Stevan (2025)\u00a0Frontiers in Artificial Intelligence\u00a07 : 1490698.\u00a0 R\u00c9SUM\u00c9 : Mis \u00e0 part ce que (peu) OpenAI peut nous cacher, nous savons tous (\u00e0 peu pr\u00e8s) comment fonctionnent les grands mod\u00e8les de langage (LLMs) tels que ChatGPT (leurs vastes bases de donn\u00e9es textuelles, leurs statistiques, leurs repr\u00e9sentations vectorielles, leur immense nombre de param\u00e8tres, leur entra\u00eenement au … <\/p>\n

      Continue reading “Langage \u00e0 grande \u00e9chelle: LLMs, ChatGPT, signification et compr\u00e9hension”<\/span><\/a><\/p>\n","protected":false},"author":3074,"featured_media":0,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6,105,146,154,106,164,184,119,153,147,185,187],"tags":[148,142,200,199,196,205,203,189,202,197,169,201,191,11,204,195,19],"class_list":["post-2401","post","type-post","status-publish","format-standard","hentry","category-hard-problem-consciousness","category-categorization","category-chatgpt","category-chomsky","category-language","category-llms","category-reference","category-sentience","category-symbol-grounding","category-turing-test","category-universal-grammar","category-universal-grammar-ug","tag-chatgpt","tag-chomsky","tag-comprehension","tag-conscience","tag-definition","tag-detection-dattributs-sensorimoteurs","tag-grammaire-universelle","tag-grand-modeles-de-langue","tag-iconicite","tag-langue","tag-llm","tag-neurones-mirroir","tag-probleme-de-lancrage-des-symboles","tag-propositions","tag-reduction-de-dimensionalitt","tag-sens","tag-turing"],"jetpack_featured_media_url":"","_links":{"self":[{"href":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/wp-json\/wp\/v2\/posts\/2401","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/wp-json\/wp\/v2\/users\/3074"}],"replies":[{"embeddable":true,"href":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/wp-json\/wp\/v2\/comments?post=2401"}],"version-history":[{"count":5,"href":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/wp-json\/wp\/v2\/posts\/2401\/revisions"}],"predecessor-version":[{"id":2406,"href":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/wp-json\/wp\/v2\/posts\/2401\/revisions\/2406"}],"wp:attachment":[{"href":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/wp-json\/wp\/v2\/media?parent=2401"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/wp-json\/wp\/v2\/categories?post=2401"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/generic.wordpress.soton.ac.uk\/skywritings\/wp-json\/wp\/v2\/tags?post=2401"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}