Dans le monde de l’intelligence artificielle, une question brûle les lèvres des experts et des curieux : les chatbots, tels que Bard et ChatGPT, comprennent-ils le texte qu’ils génèrent ou pas du tout ?
Geoff Hinton, pionnier de l’IA, soulève le débat en qualifiant ces intelligences de “perroquets stochastiques“, suggérant qu’ils répètent simplement ce qu’ils ont vu sans saisir le sens. Mais ça n’est plus si simple…
Le Débat Actuel
Le débat s’articule autour de deux camps : ceux convaincus de la capacité de compréhension des modèles et ceux les voyant comme de simples miroirs de données.
Les Large Language Models (LLM) sont au cœur de cette controverse. Ces réseaux neuronaux gigantesques, à travers un entraînement complexe, apprennent à prédire des mots dans des contextes variés, suggérant une forme d’apprentissage qui va au-delà de la simple répétition.
Emily Bender, linguiste computationnelle à l’Université de Washington et co-auteure d’un article de 2021 qui a introduit l’expression “perroquets stochastiques”, argumente que ces modèles, malgré leur performance, ne font que juxtaposer des informations préexistantes sans réelle compréhension.
Sanjeev Arora, professeur à Princeton University, et Anirudh Goyal, chercheur scientifique chez Google DeepMind, proposent quant à eux une théorie selon laquelle, avec l’augmentation de leur taille et la diversité des données d’entraînement, les LLMs développent des capacités linguistiques spécifiques et même des compétences inédites, s’apparentant à une forme de compréhension.
Cette théorie s’appuie sur des preuves expérimentales montrant que les modèles les plus vastes ne se contentent pas de reproduire les données d’entraînement, mais démontrent une capacité à générer des combinaisons de compétences linguistiques qui semblent indiquer une compréhension du texte.
L'Expérience "Skill-Mix"
Sanjeev Arora et Anirudh Goyal ont conçu une expérience spécifique. Ils ont utilisé GPT-4 pour tester sa capacité à appliquer plusieurs compétences cognitives et linguistiques à la fois, un indicateur potentiel de compréhension.
Le défi posé à GPT-4 était de créer un texte sur un sujet relativement complexe : les duels à l’épée. Pour augmenter la difficulté, le modèle devait intégrer dans son texte des compétences précises : l’emploi de métaphores, l’analyse statistique, et des concepts de physique de base.
Ce n’était pas seulement un test de sa capacité à générer du texte cohérent, mais aussi de sa capacité à tisser ensemble ces différentes compétences d’une manière qui suggérerait une forme de compréhension contextuelle et conceptuelle.
L’exemple produit par GPT-4 a révélé une capacité surprenante à répondre à ces critères. Le texte non seulement respectait le thème des duels à l’épée mais le faisait d’une manière qui intégrait habilement les compétences demandées, montrant une interaction complexe entre connaissances linguistiques et application contextuelle des concepts.
“Mon adversaire et moi, nous sommes comme deux astres gravitant l’un autour de l’autre, chacun dans une danse mortelle où la stratégie et la finesse déterminent le vainqueur.
Statistiquement, mes chances de victoire augmentent avec chaque mouvement calculé, chaque attaque et parade fondées sur les lois immuables de la physique.
Comme Newton l’a démontré, pour chaque action, il y a une réaction égale et opposée; ainsi, lorsque mon épée frappe, je dois être prêt à répondre à la contre-attaque inévitable.
Ce duel n’est pas seulement un test de force, mais un examen de l’intellect, où comprendre et anticiper les mouvements de l’adversaire est aussi crucial que de connaître la trajectoire d’une pomme tombant de l’arbre.“
Cet exemple illustre clairement le potentiel des LLMs à aller au-delà de la simple répétition des motifs textuels rencontrés lors de l’entraînement.
En intégrant des compétences multiples de manière cohérente dans un nouveau contexte, GPT-4 démontre une capacité presque créative qui, sans être de la compréhension au sens humain, s’approche d’une forme de traitement sémantique avancé. Il fait appel à une compréhension linguistique profonde du langage pour produire la demande.
Nuances...
Il est important de noter que, malgré ces avancées, les LLMs ne “comprennent” pas le texte de la même manière qu’un humain.
Leur “compréhension” est basée sur des probabilités et des associations apprises lors de l’entraînement, sans la capacité d’expérimenter des émotions ou de saisir des concepts abstraits de la même façon que nous.
Comprendre la Compréhension
Quand nous parlons de la compréhension du texte par les LLMs (Large Language Models), il s’agit d’explorer jusqu’où ces modèles d’intelligence artificielle peuvent saisir le sens et l’intention derrière les mots qu’ils génèrent ou analysent.
Traditionnellement, la compréhension humaine du texte implique la capacité à saisir non seulement le sens littéral des mots, mais aussi les nuances, les sous-entendus, et même les implications culturelles ou émotionnelles qui dépassent le texte lui-même.
Pour un LLM, la question devient : peut-il reproduire une forme de cette profondeur de compréhension ?
La capacité de compréhension des LLMs
Les LLMs, grâce à leur entraînement sur d’énormes quantités de données textuelles, apprennent à reconnaître des modèles de langage, des structures grammaticales, et des associations de mots. Cette capacité leur permet de générer du texte qui semble non seulement grammaticalement correct, mais aussi logiquement cohérent. Cependant, cela suffit-il à parler de véritable compréhension ?
La théorie proposée par Sanjeev Arora et Anirudh Goyal suggère que, à mesure que les LLMs s’agrandissent et s’entraînent sur des données plus variées, ils développent non seulement une meilleure capacité à manipuler la langue, mais également à réaliser des tâches qui nécessitent une forme de raisonnement ou de compréhension contextuelle.
Cela implique que les LLMs pourraient, jusqu’à un certain point, commencer à comprendre le sens derrière les phrases qu’ils génèrent.
Avez-vous vous aussi l’envie de voir votre LLM dépasser les attentes en matière de rédaction? La formation “Rédacteur Hybride : Next Generation“ vous permettra d’intégrer les outils d’IA pour améliorer non seulement la précision et le SEO, mais aussi pour personnaliser le style de vos écrits.
Fondateur du Cercle des Rédacteurs, Formateur, accompagnateur et podcasteur. vous n’avez pas fini de m’entendre !
