L’intelligence artificielle rend-elle l’humain moins intelligent ? C’est la question soulevée par une récente étude du MIT et intitulée [via notre traduction] : « Votre cerveau sur ChatGPT : accumulation de dette cognitive lors de l’utilisation d’un assistant IA pour la rédaction d’un essai ». Conduite sur 54 étudiants et chercheurs du MIT, du Wellesley College et de Harvard, elle mesure l’effet de trois outils sur la rédaction d’essais :
À voir aussi sur Konbini
- Un moteur de recherche classique type Google,
- Aucun outil (juste le cerveau),
- ChatGPT.
Des conclusions limpides
Les participants devaient rédiger un essai en s’aidant (ou non) d’un grand modèle de langage (LLM) comme ChatGPT. Le tout, avec des électrodes EEG sur la tête pour suivre l’activité cérébrale en temps réel. Selon les trois groupes d’études, les résultats varient et on observe évidemment une homogénéité plus grande dans les écrits produits avec l’aide de l’IA.
Mais surtout, les électroencéphalogrammes qui mesurent l’activité cérébrale sont formels : plus on utilise ChatGPT, moins notre cerveau s’active. L’étude révèle une baisse nette de la connectivité cérébrale chez les utilisateurs de ChatGPT. Les zones cérébrales impliquées dans l’attention, la mémoire, la synthèse visuelle ou encore la réflexion critique sont sous-utilisées. Les sujets en question accumulent ainsi une « dette cognitive » décrite ainsi par l’étude :
« […] un état dans lequel le recours répété à des systèmes externes comme les LLMs remplace les processus cognitifs exigeants nécessaires à la réflexion indépendante. »
Et si l’étude admet que cette dette cognitive « retarde l’effort mental à court terme », elle implique aussi des conséquences négatives majeures pour la suite :
« […] diminution de la recherche critique, une vulnérabilité accrue à la manipulation et une baisse de créativité. Lorsque les participants reproduisent des suggestions sans en évaluer l’exactitude ou la pertinence, ils perdent non seulement la propriété de leurs idées, mais risquent également d’intérioriser des perspectives superficielles ou biaisées.
Qu’en pense le principal intéressé ?
Nous avons donné l’étude (les 200 pages) à lire à ChatGPT en lui demandant de nous faire un résumé.
Pour tout ce qui est de lire et synthétiser, l’outil se débrouille très bien et arrive à nous fournir l’essentiel des informations. Nous avons même tenté de le piéger en lui demandant par exemple de quoi parle une page de l’étude ou un chapitre en particulier. Et s’il ne juge pas pertinent de traduire de nombreuses phrases complexes en anglais, il transmet néanmoins l’information de manière exacte.
Cela devient un peu plus compliqué lorsqu’il s’agit d’aller au-delà, de pousser la réflexion jusqu’à ce que l’on explique vouloir intégrer les conclusions de l’étude à son propre fonctionnement :
ChatGPT nous a ainsi généré une sorte de guide qu’il a intitulé « Utiliser ChatGPT sans s’endormir le cerveau » avec en sous-titre : « Petit guide anti-dette cognitive », prouvant une fois de plus que les LLM sont particulièrement attachés à répondre exactement ce qu’on attend d’eux. Globalement il explique qu’il faut le voir comme un assistant, un « second cerveau » et non un rédacteur principal. Qu’il faut co-écrire et non déléguer.
Des erreurs encore grossières
Les conseils de ChatGPT sont plutôt clairs et correspondent surtout à l’étude du MIT. Mais même en redonnant des informations quasi-identiques, ChatGPT oublie d’appliquer ses propres conseils, en citant notamment à nouveau l’étude. En effet, il y a un quatrième groupe de test qui a été interrogé après les trois premiers : ceux qui ont d’abord fait un essai sans l’aide de l’intelligence artificielle puis qui ont fait appel aux services de ChatGPT dans un second temps seulement.
Les essais produits par ce quatrième groupe sont plutôt bons et surtout les personnes concernées ont eu une activité cérébrale assez élevée, largement supérieure à ceux qui ont « laissé faire » ChatGPT. Sauf que l’outil lui-même ne juge pas pertinent de citer cette partie de l’étude qui appuie pourtant son propos, soit elle manque d’exhaustivité et de rigueur, soit elle fait le choix délibéré de s’approprier les conclusions de l’étude sans les citer.
Enfin dans nos derniers tests, nous avons demandé à ChatGPT de… rédiger l’article que vous êtes en train de lire. Et bien, nous n’en avons rien repris car ChatGPT a commencé à refaire des erreurs massives, voire de la pure désinformation. L’outil nous dit ainsi pour illustrer l’étude du MIT qu’un participant résume bien cette dernière en disant : « J’ai cliqué, j’ai copié, j’ai collé… et je ne me souviens plus de rien. »
Sauf que cette citation n’existe absolument pas dans l’étude. C’est une pure extrapolation de ChatGPT, un excès de zèle dangereux qui porte un nom : de la désinformation.
