Source : Tai-design/Pixabay
- Les grands modèles de langage de l’IA sont sous les projecteurs depuis la sortie du chatbot ChatGPT par OpenAI en novembre 2022.
- Une étude menée par des chercheurs de l’University College London (UCL) utilise la psychologie cognitive pour examiner la rationalité de ces modèles.
- Les tests utilisés ont été développés à partir d’une série de tâches conçues pour détecter les biais cognitifs humains.
- Les résultats montrent que les LLM ont une irrationalité différente de celle des humains, ce qui peut avoir des implications en matière de sécurité dans certains domaines.
La sortie de ChatGPT par OpenAI auprès du grand public en novembre 2022 a mis sous les projecteurs les capacités des grands modèles de langage (LLM), tels que ceux qui alimentent le populaire chatbot d'intelligence artificielle (IA). Les humains peuvent-ils faire confiance aux résultats de ces réseaux neuronaux d’IA ? Les grands modèles de langage de l’IA sont-ils rationnels ? Une nouvelle étude menée par des chercheurs de l'University College London (UCL) utilise la psychologie cognitive pour examiner la rationalité des grands modèles de langage de l'IA avec des résultats qui suscitent la réflexion.
l'article continue après la publicité
« Nous évaluons le raisonnement rationnel de sept LLM en utilisant une série de tâches issues de la littérature sur la psychologie cognitive », a écrit Mirco Musolesi, Ph.D., professeur d'informatique et auteur correspondant Olivia Macmillan-Scott à l'University College de Londres.
Les tests de psychologie cognitive utilisés pour cette étude ont été principalement développés à partir d'une série de tâches conçues pour détecter les heuristiques et les préjugés humains par deux pionniers dans le domaine de la psychologie et de l'économie comportementale : Daniel Kahneman (1934-2024), regretté professeur émérite de psychologie et d'économie comportementale. affaires publiques à l'Université de Princeton et Amos Tversky (1937-1996), défunt psychologue mathématicien et professeur à l'Université de Stanford.
Kahneman était connu pour son expertise en psychologie de la prise de décision et du jugement. Il a été l'un des récipiendaires du prix de la Banque de Suède en sciences économiques à la mémoire d'Alfred Nobel 2002 « pour avoir intégré les connaissances de la recherche psychologique dans la science économique, en particulier concernant le jugement humain et la prise de décision dans l'incertitude », selon la Fondation Nobel. Kahneman a écrit le best-seller du New York Times Thinking, Fast and Slow, publié en 2011.
Les chemins de Kahneman et Tversky se sont croisés à la fin des années 1960 et, au cours des décennies suivantes, ils ont publié des recherches sur la psychologie cognitive, qui ont été utilisées pour cette nouvelle étude. La recherche a porté sur la probabilité subjective, le jugement dans des conditions d'incertitude, l'heuristique, les biais, le raisonnement extensionnel ou intuitif et la psychologie des préférences.
l'article continue après la publicité
Sur la douzaine de tâches cognitives, la majorité, neuf sur 12, ont été développées par Kahneman et Tversky, et les trois autres par Peter C. Wason (1924-2003), psychologue cognitif de l'UCL et pionnier de la psychologie du raisonnement, David M. Eddy (1941-), médecin et mathématicien, et Daniel Friedman, professeur d'économie.
« Les humains réagissent principalement à ces tâches de deux manières : soit ils répondent correctement, soit ils donnent une réponse qui reflète le biais cognitif », ont écrit les chercheurs de l'UCL.
Plus précisément, les tâches utilisées dans cette étude pour identifier les biais cognitifs comprennent la tâche de Wason (biais de confirmation), la tâche SIDA (erreur de probabilité inverse/conditionnelle), le problème hospitalier (insensibilité à la taille de l'échantillon), le problème de Monty Hall (erreur du joueur, effet de dotation), problème de Linda (erreur de conjonction), problème de séquence de naissance (effet de représentativité), problème de lycée (effet de représentativité) et tâche de billes (l'idée fausse du hasard). Les chercheurs ont demandé 10 fois à chaque modèle afin de déterminer la cohérence des performances des LLM, et chaque réponse du modèle LLM a été classée en fonction de son exactitude (réponses correctes ou non) et de son caractère humain ou non.
Les chercheurs de l'UCL ont évalué de grands modèles de langage par OpenAI (GPT-4, GPT 3.5), Google (Bard), Anthropic (Claude 2) et Meta (Llama 2 modèle 7B, Llama 2 modèle 13B, Llama 2 modèle 70B). L'équipe a utilisé l'interface d'application OpenAI pour inviter GPT et le chatbot en ligne pour les autres LLM.
Selon les scientifiques, le GPT-4 d'OpenAI a surpassé tous les autres modèles en fournissant la réponse et le raisonnement corrects dans plus de 69 % des cas, le modèle Claude 2 d'Anthropic se classant deuxième sur les mêmes critères dans 55 % des cas. D'un autre côté, le modèle 7b Llama 2 de Meta a donné les pires résultats et a donné les réponses les plus incorrectes dans plus de 77 % des cas.
l'article continue après la publicité
« Nous constatons que, comme les humains, les LLM font preuve d'irrationalité dans ces tâches », ont partagé les chercheurs. « Cependant, la manière dont cette irrationalité est affichée ne reflète pas celle montrée par les humains. »
En appliquant le même ensemble de tâches aux LLM sélectionnés dans cette étude, les chercheurs ont découvert que les LLM sont « hautement incohérents » : le même modèle peut donner à la fois des réponses correctes et incorrectes et des réponses humaines et non humaines dans des catégories distinctes. court. Une découverte intéressante est que la plupart des réponses incorrectes le sont d’une manière qui ne relève pas de préjugés humains.
« Il est intéressant de noter que dans tous les modèles de langage, les réponses incorrectes ne ressemblaient généralement pas à celles des humains, ce qui signifie qu'elles n'étaient pas incorrectes en raison d'un biais cognitif », ont souligné les scientifiques de l'UCL. « Au lieu de cela, ces réponses affichaient généralement un raisonnement illogique, et même parfois fournissaient un raisonnement correct, mais donnaient ensuite une réponse finale incorrecte. »
Bref, les chercheurs de l’UCL ont démontré dans cette étude que les LLM ont une irrationalité différente de l’irrationalité humaine. Les chercheurs soulignent que l’irrationalité des grands modèles linguistiques de l’IA a des implications en matière de sécurité dans certains domaines tels que la médecine et la diplomatie.
Les scientifiques concluent que leur méthodologie peut aller au-delà de l’évaluation du raisonnement rationnel et des biais cognitifs ; il a le potentiel d’être utilisé plus largement pour évaluer d’autres capacités cognitives des grands modèles de langage de l’intelligence artificielle à l’avenir.
l'article continue après la publicité
Copyright © 2024 Cami Rosso. Tous droits réservés.
