Source : Tai-design/Pixabay
- Les grands modèles de langage de l'IA sont sous les projecteurs depuis la sortie du chatbot ChatGPT par OpenAI en novembre 2022.
- Une étude menée par des chercheurs de l'University College London (UCL) utilise la psychologie cognitive pour examiner la rationalité de ces modèles.
- Les tests utilisés ont été développés à partir d'une série de tâches conçues pour détecter les biais cognitifs humains.
- Les résultats montrent que les LLM ont une irrationalité différente de celle des humains, ce qui peut avoir des implications en matière de sécurité dans certains domaines.
La sortie de ChatGPT par OpenAI auprès du grand public en novembre 2022 a mis sous les projecteurs les capacités des grands modèles de langage (LLM), tels que ceux qui alimentent le populaire chatbot d'intelligence artificielle (IA). Les humains peuvent-ils faire confiance aux résultats de ces réseaux neuronaux d’IA ? Les grands modèles de langage de l’IA sont-ils rationnels ? Une nouvelle étude menée par des chercheurs de l'University College London (UCL) utilise la psychologie cognitive pour examiner la rationalité des grands modèles de langage de l'IA avec des résultats qui suscitent la réflexion.
l'article continue après la publicité
« Nous évaluons le raisonnement rationnel de sept LLM en utilisant une série de tâches issues de la littérature sur la psychologie cognitive », a écrit Mirco Musolesi, Ph.D., professeur d'informatique et auteur correspondant Olivia Macmillan-Scott à l'University College de Londres.
Les tests de psychologie cognitive utilisés pour cette étude ont été principalement développés à partir d'une série de tâches conçues pour détecter les heuristiques et les préjugés humains par deux pionniers dans le domaine de la psychologie et de l'économie comportementale : Daniel Kahneman (1934-2024), regretté professeur émérite de psychologie et d'économie comportementale. affaires publiques à l'Université de Princeton et Amos Tversky (1937-1996), défunt psychologue mathématicien et professeur à l'Université de Stanford.
Kahneman était connu pour son expertise en psychologie de la prise de décision et du jugement. Il a été l'un des récipiendaires du prix de la Banque de Suède en sciences économiques à la mémoire d'Alfred Nobel 2002 « pour avoir intégré les connaissances de la recherche psychologique dans la science économique, en particulier concernant le jugement humain et la prise de décision dans l'incertitude », selon la Fondation Nobel. Kahneman a écrit le best-seller du New York Times Thinking, Fast and Slow, publié en 2011.
Les chemins de Kahneman et Tversky se sont croisés à la fin des années 1960 et, au cours des décennies suivantes, ils ont publié des recherches sur la psychologie cognitive, qui ont été utilisées pour cette nouvelle étude. La recherche a porté sur la probabilité subjective, le jugement dans des conditions d'incertitude, l'heuristique, les biais, le raisonnement extensionnel ou intuitif et la psychologie des préférences.
l'article continue après la publicité
Sur la douzaine de tâches cognitives, la majorité, neuf sur 12, ont été développées par Kahneman et Tversky, et les trois autres par Peter C. Wason (1924-2003), psychologue cognitif de l'UCL et pionnier de la psychologie du raisonnement, David M. Eddy (1941-), médecin et mathématicien, et Daniel Friedman, professeur d'économie.
« Les humains réagissent principalement à ces tâches de deux manières : soit ils répondent correctement, soit ils donnent une réponse qui reflète le biais cognitif », ont écrit les chercheurs de l'UCL.
Plus précisément, les tâches utilisées dans cette étude pour identifier les biais cognitifs comprennent la tâche de Wason (biais de confirmation), la tâche SIDA (erreur de probabilité inverse/conditionnelle), le problème hospitalier (insensibilité à la taille de l'échantillon), le problème de Monty Hall (erreur du joueur, effet de dotation), problème de Linda (erreur de conjonction), problème de séquence de naissance (effet de représentativité), problème de lycée (effet de représentativité) et tâche de billes (l'idée fausse du hasard). Les chercheurs ont demandé 10 fois à chaque modèle afin de déterminer la cohérence des performances des LLM, et chaque réponse du modèle LLM a été classée en fonction de son exactitude (réponses correctes ou non) et de son caractère humain ou non.
Les chercheurs de l'UCL ont évalué de grands modèles de langage par OpenAI (GPT-4, GPT 3.5), Google (Bard), Anthropic (Claude 2) et Meta (Llama 2 modèle 7B, Llama 2 modèle 13B, Llama 2 modèle 70B). L'équipe a utilisé l'interface d'application OpenAI pour inviter GPT et le chatbot en ligne pour les autres LLM.
Selon les scientifiques, le GPT-4 d'OpenAI a surpassé tous les autres modèles en fournissant la réponse et le raisonnement corrects dans plus de 69 % des cas, le modèle Claude 2 d'Anthropic se classant deuxième sur les mêmes critères dans 55 % des cas. D'un autre côté, le modèle 7b Llama 2 de Meta a donné les pires résultats et a donné les réponses les plus incorrectes dans plus de 77 % des cas.
l'article continue après la publicité
« Nous constatons que, comme les humains, les LLM font preuve d'irrationalité dans ces tâches », ont partagé les chercheurs. « Cependant, la manière dont cette irrationalité est affichée ne reflète pas celle montrée par les humains. »
En appliquant le même ensemble de tâches aux LLM sélectionnés dans cette étude, les chercheurs ont découvert que les LLM sont « hautement incohérents » : le même modèle peut donner à la fois des réponses correctes et incorrectes et des réponses humaines et non humaines dans des catégories distinctes. court. Une découverte intéressante est que la plupart des réponses incorrectes le sont d’une manière qui ne relève pas de préjugés humains.
« Il est intéressant de noter que dans tous les modèles de langage, les réponses incorrectes ne ressemblaient généralement pas à celles des humains, ce qui signifie qu'elles n'étaient pas incorrectes en raison d'un biais cognitif », ont souligné les scientifiques de l'UCL. « Au lieu de cela, ces réponses affichaient généralement un raisonnement illogique, et même parfois fournissaient un raisonnement correct, mais donnaient ensuite une réponse finale incorrecte. »
Bref, les chercheurs de l’UCL ont démontré dans cette étude que les LLM ont une irrationalité différente de l’irrationalité humaine. Les chercheurs soulignent que l’irrationalité des grands modèles linguistiques de l’IA a des implications en matière de sécurité dans certains domaines tels que la médecine et la diplomatie.
Les scientifiques concluent que leur méthodologie peut aller au-delà de l’évaluation du raisonnement rationnel et des biais cognitifs ; il a le potentiel d’être utilisé plus largement pour évaluer d’autres capacités cognitives des grands modèles de langage de l’intelligence artificielle à l’avenir.
l'article continue après la publicité
Copyright © 2024 Cami Rosso. Tous droits réservés.
FAQ
Quels modèles de rationalité sont utilisés en intelligence artificielle ?
En intelligence artificielle, différents modèles de rationalité sont utilisés pour permettre aux machines de prendre des décisions. Parmi eux, on retrouve notamment le modèle logique basé sur les mathématiques et la déduction. Les réseaux neuronaux quant à eux s'inspirent du fonctionnement du cerveau humain pour résoudre des problèmes.
Le modèle bayésien est également très utilisé pour traiter l'incertitude et prendre en compte toutes les informations disponibles lors d'une prise de décision. Enfin, le modèle heuristique consiste à trouver un compromis entre la recherche exhaustive et la recherche aléatoire pour aboutir à une solution satisfaisante dans un temps limité.
Comment peut-on définir la rationalité en intelligence artificielle ?
La rationalité en intelligence artificielle peut être définie comme la capacité d'un système informatique à prendre des décisions logiques et rationnelles, basées sur des données et des règles prédéfinies. Elle implique également une certaine flexibilité dans le raisonnement et la capacité à s'adapter aux nouvelles informations. La rationalité en IA est également liée à l'optimisation de l'utilisation des ressources pour atteindre un objectif spécifique.
C'est la capacité d'un système informatique à fonctionner de manière optimale selon les paramètres qui lui sont définis.
Quelles sont les différentes façons d'agir rationnellement en ia ?
Un autre moyen est de s'appuyer sur l'apprentissage automatique pour traiter d'énormes quantités de données et ainsi prendre des décisions basées sur l'analyse de ces données plutôt que sur l'intuition humaine. 3. L'utilisation d'algorithmes et de modèles mathématiques peut également aider à agir rationnellement en IA, en permettant une évaluation objective et systématique des différentes options possibles. 4. Enfin, il est important d'établir des critères clairs pour évaluer le succès ou l'échec d'une action prise par une IA, afin de pouvoir rectifier rapidement et efficacement tout comportement non souhaité ou erroné.
Quel est le rôle de la rationalité dans le développement des systèmes d'intelligence artificielle ?
La rationalité joue un rôle essentiel dans le développement des systèmes d'intelligence artificielle. Elle permet de définir des objectifs à atteindre et de prendre des décisions logiques et cohérentes pour y parvenir. La rationalité est également nécessaire pour adapter les algorithmes aux données et aux différents environnements, ce qui améliore l'efficacité et la précision du système.
Enfin, elle permet de limiter les biais humains afin que les systèmes d'intelligence artificielle soient capables de prendre des décisions impartiales et éthiques.
Quels exemples illustrent l'utilisation de la rationalité en ia ?
L'utilisation de la rationalité en Intelligence Artificielle peut être illustrée par l'utilisation d'algorithmes et de modèles mathématiques pour résoudre des problèmes complexes, tels que la prise de décision ou la reconnaissance de formes. Les réseaux de neurones artificiels, qui s'inspirent du fonctionnement du cerveau humain, sont aussi un exemple de l'utilisation de la rationalité en IA. La programmation logique est également une approche basée sur la rationalité pour développer des systèmes intelligents capables d'apprendre et d'évoluer dans leur environnement.
Enfin, les chatbots et les agents conversationnels utilisent également des techniques rationnelles pour comprendre le langage humain et fournir des réponses pertinentes aux utilisateurs.
