Microsoft a annoncé une mise à jour de GraphRAG qui améliore la capacité des moteurs de recherche IA à fournir des réponses spécifiques et complètes tout en utilisant moins de ressources. Cette mise à jour accélère le traitement LLM et augmente la précision.
- GraphRAG 2.0 améliore les résultats de recherche d'IA.
- Microsoft annonce une mise à jour de GraphRAG pour des réponses spécifiques et précises.
- Différence entre RAG et GraphRAG : GraphRAG utilise un graphique de connaissances.
- Mise à jour de GraphRAG introduit la sélection dynamique de la communauté pour des résultats plus pertinents.
Microsoft ne donne pas à la version mise à jour de GraphRAG un numéro de version tel que 2.0, mais la mise à jour est si importante qu'il est utile de l'appeler 2.0 pour la distinguer du GraphRAG original.
La différence entre RAG et GraphRAG
RAG (Retrieval Augmented Generation) combine un grand modèle de langage (LLM) avec un index de recherche (ou base de données) pour générer des réponses aux requêtes de recherche. L'index de recherche fonde le modèle linguistique avec des données fraîches et pertinentes. Cela réduit la possibilité que le moteur de recherche IA fournisse des réponses obsolètes ou hallucinées.
GraphRAG améliore RAG en utilisant un graphique de connaissances créé à partir d'un index de recherche pour générer ensuite des résumés appelés rapports communautaires.
GraphRAG utilise un processus en deux étapes :
Étape 1 : moteur d'indexation
Le moteur d'indexation segmente l'index de recherche en communautés thématiques formées autour de sujets connexes. Ces communautés sont reliées par des entités (par exemple des personnes, des lieux ou des concepts) et par les relations entre elles, formant un graphe de connaissances hiérarchique. Le LLM crée ensuite un résumé pour chaque communauté, appelé rapport communautaire. Il s'agit du graphe de connaissances hiérarchique créé par GraphRAG, chaque niveau de la structure hiérarchique représentant un résumé.Il existe une idée fausse selon laquelle GraphRAG utilise des graphiques de connaissances. Bien que cela soit en partie vrai, cela laisse de côté la partie la plus importante : GraphRAG crée des graphiques de connaissances à partir de données non structurées telles que des pages Web lors de l'étape du moteur d'indexation. Ce processus de transformation des données brutes en connaissances structurées est ce qui distingue GraphRAG de RAG, qui repose sur la récupération et la synthèse d'informations sans construire de graphique hiérarchique.
Étape 2 : Étape de requête
Dans la deuxième étape, GraphRAG utilise le graphe de connaissances qu'il a créé pour fournir un contexte au LLM afin qu'il puisse répondre plus précisément à une question.Microsoft explique que la Retrieval Augmented Generation (RAG) a du mal à récupérer des informations basées sur un sujet car elle ne s'intéresse qu'aux relations sémantiques.
GraphRAG surpasse RAG en transformant d'abord tous les documents de son index de recherche en un graphe de connaissances qui organise hiérarchiquement les sujets et sous-thèmes (thèmes) en couches de plus en plus spécifiques. Alors que RAG s'appuie sur des relations sémantiques pour trouver des réponses, GraphRAG utilise la similarité thématique, ce qui lui permet de localiser les réponses même lorsque des mots-clés sémantiquement liés sont absents dans le document.
Voici comment l'annonce originale de GraphRAG l'explique :
« Baseline RAG a du mal avec les requêtes qui nécessitent une agrégation d'informations sur l'ensemble de données pour composer une réponse. Des requêtes telles que « Quels sont les 5 principaux thèmes des données ? » fonctionnent terriblement car le RAG de base repose sur une recherche vectorielle de contenu textuel sémantiquement similaire dans l'ensemble de données. Il n'y a rien dans la requête pour la diriger vers les informations correctes.
Cependant, avec GraphRAG, nous pouvons répondre à ces questions, car la structure du graphe de connaissances généré par LLM nous renseigne sur la structure (et donc les thèmes) de l'ensemble de données dans son ensemble. Cela permet à l'ensemble de données privé d'être organisé en clusters sémantiques significatifs qui sont pré-résumés. Le LLM utilise ces clusters pour résumer ces thèmes lorsqu’il répond à une requête utilisateur.
Mise à jour vers GraphRAG
Pour récapituler, GraphRAG crée un graphe de connaissances à partir de l'index de recherche. Une « communauté » fait référence à un groupe de segments ou de documents connexes regroupés en fonction de similitudes thématiques, et un « rapport communautaire » est le résumé généré par le LLM pour chaque communauté.
La version originale de GraphRAG était inefficace car elle traitait tous les rapports de la communauté, y compris les résumés de niveau inférieur non pertinents, quelle que soit leur pertinence par rapport à la requête de recherche. Microsoft décrit cela comme une approche « statique » car elle manque de filtrage dynamique.
La version mise à jour de GraphRAG introduit la « sélection dynamique de la communauté », qui évalue la pertinence de chaque rapport de communauté. Les rapports non pertinents et leurs sous-communautés sont supprimés, améliorant ainsi l'efficacité et la précision en se concentrant uniquement sur les informations pertinentes.
Microsoft explique :
« Ici, nous introduisons la sélection dynamique de communauté dans l'algorithme de recherche global, qui exploite la structure du graphe de connaissances de l'ensemble de données indexé. En partant de la racine du graphe de connaissances, nous utilisons un LLM pour évaluer la pertinence d'un rapport communautaire pour répondre à la question de l'utilisateur. Si le rapport est jugé non pertinent, nous le supprimons simplement ainsi que ses nœuds (ou sous-communautés) du processus de recherche. D'un autre côté, si le rapport est jugé pertinent, nous parcourons ensuite ses nœuds enfants et répétons l'opération. Enfin, seuls les rapports pertinents sont transmis à l'opération de réduction de carte pour générer la réponse à l'utilisateur. «
Points à retenir : résultats de la mise à jour de GraphRAG
Microsoft a testé la nouvelle version de GraphRAG et a conclu qu'elle entraînait une réduction de 77 % des coûts de calcul, en particulier le coût des jetons lorsqu'ils étaient traités par le LLM. Les jetons sont les unités de texte de base traitées par les LLM. Le GraphRAG amélioré est capable d'utiliser un LLM plus petit, ce qui réduit encore les coûts sans compromettre la qualité des résultats.
Les impacts positifs sur la qualité des résultats de recherche sont :
- La recherche dynamique fournit des réponses contenant des informations plus spécifiques.
- Les réponses font davantage référence aux sources, ce qui améliore la crédibilité des réponses.
- Les résultats sont plus complets et spécifiques à la requête de l'utilisateur, ce qui permet d'éviter de proposer trop d'informations.
La sélection dynamique de la communauté dans GraphRAG améliore la qualité des résultats de recherche en générant des réponses plus spécifiques, pertinentes et étayées par le matériel source.
Lisez l'annonce de Microsoft :
GraphRAG : améliorer la recherche globale via la sélection dynamique de la communauté
Image en vedette par Shutterstock/N Universe
FAQ
Qu'est-ce que l'IA (Intelligence Artificielle) et à quoi sert-elle ?
L'IA est un domaine de l'informatique qui vise à développer des technologies permettant aux machines d'imiter certaines fonctions cognitives humaines telles que la perception, le raisonnement et l'apprentissage. Elle permet ainsi de créer des systèmes intelligents capables de prendre des décisions, résoudre des problèmes ou encore interagir avec leur environnement.
L'IA a de nombreuses utilisations dans divers secteurs tels que la santé, les transports, la finance ou encore le commerce. Elle peut par exemple être utilisée pour automatiser des tâches répétitives et fastidieuses, réaliser des prédictions en analysant d'énormes quantités de données ou encore améliorer l'expérience utilisateur en proposant des suggestions personnalisées. Elle joue également un rôle important dans le développement de nouvelles technologies telles que les robots autonomes, les voitures autonomes ou encore les assistants virtuels. Elle vise à rendre les machines plus intelligentes et efficaces afin de faciliter notre quotidien et améliorer nos performances.
Qui utilise l'IA pour faire des recherches ?
L'IA (Intelligence Artificielle) est principalement utilisée par les entreprises et institutions pour effectuer des recherches complexes et analyser de grandes quantités de données. Elle est également utilisée par les scientifiques et chercheurs pour faciliter leurs travaux en leur fournissant des informations utiles et précises.
Les étudiants peuvent également avoir recours à l'IA pour trouver des sources pertinentes lors de leurs recherches universitaires. Enfin, le grand public peut également utiliser l'IA, notamment à travers les assistants virtuels présents sur nos téléphones ou ordinateurs.
Peut-on se passer de l'IA pour effectuer des recherches ?
Non, l'IA est devenue un outil indispensable pour effectuer des recherches et obtenir des résultats précis et pertinents. Grâce à ses algorithmes sophistiqués, elle permet d'analyser et de traiter une grande quantité de données en peu de temps. Sans l'IA, il serait difficile voire impossible d'exploiter toutes les ressources disponibles pour mener à bien une recherche.
Cependant, l'intervention humaine reste primordiale pour interpréter et analyser les résultats fournis par l'IA afin d'en tirer des conclusions pertinentes.
Quels ont été les avancées récentes dans le domaine de l'IA ?
3. Les progrès dans le traitement du langage naturel ont permis aux chatbots d'être de plus en plus utilisés pour interagir avec les clients dans les entreprises. 4. De plus en plus présente dans notre vie quotidienne, l'IA continue de se développer et promet un avenir rempli de possibilités pour améliorer notre quotidien.
Comment peut-on créer une IA efficace ?
Pour créer une IA efficace, il est nécessaire de suivre un processus logique et structuré en commençant par définir clairement les objectifs et le domaine d'application de l'IA. Ensuite, il faut collecter des données pertinentes et les nettoyer afin qu'elles soient exploitables pour l'entraînement de l'algorithme. Il est également important de choisir un algorithme adapté aux données et à l'objectif visé, puis de le tester et le peaufiner régulièrement pour améliorer ses performances.
Enfin, maintenir une éthique dans la conception et la mise en œuvre de l'IA est essentiel pour garantir son efficacité et sa pertinence sur le long terme.
