Amener les LLM à vérifier leurs réponses et à inclure des sources

Qu’est-ce que RIG (Génération Entrelacée par Récupération) ?

La Génération Entrelacée par Récupération, ou RIG en abrégé, est une méthode d’IA de pointe qui combine harmonieusement la recherche d’informations et la création de réponses. Par le passé, les modèles d’IA utilisaient RAG (Génération Augmentée par Récupération) ou la génération simple, mais RIG fusionne ces processus pour améliorer la précision de l’IA. En entrelaçant la récupération et la génération, les systèmes d’IA peuvent puiser dans une base de connaissances plus large, offrant des réponses plus précises et pertinentes. Le principal objectif de RIG est de réduire les erreurs et d’accroître la fiabilité des résultats de l’IA, ce qui en fait un outil essentiel pour les développeurs souhaitant affiner la précision de l’IA. Ainsi, la Génération Entrelacée par Récupération se présente comme une alternative à la RAG (Génération Augmentée par Récupération) pour générer des réponses basées sur un contexte.

Comment fonctionne RIG (Génération Entrelacée par Récupération) ?

Voici comment fonctionne RIG. Les étapes suivantes sont inspirées de l’article original du blog](https://research.google/blog/grounding-ai-in-reality-with-a-little-help-from-data-commons/ “Découvrez les modèles DataGemma de Google, connectant l’IA à des données du monde réel pour des réponses factuelles et fiables. Participez à la construction d’une IA digne de confiance !”), qui porte davantage sur les cas d’usage généraux utilisant l’API Data Commons. Cependant, dans la plupart des cas, vous souhaiterez utiliser à la fois une [base de connaissances générale (par exemple, Wikipédia ou Data Commons) et vos propres données. Voici comment exploiter la puissance des flows dans FlowHunt pour créer un chatbot RIG à partir de votre propre base de connaissances et d’une base générale telle que Wikipédia.

1. Une requête utilisateur est envoyée à un générateur, qui produit une réponse exemple avec une citation des sections correspondantes. À cette étape, le générateur peut même fournir une bonne réponse mais halluciner des données ou statistiques erronées.

   

2. Dans la phase suivante, on utilise un Agent IA qui reçoit ce résultat et affine les données de chaque section en se connectant à Wikipédia et, en plus, ajoute des sources pour chaque section correspondante.

   

Comme vous pouvez le voir, cette méthode améliore considérablement la précision des chatbots et garantit que chaque section générée dispose d’une source et est ancrée dans la réalité.

Comment créer un chatbot RIG dans FlowHunt ?

Ajouter la première étape (Générateur de réponse exemple « bête ») :

La première partie du flow est composée de l’entrée du chat, d’un modèle de prompt et d’un générateur. Il suffit de les connecter entre eux. La partie la plus importante est le modèle de prompt. J’ai utilisé le suivant :

La requête de l’utilisateur est donnée. Sur la base de la requête utilisateur, générez la meilleure réponse possible avec des données ou des pourcentages fictifs. Après chacune des différentes sections de votre réponse, incluez les données indiquant quelle source utiliser afin de récupérer la donnée correcte et d’affiner cette section avec les bonnes informations. Vous pouvez soit spécifier d’utiliser la source de connaissance interne pour récupérer les données en cas de données personnalisées liées au produit ou service de l’utilisateur, soit utiliser Wikipédia comme source générale.

Exemple d’entrée : Quels pays sont en tête en matière d’énergie renouvelable et quelle est la meilleure métrique pour la mesurer, et quelle est cette mesure pour le pays en tête ?
Exemple de sortie : Les principaux pays en matière d’énergie renouvelable sont la Norvège, la Suède, le Portugal, les États-Unis [Recherche sur Wikipédia avec la requête « Top Countries in renewable Energy »], la métrique habituelle pour l’énergie renouvelable est le facteur de capacité [Recherche sur Wikipédia avec la requête « metric for renewable energy »], et le pays numéro un a un facteur de capacité de 20 % [recherche sur Wikipédia « biggest capacity factor »]

Commençons !
Entrée utilisateur : {input}

Ici, nous utilisons le Few Shot prompting pour que le générateur produise exactement le format souhaité.

Ajouter la partie vérification des faits :

Ajoutez maintenant la seconde partie, qui vérifie la réponse exemple et affine la réponse en se basant sur des sources réelles. Ici, nous utilisons Wikipédia et des Agents IA, car il est plus facile et flexible de connecter Wikipédia à des Agents IA qu’à de simples générateurs. Connectez la sortie du générateur à l’Agent IA et reliez l’outil Wikipédia à l’Agent IA. Voici l’objectif que j’utilise pour l’Agent IA :

Une réponse exemple à la question de l’utilisateur vous est donnée. La réponse exemple peut contenir des données erronées. Utilisez l’outil Wikipédia dans les sections indiquées avec la requête précisée pour utiliser les informations de Wikipédia afin d’affiner la réponse. Incluez le lien Wikipédia dans chacune des sections concernées. RÉCUPÉREZ LES DONNÉES DE VOS OUTILS ET AFFINEZ LA RÉPONSE DANS CETTE SECTION. AJOUTEZ LE LIEN VERS LA SOURCE DANS CETTE SECTION PRÉCISE ET PAS À LA FIN.

De la même manière, vous pouvez ajouter un Document Retriever à l’Agent IA, qui peut se connecter à votre propre base de connaissances personnalisée pour récupérer des documents.

Vous pouvez essayer ce flow exact ici.

Comprendre la Génération Augmentée par Récupération (RAG)

Pour bien apprécier RIG, il est utile de regarder d’abord son prédécesseur, la Génération Augmentée par Récupération (RAG). RAG combine les atouts des systèmes qui récupèrent des données pertinentes avec des modèles générant du contenu cohérent et adapté. Le passage de RAG à RIG marque une avancée majeure. RIG ne se contente pas de récupérer et de générer : il entrelace ces processus pour une meilleure précision et efficacité. Cela permet aux systèmes d’IA d’améliorer leur compréhension et leur production de façon progressive, délivrant des résultats non seulement exacts mais aussi pertinents et instructifs. En mêlant récupération et génération, les systèmes d’IA peuvent puiser dans de vastes quantités d’informations tout en gardant leurs réponses cohérentes et pertinentes.

L’avenir de la Génération Entrelacée par Récupération

L’avenir de la Génération Entrelacée par Récupération s’annonce prometteur, avec de nombreux progrès et axes de recherche à l’horizon. À mesure que l’IA continue de se développer, RIG est amené à jouer un rôle clé dans l’univers de l’apprentissage automatique et des applications IA. Son impact potentiel va au-delà des capacités actuelles, promettant de transformer la façon dont les systèmes d’IA traitent et génèrent l’information. Avec la poursuite des recherches, nous prévoyons de nouvelles innovations qui renforceront l’intégration de RIG dans différents frameworks IA, menant à des systèmes plus efficaces, précis et fiables. Au fil de ces développements, l’importance de RIG ne fera que croître, consolidant son rôle de pilier de la précision et des performances de l’IA.

En conclusion, la Génération Entrelacée par Récupération marque un grand pas en avant dans la quête de précision et d’efficacité de l’IA. En entrelaçant habilement les processus de récupération et de génération, RIG améliore les performances des grands modèles de langage, perfectionne le raisonnement en plusieurs étapes et offre des perspectives enthousiasmantes dans l’éducation et la vérification des faits. À l’avenir, l’évolution continue de RIG stimulera sans nul doute de nouvelles innovations en IA, consolidant sa place d’outil essentiel dans la recherche d’une intelligence artificielle plus fiable et plus intelligente.