Bringen Sie LLMs dazu, ihre Antworten zu überprüfen und Quellen anzugeben

Was ist RIG (Retrieval Interleaved Generation)?

Retrieval Interleaved Generation, kurz RIG, ist eine fortschrittliche KI-Methode, die das Auffinden von Informationen und das Erstellen von Antworten nahtlos kombiniert. Früher nutzten KI-Modelle RAG (Retrieval Augmented Generation) oder die reine Generierung, aber RIG vereint diese Prozesse, um die Genauigkeit der KI zu erhöhen. Durch das Verweben von Abruf und Generierung können KI-Systeme auf eine breitere Wissensbasis zugreifen und präzisere sowie relevantere Antworten liefern. Das Hauptziel von RIG ist es, Fehler zu reduzieren und die Vertrauenswürdigkeit von KI-Ausgaben zu steigern – ein essenzielles Werkzeug für Entwickler, die die Genauigkeit ihrer KI optimieren wollen. Somit stellt Retrieval Interleaved Generation eine Alternative zu RAG (Retrieval Augmented Generation) dar, um KI-gestützte Antworten auf Basis eines Kontexts zu generieren.

Wie funktioniert RIG (Retrieval Interleaved Generation)?

So funktioniert RIG. Die folgenden Phasen sind inspiriert vom Originalblog, der sich stärker auf allgemeine Anwendungsfälle mit der Data Commons API konzentriert. In den meisten Fällen möchten Sie jedoch sowohl eine allgemeine [Wissensdatenbank (z.B. Wikipedia oder Data Commons)] als auch Ihre eigenen Daten nutzen. So können Sie mit den Flows in FlowHunt einen RIG-Chatbot aus Ihrer eigenen Wissensdatenbank und einer allgemeinen Wissensdatenbank wie Wikipedia erstellen.

1. Eine Benutzeranfrage wird an einen Generator übergeben, der eine Beispielantwort mit Quellennachweis der jeweiligen Abschnitte generiert. In diesem Stadium kann der Generator sogar eine gute Antwort liefern, jedoch mit erfundenen oder fehlerhaften Daten und Statistiken.

   

2. Im nächsten Schritt kommt ein KI-Agent zum Einsatz, der diese Ausgabe erhält und die Daten in jedem Abschnitt verfeinert, indem er sich mit Wikipedia verbindet und zusätzlich für jeden Abschnitt Quellen angibt.

   

Wie Sie sehen, steigert diese Methode die Genauigkeit von Chatbots erheblich und stellt sicher, dass jeder generierte Abschnitt eine Quelle hat und auf Fakten basiert.

Wie erstellt man einen RIG-Chatbot in FlowHunt?

Fügen Sie die erste Stufe hinzu (Einfacher Beispielantwort-Generator):

Der erste Teil des Flows besteht aus Chateingabe, Prompt-Vorlage und Generator. Verbinden Sie diese einfach miteinander. Der wichtigste Teil ist die Prompt-Vorlage. Ich habe folgende verwendet:

Gegeben ist die Benutzeranfrage. Generieren Sie basierend auf der Anfrage die bestmögliche Antwort mit erfundenen Daten oder Prozentangaben. Nach jedem unterschiedlichen Abschnitt Ihrer Antwort geben Sie an, aus welcher Quelle die korrekten Daten zu beziehen sind, um diesen Abschnitt mit echten Daten zu verfeinern. Sie können entweder angeben, eine interne Wissensquelle zu nutzen, falls es benutzerdefinierte Daten zum Produkt oder Service des Nutzers gibt, oder Wikipedia als allgemeine Wissensquelle verwenden.

Beispiel-Eingabe: Welche Länder sind führend im Bereich erneuerbare Energien und was ist die beste Kennzahl zur Messung, und wie hoch ist dieser Wert für das Top-Land?
Beispiel-Ausgabe: Die führenden Länder bei erneuerbaren Energien sind Norwegen, Schweden, Portugal, USA [Suche in Wikipedia mit der Anfrage “Top Countries in renewable Energy”], die übliche Kennzahl für erneuerbare Energien ist der Kapazitätsfaktor [Suche in Wikipedia mit der Anfrage “metric for renewable energy”], und das führende Land hat einen Kapazitätsfaktor von 20% [Suche in Wikipedia “biggest capacity factor”]

Los geht’s!
Benutzereingabe: {input}

Hier verwenden wir Few Shot Prompting, um dem Generator das gewünschte Ausgabeformat zu vermitteln.

Fügen Sie den Faktencheck-Teil hinzu:

Fügen Sie nun den zweiten Teil hinzu, der die Beispielantwort überprüft und anhand realer Wahrheitsquellen verfeinert. Hier nutzen wir Wikipedia und KI-Agenten, da es einfacher und flexibler ist, Wikipedia mit KI-Agenten als mit einfachen Generatoren zu verbinden. Verbinden Sie die Ausgabe des Generators mit dem KI-Agenten und verbinden Sie das Wikipedia-Tool mit dem KI-Agenten. Das ist das Ziel, das ich für den KI-Agenten verwende:

Sie erhalten eine Beispielantwort auf die Nutzerfrage. Die Beispielantwort kann fehlerhafte Daten enthalten. Nutzen Sie das Wikipedia-Tool in den angegebenen Abschnitten mit der spezifizierten Abfrage, um die Antwort mit den Informationen aus Wikipedia zu verfeinern. Fügen Sie in jedem spezifizierten Abschnitt den Wikipedia-Link hinzu. HOLEN SIE DIE DATEN AUS IHREN TOOLS UND VERBESSERN SIE DIE ANTWORT IN DIESEM ABSCHNITT. FÜGEN SIE DEN LINK ZUR QUELLE IN DEN JEWEILIGEN ABSCHNITT EIN UND NICHT AM ENDE.

Ebenso können Sie einen Dokumentenabrufer zum KI-Agenten hinzufügen, der mit Ihrer eigenen Wissensdatenbank verbunden werden kann, um Dokumente abzurufen.

Diesen Flow können Sie hier ausprobieren.

Was ist Retrieval-Augmented Generation (RAG)?

Um RIG wirklich zu verstehen, lohnt sich ein Blick auf seinen Vorgänger, die Retrieval-Augmented Generation (RAG). RAG vereint die Stärken von Systemen, die relevante Daten beschaffen, mit Modellen, die kohärente und passende Inhalte generieren. Der Wechsel von RAG zu RIG ist ein großer Fortschritt. RIG ruft nicht nur ab und generiert, sondern verwebt diese Prozesse für höhere Genauigkeit und Effizienz. So können KI-Systeme ihr Verständnis und ihre Ausgaben Schritt für Schritt verbessern und liefern Ergebnisse, die nicht nur korrekt, sondern auch relevant und aufschlussreich sind. Durch das Kombinieren von Abruf und Generierung können KI-Systeme auf riesige Informationsmengen zugreifen und dabei kohärente, relevante Antworten geben.

Die Zukunft von Retrieval Interleaved Generation

Die Zukunft von Retrieval Interleaved Generation sieht vielversprechend aus, mit zahlreichen Entwicklungen und Forschungsrichtungen am Horizont. Während KI weiter wächst, wird RIG eine Schlüsselrolle in der Welt des maschinellen Lernens und der KI-Anwendungen spielen. Sein Potenzial reicht weit über die aktuellen Möglichkeiten hinaus und verspricht, die Art und Weise, wie KI-Systeme Informationen verarbeiten und generieren, zu revolutionieren. Mit fortlaufender Forschung erwarten wir weitere Innovationen, die die Integration von RIG in verschiedene KI-Frameworks verbessern und so zu effizienteren, genaueren und zuverlässigeren KI-Systemen führen werden. Mit diesen Entwicklungen wird die Bedeutung von RIG weiter wachsen und seine Rolle als Grundpfeiler für Genauigkeit und Leistung in der KI festigen.

Abschließend markiert Retrieval Interleaved Generation einen wichtigen Schritt in Richtung mehr Genauigkeit und Effizienz von KI. Durch das geschickte Verweben von Abruf- und Generierungsprozessen steigert RIG die Leistung großer Sprachmodelle, verbessert das mehrstufige Schlussfolgern und eröffnet spannende Möglichkeiten in Bildung und Faktenprüfung. Mit Blick auf die Zukunft wird die kontinuierliche Weiterentwicklung von RIG zweifellos neue Innovationen in der KI vorantreiben und seine Rolle als wichtiges Werkzeug auf dem Weg zu intelligenteren, zuverlässigeren KI-Systemen festigen.