Query Expansion

Query Expansion verbessert Benutzeranfragen, indem Begriffe oder Kontext hinzugefügt werden, was die Dokumentenabfrage für präzisere Antworten optimiert. In RAG-Systemen erhöht es die Trefferquote und Relevanz, sodass Chatbots und KI präzise Antworten geben können, indem sie unklare oder synonyme Anfragen effektiv verarbeiten.

Query Expansion bezeichnet den Prozess, eine ursprüngliche Benutzeranfrage durch zusätzliche Begriffe oder Kontext zu erweitern, bevor sie an den Abrufmechanismus gesendet wird. Diese Erweiterung hilft, relevantere Dokumente oder Informationen zu finden, die dann genutzt werden, um eine genauere und kontextuell passende Antwort zu generieren. Werden Dokumente mit alternativen Anfragen gesucht und anschließend neu bewertet, liefert der RAG-Prozess deutlich präzisere Dokumentenergebnisse im Kontextfenster des Prompts.

Was ist Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) ist eine KI-Architektur, die Abrufmechanismen mit generativen Modellen kombiniert, um genauere und kontextuell relevante Antworten zu erstellen. In RAG-Systemen ruft eine Abrufkomponente relevante Dokumente oder Datenstücke aus einer Wissensdatenbank anhand einer Benutzeranfrage ab. Anschließend nutzt ein generatives Modell (häufig ein Large Language Model oder LLM) diese Informationen, um eine kohärente und informative Antwort zu erzeugen.

Die Rolle von Query Expansion in RAG-Systemen

Verbesserung der Abrufleistung

In RAG-Systemen hängt die Qualität der generierten Antwort stark von der Relevanz der abgerufenen Dokumente ab. Holt die Abrufkomponente nicht die wichtigsten Informationen, kann das generative Modell suboptimale oder irrelevante Antworten erzeugen. Query Expansion begegnet dieser Herausforderung, indem die ursprüngliche Anfrage verbessert wird und so die Chancen steigen, alle relevanten Dokumente abzurufen.

Erhöhung der Trefferquote

Durch die Erweiterung der ursprünglichen Anfrage mit verwandten Begriffen, Synonymen oder Paraphrasen vergrößert Query Expansion den Suchraum. Dadurch erhöht sich die Trefferquote des Abrufsystems, das heißt, es werden mehr relevante Dokumente aus der Wissensdatenbank erfasst. Eine höhere Trefferquote führt zu einem umfassenderen Kontext für das generative Modell und damit zu einer besseren Gesamtqualität der RAG-Antwort.

Wie wird Query Expansion in RAG-Systemen eingesetzt?

Schritte im Query Expansion-Prozess

1. Benutzeranfrage erhalten: Der Prozess beginnt mit der ursprünglichen Anfrage des Nutzers, die unvollständig, vage oder spezifische Begriffe enthalten kann, die nicht mit den Dokumenten in der Wissensbasis übereinstimmen.
2. Erweiterte Anfragen generieren: Das System erstellt zusätzliche Anfragen, die semantisch der Originalanfrage ähneln. Dies kann mit verschiedenen Techniken geschehen, z. B. unter Einsatz großer Sprachmodelle (LLMs).
3. Dokumente abrufen: Jede erweiterte Anfrage dient zum Abruf von Dokumenten aus der Wissensbasis. Das Ergebnis ist eine größere und vielfältigere Menge potenziell relevanter Dokumente.
4. Ergebnisse aggregieren: Die abgerufenen Dokumente werden zusammengeführt, Duplikate entfernt und nach Relevanz sortiert.
5. Antwort generieren: Das generative Modell nutzt die aggregierten Dokumente, um eine finale Antwort auf die Benutzeranfrage zu erzeugen.

Techniken für Query Expansion

1. Nutzung großer Sprachmodelle (LLMs)

LLMs wie GPT-4 können semantisch ähnliche Anfragen oder Paraphrasen der Ursprungssuche generieren. Durch ihr Verständnis von Kontext und Sprachnuancen erzeugen LLMs hochwertige Erweiterungen, die verschiedene Arten der Fragestellung abdecken.

Beispiel:

• Ursprüngliche Anfrage: „Auswirkungen des Klimawandels“
• Von LLM generierte erweiterte Anfragen:
  • „Auswirkungen der globalen Erwärmung“
  • „Folgen von Umweltveränderungen“
  • „Klimavariabilität und deren Effekte“

2. Hypothetische Antwortgenerierung

Bei diesem Ansatz generiert das System mit einem LLM eine hypothetische Antwort auf die Benutzeranfrage. Die hypothetische Antwort wird dann der Originalanfrage hinzugefügt, um beim Abruf mehr Kontext zu bieten.

Vorgehen:

• Eine hypothetische Antwort zur Anfrage generieren.
• Die ursprüngliche Anfrage und die hypothetische Antwort kombinieren.
• Den kombinierten Text als Abrufanfrage verwenden.

Beispiel:

• Ursprüngliche Anfrage: „Welche Faktoren trugen zum Umsatzwachstum bei?“
• Generierte hypothetische Antwort:
  • „Das Umsatzwachstum des Unternehmens resultierte aus erfolgreichen Marketingkampagnen, Produktdiversifizierung und Expansion in neue Märkte.“
• Kombinierte Anfrage:
  • „Welche Faktoren trugen zum Umsatzwachstum bei? Das Umsatzwachstum des Unternehmens resultierte aus erfolgreichen Marketingkampagnen, Produktdiversifizierung und Expansion in neue Märkte.“

3. Multi-Query-Ansatz

Hierbei werden mehrere alternative Anfragen generiert, die unterschiedliche Formulierungen oder Aspekte der ursprünglichen Anfrage abdecken. Jede Anfrage wird einzeln für den Dokumentenabruf genutzt.

Vorgehen:

• Mehrere ähnliche Anfragen mit einem LLM generieren.
• Für jede Anfrage separat Dokumente abrufen.
• Die gefundenen Dokumente kombinieren und bewerten.

Beispiel:

• Ursprüngliche Anfrage: „Haupttreiber für das Unternehmenswachstum“
• Erweiterte Anfragen:
  • „Wichtigste Faktoren für die Geschäftsexpansion“
  • „Was führte zur Leistungssteigerung des Unternehmens?“
  • „Bedeutende Beiträge zum organisatorischen Wachstum“

Beispiele und Anwendungsfälle

Fallstudie: Verbesserung von RAG bei der Analyse von Geschäftsberichten

Szenario:
Ein KI-System soll Fragen basierend auf dem Geschäftsbericht eines Unternehmens beantworten. Ein Nutzer fragt: „Gab es einen erheblichen Wechsel im Führungsteam?“

Umsetzung:

1. Generierung einer hypothetischen Antwort:
   • Das System erstellt eine hypothetische Antwort: „Es gab nur geringe Veränderungen im Führungsteam, was für Stabilität und Kontinuität bei den strategischen Initiativen sorgte.“
2. Query Expansion:
   • Die hypothetische Antwort wird mit der Originalanfrage zu einer erweiterten Anfrage kombiniert.
3. Abruf:
   • Die erweiterte Anfrage dient zum Abruf relevanter Abschnitte des Geschäftsberichts, die Führungswechsel thematisieren.
4. Generierung:
   • Die KI generiert eine präzise Antwort auf Basis der abgerufenen Informationen.

Vorteil:
Durch den zusätzlichen Kontext der hypothetischen Antwort werden relevante Informationen gefunden, die mit der ursprünglichen Anfrage allein möglicherweise übersehen worden wären.

Fallstudie: Verbesserung der Suche in Kundenservice-Chatbots

Szenario:
Ein Kundenservice-Chatbot unterstützt Nutzer bei der Fehlerbehebung. Ein Nutzer schreibt: „Mein Internet ist langsam.“

Umsetzung:

1. Query Expansion mit LLM:
   • Erweiterte Anfragen generieren:
     • „Erlebe verringerte Internetgeschwindigkeit“
     • „Langsame Breitbandverbindung“
     • „Probleme mit Internet-Latenz“
2. Abruf:
   • Jede Anfrage ruft Hilfeartikel und Problemlösungen zu langsamen Internetgeschwindigkeiten ab.
3. Antwortgenerierung:
   • Der Chatbot sammelt die abgerufenen Informationen und führt den Nutzer durch mögliche Lösungen.

Vorteil:
Der Chatbot deckt eine größere Bandbreite möglicher Ursachen und Lösungen ab und steigert so die Wahrscheinlichkeit, das Problem des Nutzers effizient zu lösen.

Fallstudie: Unterstützung akademischer Recherche

Szenario:
Ein Student nutzt einen KI-Assistenten, um Ressourcen zu finden: „Auswirkungen von Schlafmangel auf die kognitive Leistungsfähigkeit.“

Umsetzung:

1. Multi-Query-Generierung:
   • Ähnliche Anfragen generieren:
     • „Wie beeinflusst Schlafmangel die Denkfähigkeit?“
     • „Kognitive Beeinträchtigungen durch Schlafentzug“
     • „Schlafmangel und geistige Leistungsfähigkeit“
2. Abruf:
   • Für jede Anfrage wissenschaftliche Artikel und Studien abrufen.
3. Aggregation und Bewertung:
   • Ergebnisse kombinieren und die relevantesten und aktuellsten Studien priorisieren.
4. Antwortgenerierung:
   • Die KI liefert eine Zusammenfassung der Erkenntnisse und schlägt zentrale Studien vor.

Vorteil:
Der Student erhält umfassende Informationen zu verschiedenen Aspekten des Themas und kann fundierter recherchieren.

Vorteile von Query Expansion in RAG-Systemen

• Verbesserte Trefferquote: Durch das Abrufen zusätzlicher relevanter Dokumente erhält das System besseren Kontext für genauere Antworten.
• Umgang mit vagen Anfragen: Fügt Kontext zu kurzen oder mehrdeutigen Anfragen hinzu.
• Synonym-Erkennung: Findet Dokumente mit Synonymen oder verwandten Begriffen, die in der Originalanfrage fehlen.
• Verbessertes Nutzererlebnis: Nutzer erhalten präzisere und informativere Antworten, ohne ihre Anfragen manuell verfeinern zu müssen.

Herausforderungen und Überlegungen

Über-Expansion

Zu viele erweiterte Anfragen können irrelevante Dokumente einschleusen und die Präzision der Suche verringern.

Abhilfe:

• Kontrollierte Generierung: Die Anzahl der erweiterten Anfragen begrenzen.
• Relevanzfilter: Mechanismen einsetzen, die die relevantesten Erweiterungen priorisieren.

Mehrdeutigkeit und Polysemie

Begriffe mit mehreren Bedeutungen können zu irrelevanten Erweiterungen führen.

Abhilfe:

• Kontextbezogene Erweiterung: LLMs verwenden, die den Kontext der Anfrage berücksichtigen.
• Disambiguation-Techniken: Algorithmen einsetzen, die anhand des Anfragekontexts unterschiedliche Bedeutungen unterscheiden.

Rechnerische Ressourcen

Die Generierung und Verarbeitung mehrerer erweiterter Anfragen kann ressourcenintensiv sein.

Abhilfe:

• Effiziente Modelle: Optimierte LLMs und Abrufsysteme verwenden.
• Caching-Mechanismen: Häufige Anfragen und Erweiterungen zwischenspeichern, um Rechenaufwand zu reduzieren.

Integration mit Abrufsystemen

Sicherstellen, dass die erweiterten Anfragen effizient mit den bestehenden Abrufalgorithmen funktionieren.

Abhilfe:

• Anpassung der Bewertung: Abruf-Bewertung für erweiterte Anfragen anpassen.
• Hybride Ansätze: Keyword-basierte und semantische Suche kombinieren.

Techniken für effektive Query Expansion

Termgewichtung

Begriffen in den erweiterten Anfragen werden Gewichte zugewiesen, um deren Bedeutung widerzuspiegeln.

• TF-IDF (Term Frequency-Inverse Document Frequency): Misst die Bedeutung eines Begriffs in einem Dokument relativ zum Gesamtkorpus.
• BM25-Bewertung: Eine Ranking-Funktion, die von Suchmaschinen verwendet wird, um die Relevanz von Dokumenten einzuschätzen.
• Eigene Gewichtungen: Gewichte je nach Relevanz der Erweiterungen anpassen.

Re-Ranking abgerufener Dokumente

Nach dem Abruf werden die Dokumente neu bewertet, um die Relevanz zu priorisieren.

• Cross-Encoder: Modelle, die die Relevanz von Anfrage-Dokument-Paaren bewerten.
• Re-Ranking-Modelle (z. B. ColBERT, FlashRank): Spezialisierte Modelle für effizientes und präzises Re-Ranking.

Beispiel:

Nach dem Abruf wird ein Cross-Encoder eingesetzt, um Dokumente hinsichtlich ihrer Relevanz für die Originalanfrage zu bewerten und neu zu sortieren.

Nutzung von Nutzerfeedback

Einbeziehung von Nutzerinteraktionen zur Verbesserung der Query Expansion.

• Implizites Feedback: Nutzerverhalten wie Klicks und Verweildauer auswerten.
• Explizites Feedback: Nutzern ermöglichen, Anfragen zu verfeinern oder bevorzugte Ergebnisse auszuwählen.

Verbindung zu KI, KI-Automatisierung und Chatbots

KI-gestützte Query Expansion

Der Einsatz von KI und LLMs für Query Expansion nutzt fortschrittliches Sprachverständnis, um die Suche zu verbessern. So können KI-Systeme, einschließlich Chatbots und virtueller Assistenten, präzisere und kontextuell passende Antworten geben.

Automatisierung beim Informationsabruf

Die Automatisierung des Query Expansion-Prozesses entlastet Nutzer von der Notwendigkeit, präzise Anfragen zu formulieren. Die KI-Automatisierung übernimmt die Komplexität im Hintergrund und steigert die Effizienz von Informationsabrufsystemen.

Verbesserte Chatbot-Interaktionen

Chatbots profitieren von Query Expansion, da sie Benutzerintentionen besser verstehen – insbesondere bei umgangssprachlichen oder unvollständigen Anfragen. Das führt zu zufriedenstellenderen Interaktionen und effektiverer Problemlösung.

Beispiel:

Ein technischer Support-Chatbot kann eine vage Anfrage wie „Meine App funktioniert nicht“ interpretieren, indem er sie auf „Anwendungsabstürze“, „Software reagiert nicht“ und „Fehlermeldungen der App“ erweitert, was eine schnellere Lösung ermöglicht.

Forschung zu Query Expansion für RAG

1. Improving Retrieval for RAG based Question Answering in question answering, enhancing accuracy with real-time data. Discover more!") Models on Financial Documents
   Diese Arbeit untersucht die Effektivität großer Sprachmodelle (LLMs), die durch Retrieval-Augmented Generation (RAG) verbessert werden, insbesondere im Kontext von Finanzdokumenten. Sie stellt fest, dass Ungenauigkeiten in LLM-Antworten oft durch suboptimale Textausschnitt-Suche und nicht durch die Modelle selbst verursacht werden. Die Studie schlägt Verbesserungen im RAG-Prozess vor, einschließlich fortschrittlicher Chunking-Techniken und Query Expansion, zusammen mit Metadaten-Anmerkungen und Re-Ranking-Algorithmen. Diese Ansätze sollen den Textabruf verfeinern und so die Leistung von LLMs bei der Generierung präziser Antworten steigern. Mehr erfahren

2. Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems
   Die Publikation stellt einen modularen Ansatz zur Verbesserung von RAG-Systemen vor; im Fokus steht das Query Rewriter-Modul, das suchfreundliche Anfragen generiert, um das Wissensabruf zu optimieren. Sie adressiert Informationsplateaus und Mehrdeutigkeit in Anfragen durch die Generierung mehrerer Suchanfragen. Zusätzlich werden Knowledge Filter und Memory Knowledge Reservoir eingeführt, um irrelevantes Wissen zu filtern und Ressourcen zu optimieren. Diese Weiterentwicklungen sollen die Antwortqualität und Effizienz in RAG-Systemen steigern, was durch Experimente auf QA-Datensätzen validiert wurde. Code und Details ansehen.

3. MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries
   Diese Forschung beleuchtet Herausforderungen bestehender RAG-Systeme bei Multi-Hop-Anfragen, die das Verknüpfen mehrerer Informationsquellen erfordern. Sie stellt einen neuartigen Datensatz vor, der speziell entwickelt wurde, um RAG-Systeme auf Multi-Hop-Anfragen zu testen und so die Leistungsfähigkeit dieser Methoden zu erweitern. Die Studie diskutiert notwendige Fortschritte, damit RAG-Methoden komplexe Anfragestrukturen effektiv verarbeiten und LLMs für praxisnahe Anwendungen optimieren können.