Dokumenten-Reranking

Dokumenten-Reranking ordnet abgerufene Dokumente nach der Relevanz zur Anfrage neu und verfeinert so die Suchergebnisse. Query Expansion verbessert die Suche, indem verwandte Begriffe hinzugefügt werden. Dadurch wird der Recall erhöht und Mehrdeutigkeiten werden adressiert. Die Kombination dieser Techniken in RAG-Systemen steigert die Genauigkeit des Retrievals und die Qualität der Antworten.

Dokumenten-Reranking ist der Prozess, abgerufene Dokumente basierend auf deren Relevanz zur Nutzeranfrage neu zu sortieren. Nach einem ersten Retrieval-Schritt werden die Ergebnisse durch eine präzisere Bewertung der Relevanz jedes Dokuments verfeinert, sodass die wichtigsten Dokumente priorisiert werden.

Was ist Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) ist ein fortschrittliches Framework, das die Fähigkeiten von großen Sprachmodellen (LLMs) mit Information-Retrieval-Systemen kombiniert. In RAG wird bei einer Nutzeranfrage zunächst eine Suche im Wissensbestand durchgeführt und relevante Dokumente werden dem LLM zur Generierung fundierter, kontextgenauer Antworten bereitgestellt. Dieser Ansatz erhöht die Genauigkeit und Relevanz von KI-generierten Inhalten, indem sie in Fakten verankert werden.

Verständnis von Query Expansion

Was ist Query Expansion?

Definition

Query Expansion ist eine Technik im Information Retrieval, die darauf abzielt, die Wirksamkeit von Suchanfragen zu erhöhen. Dabei wird die ursprüngliche Suchanfrage durch zusätzliche, semantisch verwandte Begriffe oder Phrasen ergänzt. Das Hauptziel ist es, die Lücke zwischen der Nutzerintention und der Sprache in relevanten Dokumenten zu schließen, um so das Auffinden passender Informationen zu verbessern.

Funktionsweise

In der Praxis kann Query Expansion durch verschiedene Methoden umgesetzt werden:

• Synonym-Erweiterung: Einbeziehung von Synonymen der Suchbegriffe, um verschiedene Ausdrucksweisen desselben Konzepts abzudecken.
• Verwandte Begriffe: Ergänzung von Kontextbegriffen, die keine direkten Synonyme sind, aber thematisch passen.
• LLM-basierte Erweiterung: Nutzung großer Sprachmodelle zur Generierung erweiterter Anfragen durch Vorhersage relevanter Wörter oder Phrasen.

Durch die Erweiterung der Anfrage kann das Retrieval-System ein größeres Spektrum abdecken und Dokumente erfassen, die aufgrund unterschiedlicher Terminologie oder Formulierungen sonst übersehen würden.

Warum ist Query Expansion in RAG-Systemen wichtig?

Verbesserung des Recalls

Recall bezeichnet die Fähigkeit des Retrieval-Systems, alle relevanten Dokumente zu finden. Query Expansion erhöht den Recall, indem:

• Dokumente abgerufen werden, die andere Begriffe zur Beschreibung desselben Konzepts verwenden.
• Dokumente erfasst werden, die verwandte Unterthemen oder übergeordnete Aspekte der Anfrage abdecken.

Lösung von Mehrdeutigkeiten

Nutzer stellen häufig kurze oder mehrdeutige Anfragen. Query Expansion hilft dabei:

• Die Nutzerintention durch verschiedene Interpretationen zu klären.
• Eine umfassendere Suche zu ermöglichen, indem verschiedene Aspekte des Themas berücksichtigt werden.

Verbesserung des Document Matchings

Durch die Aufnahme zusätzlicher relevanter Begriffe steigt die Wahrscheinlichkeit, dass die Anfrage mit Dokumenten übereinstimmt, die eine andere Wortwahl verwenden. Das steigert die Gesamteffektivität des Retrieval-Prozesses.

Methoden der Query Expansion

1. Pseudo-Relevance Feedback (PRF)

Was ist PRF?

Pseudo-Relevance Feedback ist eine automatische Methode der Query Expansion, bei der angenommen wird, dass die bestplatzierten Dokumente einer ersten Suche relevant sind. Aus diesen Dokumenten werden wichtige Begriffe extrahiert, um die ursprüngliche Anfrage zu verfeinern.

Funktionsweise von PRF

• Erste Anfrage-Ausführung: Die Originalanfrage des Nutzers wird ausgeführt und die Top-Dokumente abgerufen.
• Begriffsextraktion: Wichtige Begriffe werden anhand ihrer Häufigkeit oder Bedeutung identifiziert.
• Anfrageverfeinerung: Die Originalanfrage wird mit diesen Schlüsselbegriffen erweitert.
• Zweite Suche: Die erweiterte Anfrage wird für eine neue Suche verwendet, um idealerweise noch relevantere Dokumente zu finden.

Vorteile und Nachteile

• Vorteile: Verbesserter Recall ohne Benutzereingriff.
• Nachteile: Enthalten die ersten Ergebnisse irrelevante Dokumente, können auch irrelevante Begriffe aufgenommen werden, was die Präzision senkt.

2. LLM-basierte Query Expansion

Nutzung großer Sprachmodelle

Durch Fortschritte in der KI können LLMs wie GPT-3 und GPT-4 kontext- und semantikbasierte Query Expansions generieren.

Ablauf der LLM-basierten Erweiterung

• Generierung hypothetischer Antworten: Das LLM erzeugt eine hypothetische Antwort auf die Originalanfrage.
• Kontextuelle Erweiterung: Die Antwort liefert zusätzlichen Kontext und verwandte Begriffe.
• Kombinierte Anfrage: Die Originalanfrage und die LLM-Ausgabe werden zu einer erweiterten Anfrage kombiniert.

Beispiel

Originalanfrage:
„Was waren die wichtigsten Faktoren, die zu Umsatzsteigerungen beigetragen haben?“

LLM-generierte Antwort:
„Im Geschäftsjahr trugen mehrere Schlüsselfaktoren zum deutlichen Umsatzanstieg des Unternehmens bei, darunter erfolgreiche Marketingkampagnen, Produktdiversifizierung, Initiativen zur Kundenzufriedenheit, strategische Preisgestaltung und Investitionen in Technologie.“

Erweiterte Anfrage:
„Originalanfrage: Was waren die wichtigsten Faktoren, die zu Umsatzsteigerungen beigetragen haben?
Hypothetische Antwort: [LLM-generierte Antwort]“

Vorteile

• Tiefes Verständnis: Erfasst feine Zusammenhänge und Konzepte.
• Anpassbarkeit: Die Erweiterung kann an die jeweilige Domäne oder den Kontext angepasst werden.

Herausforderungen

• Rechenressourcen: Kann viel Rechenleistung erfordern.
• Übermäßige Erweiterung: Risiko, zu viele oder irrelevante Begriffe aufzunehmen.

Umsetzung von Query Expansion in RAG-Systemen

Schritt-für-Schritt-Prozess

1. Nutzereingabe: Das System erhält die ursprüngliche Anfrage des Nutzers.
2. LLM-basierte Erweiterung:
   • Das System fordert das LLM auf, eine hypothetische Antwort oder verwandte Anfragen zu generieren.
   • Beispiel-Prompt:
     „Geben Sie eine ausführliche Antwort oder verwandte Anfragen zu: [Nutzeranfrage]“
3. Kombination der Anfragen:
   • Die Originalanfrage und die erweiterte Antwort werden kombiniert.
   • So bleibt die erweiterte Anfrage relevant zur Nutzerintention.
4. Nutzung im Retrieval:
   • Die erweiterte Anfrage wird für die Dokumentensuche verwendet.
   • Dies kann per Keyword-Search, semantischer Suche oder kombiniert geschehen.

Vorteile in RAG-Systemen

• Verbessertes Retrieval: Mehr relevante Dokumente werden gefunden und bieten besseren Kontext für das LLM.
• Bessere Nutzererfahrung: Nutzer erhalten genauere und informativere Antworten.

Verständnis von Dokumenten-Reranking

Warum ist Reranking notwendig?

• Limitierungen der initialen Suche: Erste Retrieval-Methoden setzen oft auf grobe Ähnlichkeitsmaße, die feine Relevanz nicht erfassen.
• Reduzierung von Rauschen: Query Expansion kann weniger relevante Dokumente einbringen; Reranking filtert diese heraus.
• Optimierung des LLM-Kontexts: Die relevantesten Dokumente erhöhen die Qualität der generierten Antworten.

Methoden für Dokumenten-Reranking

1. Cross-Encoder-Modelle

Überblick

Cross-Encoder sind neuronale Modelle, die ein Paar aus Anfrage und Dokument als Eingabe erhalten und einen Relevanzscore ausgeben. Im Gegensatz zu Bi-Encodern kodieren sie Anfrage und Dokument nicht getrennt, sondern gemeinsam und ermöglichen so eine reichhaltigere Interaktion.

Funktionsweise von Cross-Encodern

• Paarbildung: Jedes Dokument wird mit der Anfrage gepaart.
• Gemeinsames Encoding: Das Modell kodiert beide zusammen, um Wechselwirkungen zu erfassen.
• Scoring: Für jedes Dokument wird ein Relevanzscore berechnet.
• Ranking: Die Dokumente werden entsprechend sortiert.

Vorteile

• Hohe Präzision: Sehr genaue Relevanzbewertung.
• Kontextverständnis: Erfasst komplexe Zusammenhänge zwischen Anfrage und Dokument.

Herausforderungen

• Rechenintensiv: Benötigt viel Rechenleistung, besonders bei großen Dokumentenmengen.

2. ColBERT (Late Interaction Models)

Was ist ColBERT?

ColBERT (Contextualized Late Interaction over BERT) ist ein Retrieval-Modell, das Effizienz und Effektivität ausbalanciert. Es nutzt ein Late-Interaction-Prinzip, um einen detaillierten Vergleich zwischen Anfrage- und Dokument-Tokens zu ermöglichen, ohne hohe Rechenkosten zu verursachen.

Funktionsweise von ColBERT

• Token-Level-Encoding: Anfrage- und Dokument-Tokens werden jeweils mit BERT kodiert.
• Late Interaction: Beim Scoring werden die Tokens mit Ähnlichkeitsmaßen verglichen.
• Effizienz: Ermöglicht das Vorberechnen von Dokument-Embeddings.

Vorteile

• Effizientes Scoring: Schneller als vollständige Cross-Encoder.
• Gute Retrieval-Qualität: Hohe Qualität der Ergebnisse.

Einsatzbereiche

• Geeignet für großskalige Retrieval-Anwendungen mit begrenzten Ressourcen.

3. FlashRank

Überblick

FlashRank ist eine leichtgewichtige und schnelle Reranking-Bibliothek, die moderne Cross-Encoder verwendet. Sie lässt sich einfach in bestehende Pipelines integrieren und verbessert die Reranking-Performance mit geringem Overhead.

Eigenschaften

• Bedienungsfreundlichkeit: Einfache API für schnelle Integration.
• Schnelligkeit: Für schnelle Reranking-Aufgaben optimiert.
• Genauigkeit: Effektive Modelle für hochwertige Ergebnisse.

Beispielanwendung

from flashrank import Ranker, RerankRequest

query = 'What were the most important factors that contributed to increases in revenue?'

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")
rerank_request = RerankRequest(query=query, passages=documents)
results = ranker.rerank(rerank_request)

Vorteile

• Vereinfacht das Reranking: Modellhandling wird abstrahiert.
• Optimale Performance: Schnelligkeit und Genauigkeit werden effektiv ausbalanciert.

Umsetzung von Dokumenten-Reranking in RAG-Systemen

Vorgehen

1. Initiales Retrieval: Mit der erweiterten Anfrage wird eine Kandidatenauswahl an Dokumenten abgerufen.
2. Reranking: Ein Reranking-Modell (z.B. Cross-Encoder, ColBERT) bewertet die Relevanz jedes Dokuments.
3. Auswahl: Die bestplatzierten Dokumente werden als Kontext für das LLM ausgewählt.

Zu beachten

• Rechenressourcen: Reranking kann ressourcenintensiv sein – ein ausgewogenes Verhältnis zwischen Leistung und Kosten ist wichtig.
• Modellauswahl: Wählen Sie Modelle, die zu den Anforderungen in Genauigkeit und Effizienz passen.
• Integration: Das Reranking sollte nahtlos in die bestehende Pipeline eingebunden werden.

Kombination von Query Expansion und Dokumenten-Reranking in RAG

Synergie zwischen Query Expansion und Reranking

Ergänzende Techniken

• Query Expansion erweitert den Suchraum und ruft mehr Dokumente ab.
• Dokumenten-Reranking verfeinert diese Ergebnisse und fokussiert auf die relevantesten.

Vorteile der Kombination

• Erhöhter Recall und Präzision: Zusammen steigern sie sowohl die Menge als auch die Qualität der gefundenen Dokumente.
• Robustes Retrieval: Grenzen der Einzelmethoden werden überwunden.
• Bessere LLM-Antworten: Der Kontext wird verbessert und führt zu genaueren und informativen Antworten.

Zusammenspiel der Methoden

1. Nutzereingabe: Die Originalanfrage wird übermittelt.
2. Query Expansion: Die Anfrage wird mittels LLM-basierter Methoden erweitert und dadurch umfassender.
3. Initiales Retrieval: Die erweiterte Anfrage wird für das breite Dokumenten-Retrieval verwendet.
4. Dokumenten-Reranking: Reranking-Modelle bewerten und sortieren die Dokumente nach Relevanz zur Originalanfrage.
5. Kontextbereitstellung: Die bestplatzierten Dokumente werden dem LLM als Kontext übergeben.
6. Antwortgenerierung: Das LLM erstellt eine Antwort, die auf den relevantesten Dokumenten basiert.

Praktische Implementierungsschritte

Beispiel-Workflow

• Query Expansion mit LLM:

  def expand_query(query):
      prompt = f"Provide additional related queries for: '{query}'"
      expanded_queries = llm.generate(prompt)
      expanded_query = ' '.join([query] + expanded_queries)
      return expanded_query
  

• Initiales Retrieval:

  documents = vector_db.retrieve_documents(expanded_query)
  

• Dokumenten-Reranking:

  from sentence_transformers import CrossEncoder
  cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
  pairs = [[query, doc.text] for doc in documents]
  scores = cross_encoder.predict(pairs)
  ranked_docs = [doc for _, doc in sorted(zip(scores, documents), reverse=True)]
  

• Auswahl der Top-Dokumente:

  top_documents = ranked_docs[:top_k]
  

• Antwortgenerierung mit LLM:

  context = '\n'.join([doc.text for doc in top_documents])
  prompt = f"Answer the following question using the context provided:\n\nQuestion: {query}\n\nContext:\n{context}"
  response = llm.generate(prompt)
  

Monitoring und Optimierung

• Performance-Metriken: Messen Sie regelmäßig die Retrieval-Effektivität mit Metriken wie Präzision, Recall und Relevanzscores.
• Feedback-Loops: Integrieren Sie Nutzerfeedback, um Query Expansion und Reranking-Strategien zu verbessern.
• Ressourcenmanagement: Optimieren Sie den Ressourcenbedarf – z.B. durch Caching oder Begrenzung der Anzahl rerankter Dokumente.

Anwendungsfälle und Beispiele

Beispiel 1: Verbesserung von KI-Chatbots im Kundensupport

Szenario

Ein Unternehmen setzt einen KI-Chatbot ein, um Kundenanfragen zu Produkten und Dienstleistungen zu bearbeiten. Kunden stellen ihre Fragen auf unterschiedliche Weise und mit verschiedenen Begriffen.

Herausforderungen

• Unterschiedliche Sprache und Terminologie der Kunden.
• Bedarf an genauen und schnellen Antworten zur Kundenzufriedenheit.

Umsetzung

• Query Expansion: Der Chatbot erweitert Kundenanfragen um Synonyme und verwandte Begriffe.
  Fragt ein Kunde z.B. „Wie kann ich mein Gerät reparieren?“, wird die Anfrage um Begriffe wie „Gerät reparieren“, „Fehlerbehebung Gerät“, etc. ergänzt.
• Dokumenten-Reranking: Abgerufene Hilfsartikel und FAQs werden neu sortiert, sodass die relevantesten Lösungen priorisiert werden. Cross-Encoder bewerten die Relevanz jedes Dokuments für das spezifische Kundenproblem.

Vorteile

• Höhere Genauigkeit und Relevanz der Antworten.
• Gesteigerte Kundenzufriedenheit und schnellere Problemlösung.

Beispiel 2: Optimierung KI-gestützter Recherche-Tools

Szenario

Forschende nutzen einen KI-Assistenten, um relevante wissenschaftliche Artikel, Daten und Erkenntnisse für ihre Arbeit zu finden.

Herausforderungen

• Komplexe Anfragen mit spezieller Fachterminologie.
• Große Mengen wissenschaftlicher Literatur, die durchsucht werden müssen.

Umsetzung

• Query Expansion: Der Assistent erweitert Anfragen mit verwandten Konzepten und Synonymen per LLM.
  Eine Anfrage wie „Anwendungen der Quantenverschränkung“ wird z.B. zu „Einsatz von Quantenverschränkung“, „Quantencomputing Verschränkung“, etc. ergänzt.
• Dokumenten-Reranking: Wissenschaftliche Artikel werden nach Relevanz zur verfeinerten…