Cache Augmented Generation (CAG)

Was ist Cache Augmented Generation (CAG)?

Cache Augmented Generation (CAG) ist ein neuartiger Ansatz zur Steigerung der Leistung und Effizienz großer Sprachmodelle (LLMs), indem vorab geladenes Wissen in Form von vorab berechneten Key-Value (KV) Caches genutzt wird.

Im Gegensatz zu Retrieval Augmented Generation (RAG), das während der Inferenz externes Wissen dynamisch abruft, entfällt bei CAG der Abrufschritt vollständig, indem alles relevante Wissen direkt vor der Inferenz in das erweiterte Kontextfenster des Modells eingebettet wird. Diese Vorlade-Strategie ermöglicht es LLMs, Antworten auf Grundlage der vorab berechneten Informationen zu generieren, wodurch die Latenz deutlich reduziert und die Systemarchitektur vereinfacht wird.

Durch das Speichern des verarbeiteten Wissens in einem Key-Value-Cache stellt CAG sicher, dass das Modell sofortigen Zugriff auf den notwendigen Kontext zur Beantwortung von Anfragen hat. Dieser Ansatz ist besonders vorteilhaft in Szenarien, in denen die Wissensbasis statisch, relativ klein oder niedrige Latenz eine Priorität ist.

Wie funktioniert CAG?

CAG arbeitet in drei Hauptphasen:

1. Externes Wissen vorladen

• Alle relevanten Dokumente oder Datensätze werden vor der Inferenz in das Kontextfenster des Modells geladen.

• Der vorab geladene Inhalt wird zu einem Key-Value (KV) Cache verarbeitet, der die interne Darstellung des Wissens durch das Modell erfasst. Zum Beispiel:

  def preprocess_knowledge(model, tokenizer, prompt):
      input_ids = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
      past_key_values = DynamicCache()
      outputs = model(input_ids=input_ids, past_key_values=past_key_values, use_cache=True)
      return outputs.past_key_values
  

Dieser Schritt stellt sicher, dass das Modell direkten Zugriff auf das vorverarbeitete Wissen hat und keine Echtzeit-Abrufe notwendig sind.

2. Inferenz mit vorab berechnetem Cache

• Wenn eine Anfrage gestellt wird, wird der vorab berechnete KV-Cache mit der Anfrage kombiniert.

• Das Modell generiert eine Antwort ausschließlich auf Basis des zwischengespeicherten Wissens und der Anfrage, ohne zusätzliche Berechnungen für Wissensermittlung. Zum Beispiel:

  def generate_response(model, query, kv_cache):
      input_ids = tokenizer.encode(query, return_tensors="pt").to(model.device)
      output_ids = model(input_ids=input_ids, past_key_values=kv_cache, use_cache=True)
      return tokenizer.decode(output_ids)
  

3. Cache-Management

• Mit jeder neuen Anfrage wächst der Cache. Ein Reset-Mechanismus kürzt den Cache wieder auf seine ursprüngliche Länge, um die Leistung aufrechtzuerhalten und sicherzustellen, dass nachfolgende Anfragen im beabsichtigten Kontext evaluiert werden. Beispiel für Cache-Reset:

  def clean_up(kv_cache, original_length):
      for i in range(len(kv_cache.key_cache)):
          kv_cache.key_cache[i] = kv_cache.key_cache[i][:, :, :original_length, :]
          kv_cache.value_cache[i] = kv_cache.value_cache[i][:, :, :original_length, :]
  

Zentrale Vorteile von CAG

1. Niedrige Latenz
   Da keine Echtzeit-Abrufe notwendig sind, bietet CAG schnellere Antwortzeiten als RAG. Das ist ideal für zeitkritische Anwendungen.

2. Höhere Genauigkeit
   Durch das Vorladen aller relevanten Dokumente verarbeitet CAG einen umfassenden Datensatz, wodurch Kontextlücken und Abruffehler reduziert werden.

3. Vereinfachte Architektur
   Im Gegensatz zu RAG, das eine komplexe Abruf-Pipeline benötigt, ist die Architektur von CAG schlanker, was Systemkomplexität und Wartungsaufwand reduziert.

4. Effizienz im großen Maßstab
   Sobald das Wissen vorab geladen und zwischengespeichert ist, werden nachfolgende Anfragen mit minimalem Rechenaufwand verarbeitet, wodurch CAG für wiederholte Anfragen im selben Wissensbereich effizient wird.

Einschränkungen von CAG

1. Größe des Kontextfensters
   CAG ist auf das Kontextfenster des Modells angewiesen, um Wissen vorzuladen. Aktuelle LLMs unterstützen Kontextfenster bis zu 128.000 Token, was die Menge des vorab ladbaren Wissens begrenzt.

2. Größe der Wissensbasis
   CAG eignet sich am besten für statische und überschaubare Wissensbasen. Bei großen oder dynamischen Datensätzen könnte es schwierig werden, alle relevanten Informationen in das Kontextfenster zu laden.

3. Statisches Wissen
   CAG geht davon aus, dass die Wissensbasis während der Inferenz unverändert bleibt. Für Anwendungsfälle mit häufigen Aktualisierungen oder dynamischer Wissensintegration ist es weniger geeignet.

4. Kostenaspekte
   Große Kontextfenster erhöhen die Rechenkosten beim Vorladen, was CAG für Szenarien mit häufigen Änderungen der Wissensbasis weniger wirtschaftlich macht.

Wie wird CAG eingesetzt?

Praktische Anwendungen

CAG wird häufig in Szenarien eingesetzt, bei denen die Wissensbasis statisch, überschaubar und niedrige Latenz entscheidend ist:

• Kundensupport-Chatbots
  Beispiel: Vorladen häufiger Problemlösungs-Schritte für Softwareprodukte, um Nutzern sofortige Antworten zu bieten.
  Vorteil: Beseitigt Abruffehler und beschleunigt Antwortzeiten.

• Dokumentenanalyse
  Beispiel: Banken analysieren Quartalsberichte oder Kanzleien durchsuchen regulatorische Dokumente.
  Vorteil: Stellt konsistente und genaue Antworten sicher, indem alle relevanten Dokumente vorab geladen werden.

• Gesundheitsassistenten
  Beispiel: Medizinische Leitlinien werden vorgeladen, um Patientenanfragen zu beantworten.
  Vorteil: Wahrung der Kontinuität über mehrere Dialogrunden und Sicherstellung akkurater Referenzen.

• Bildung und Training
  Beispiel: Beantwortung häufiger Fragen in unternehmensinternen Schulungsprogrammen.
  Vorteil: Vereinfacht die Bereitstellung bei gleichzeitig konsistenten Antworten.

Vergleich mit Retrieval Augmented Generation (RAG)

Anwendungsbeispiele

CAG im Einsatz

1. HR-Systeme
   Ein Unternehmen lädt Mitarbeiter-Richtlinien vorab in das Modell. Mitarbeitende können gezielt nach Richtlinien fragen und erhalten sofort Antworten.

2. Juristische Assistenz
   Ein juristischer Assistent lädt relevante Rechtsfälle in das Kontextfenster des Modells, um schnell Antworten auf juristische Anfragen zu geben – ohne Retrieval-System.

3. Kundenservice
   Der Chatbot eines SaaS-Produkts lädt FAQs und Problemlösungsanleitungen vorab, um reibungslose und schnelle Interaktionen zu gewährleisten.

RAG für dynamische Szenarien

1. Nachrichtenaggregation
   Eine Nachrichten-App nutzt RAG, um die neuesten Artikel abzurufen und zusammenzufassen und so stets aktuelle Informationen für Nutzeranfragen bereitzustellen.

2. E-Commerce-Suche
   RAG wird eingesetzt, um Produktdetails und Verfügbarkeit aus einem großen und häufig aktualisierten Katalog abzurufen.

3. Forschungsplattformen
   Eine wissenschaftliche Plattform nutzt RAG, um relevante Publikationen und Studien aus umfangreichen externen Datenbanken zu beschaffen.

Implementierungsbeispiel: Wissen in Python vorladen

Der folgende Python-Code demonstriert, wie Wissen für CAG in ein Modell vorgeladen wird:

def preprocess_knowledge(model, tokenizer, prompt):
    input_ids = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
    past_key_values = DynamicCache()
    outputs = model(input_ids=input_ids, past_key_values=past_key_values, use_cache=True)
    return outputs.past_key_values

Dieser Vorlade-Mechanismus stellt sicher, dass das Modell Anfragen ohne externen Abruf verarbeiten kann und so eine effiziente und latenzarme Leistung erreicht.

Wann sollte CAG verwendet werden?

1. Statische Wissensbasen
   Ideal, wenn sich die Wissensbasis nur selten ändert.

2. Latenzempfindliche Anwendungen
   Geeignet für Kundensupport, Bildung oder Gesundheitssysteme, bei denen schnelle Antworten erforderlich sind.

3. Kosteneffiziente Szenarien
   Vorteilhaft, wenn das vorab geladene Wissen über mehrere Anfragen hinweg konstant bleibt und so den Rechenaufwand senkt.

CAG ist eine effiziente Alternative zu RAG für Aufgaben, die Geschwindigkeit, Einfachheit und Konsistenz erfordern. Es ist jedoch durch die Größe und statische Natur der Wissensbasis begrenzt.

Forschung zu Cache Augmented Generation (CAG)

1. Adaptive Contextual Caching for Mobile Edge Large Language Model Service

Autoren: Guangyuan Liu, Yinqiu Liu, Jiacheng Wang, Hongyang Du, Dusit Niyato, Jiawen Kang, Zehui Xiong

Diese Arbeit befasst sich mit Herausforderungen beim Einsatz großer Sprachmodelle (LLM) am mobilen Edge, wie begrenzte Rechenressourcen und hohe Abruflatenz. Vorgeschlagen wird ein Framework für Adaptive Contextual Caching (ACC), das Deep Reinforcement Learning (DRL) zur Optimierung von Cache-Ersetzungsstrategien nutzt und dabei Nutzerkontext, Dokumentenähnlichkeit und Cache-Miss-Overhead berücksichtigt. Die Experimente zeigen, dass ACC nach 11 Trainingsepisoden über 80 % Cache-Trefferquote erreicht und die Abruflatenz im Vergleich zu traditionellen Methoden um bis zu 40 % reduziert. Zudem sinkt der lokale Cache-Overhead um bis zu 55 %, was ACC für skalierbare, latenzarme LLM-Dienste in ressourcenbeschränkten Umgebungen prädestiniert. Die Arbeit hebt die Effizienzsteigerung von Edge-LLM-Systemen durch ACC hervor.
Lesen Sie die Arbeit hier

2. Towards More Economical Context-Augmented LLM Generation by Reusing Stored KV Cache

Autoren: Hanchen Li, Yuhan Liu, Yihua Cheng, Kuntai Du, Junchen Jiang

Diese Studie untersucht die Wiederverwendung von Key-Value (KV) Caches, um Vorlaufverzögerungen in LLM-Anwendungen zu reduzieren, insbesondere bei wiederkehrenden Texteingaben. Es wird geprüft, ob die Wiederverwendung von Caches auch wirtschaftlich ist, wenn öffentliche Cloud-Dienste für Speicherung und Verarbeitung genutzt werden. Die Autoren schlagen ein validiertes analytisches Modell vor, um die Cloud-Kosten (Compute, Storage, Netzwerk) für das Speichern und Wiederverwenden von KV-Caches unter verschiedenen Belastungsparametern zu bewerten. Die Studie zeigt, dass die Wiederverwendung von KV-Caches sowohl Verzögerungen als auch Cloud-Kosten bei langen Kontexten spart und so weitere Entwicklungen für wirtschaftlichere kontextaugmentierte LLM-Systeme fördert.
Lesen Sie die Arbeit hier

3. MPIC: Position-Independent Multimodal Context Caching System for Efficient MLLM Serving

Autoren: Shiju Zhao, Junhao Hu, Rongxiao Huang, Jiaqi Zheng, Guihai Chen

Diese Arbeit stellt MPIC vor, ein positionsunabhängiges Multimodal Context Caching System, das Ineffizienzen bei der Inferenz multimodaler großer Sprachmodelle (MLLM) adressiert. Traditionelle Systeme berechnen den gesamten KV-Cache selbst bei geringfügigen Kontextunterschieden neu, was zu Ineffizienzen führt. MPIC bietet ein positionsunabhängiges Caching, das KV-Caches lokal oder remote speichert und die Berechnung sowie das Laden der Caches während der Inferenz parallelisiert. Integrierte Wiederverwendungs- und Neuberechnungsmechanismen beugen Genauigkeitsverlusten vor und ermöglichen bis zu 54 % kürzere Antwortzeiten im Vergleich zu bestehenden Methoden. Die Arbeit unterstreicht das Effizienzpotenzial für multimodale LLM-Bereitstellungssysteme.
Lesen Sie die Arbeit hier