Přerovnání dokumentů

Přerovnání dokumentů přeřazuje nalezené dokumenty podle relevance k dotazu, čímž zpřesňuje výsledky vyhledávání. Rozšíření dotazu zlepšuje vyhledávání přidáním souvisejících pojmů, čímž zvyšuje úplnost a řeší nejednoznačnost. Kombinace těchto technik v systémech RAG zvyšuje přesnost získávání a kvalitu odpovědí.

Přerovnání dokumentů je proces, kdy jsou nalezené dokumenty uspořádány podle jejich relevance k dotazu uživatele. Po počátečním kroku získání dochází k zpřesnění výsledků přesnějším ohodnocením relevance každého dokumentu, což zajistí, že nejdůležitější dokumenty budou upřednostněny.

Co je Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) je pokročilý rámec, který kombinuje schopnosti velkých jazykových modelů (LLM) se systémy pro vyhledávání informací. V RAG po zadání dotazu uživatelem systém získá relevantní dokumenty z rozsáhlé znalostní báze a předá tyto informace LLM k vytvoření informovaných a kontextově přesných odpovědí. Tento přístup zvyšuje přesnost a relevanci obsahu generovaného AI tím, že jej zakotvuje ve faktických datech.

Pochopení rozšíření dotazu

Co je rozšíření dotazu?

Definice

Rozšíření dotazu je technika používaná v informačním vyhledávání ke zvýšení efektivity vyhledávacích dotazů. Spočívá v rozšíření původního dotazu o další pojmy nebo fráze, které jsou významově příbuzné. Hlavním cílem je překlenout propast mezi záměrem uživatele a jazykem používaným v relevantních dokumentech, a tím zlepšit získání potřebných informací.

Jak to funguje

V praxi lze rozšíření dotazu provádět různými metodami:

• Rozšíření o synonyma: Přidání synonym k pojmům v dotazu pro pokrytí různých vyjádření téhož konceptu.
• Související pojmy: Přidání pojmů, které jsou kontextově příbuzné, i když nejde o přímá synonyma.
• Rozšíření pomocí LLM: Využití velkých jazykových modelů k vygenerování rozšířených dotazů předpovídáním relevantních slov nebo frází.

Rozšířením dotazu může vyhledávací systém „nahodit širší síť“ a zachytit dokumenty, které by jinak kvůli rozdílům v terminologii či formulaci byly opomenuty.

Proč je rozšíření dotazu důležité v systémech RAG?

Zlepšení úplnosti (recall)

Úplnost označuje schopnost vyhledávacího systému najít všechny relevantní dokumenty. Rozšíření dotazu zlepšuje úplnost tím, že:

• Získá dokumenty, které popisují stejný koncept odlišnými pojmy.
• Zachytí dokumenty, které pokrývají související podtémata či širší aspekty dotazu.

Řešení nejednoznačnosti dotazu

Uživatelé často zadávají krátké či nejednoznačné dotazy. Rozšíření dotazu pomáhá:

• Ujasnit záměr uživatele zohledněním různých interpretací.
• Poskytnout komplexnější vyhledávání zahrnutím různých aspektů tématu.

Zlepšení shody dokumentů

Zařazením dalších relevantních pojmů se zvyšuje šance, že se dotaz shodne s dokumenty, které mohou používat odlišnou slovní zásobu, což zlepšuje celkovou účinnost vyhledávání.

Metody rozšíření dotazu

1. Pseudo-relevance feedback (PRF)

Co je PRF?

Pseudo-relevance feedback je automatická metoda rozšíření dotazu, kdy systém předpokládá, že nejvýše hodnocené dokumenty z počátečního vyhledávání jsou relevantní. Z těchto dokumentů extrahuje klíčové pojmy pro zpřesnění původního dotazu.

Jak PRF funguje

• Spuštění původního dotazu: Provede se vyhledání na základě původního dotazu a získají se špičkové dokumenty.
• Extrahování pojmů: Z těchto dokumentů se identifikují klíčová slova na základě četnosti nebo významnosti.
• Zpřesnění dotazu: Původní dotaz je rozšířen o tato klíčová slova.
• Druhé vyhledávání: Rozšířený dotaz je použit k novému vyhledání, s cílem najít více relevantních dokumentů.

Výhody a nevýhody

• Výhody: Zlepšuje úplnost bez nutnosti zásahu uživatele.
• Nevýhody: Pokud jsou mezi původními výsledky nerelevantní dokumenty, může rozšíření zahrnout zavádějící pojmy a snížit přesnost.

2. Rozšíření dotazu pomocí LLM

Využití velkých jazykových modelů

Díky pokroku v AI dokážou LLM jako GPT-3 a GPT-4 generovat sofistikovaná rozšíření dotazů díky porozumění kontextu a významu.

Jak funguje rozšíření pomocí LLM

• Generování hypotetické odpovědi: LLM vytvoří hypotetickou odpověď na původní dotaz.
• Kontextové rozšíření: Odpověď poskytne další souvislosti a související pojmy.
• Kombinovaný dotaz: Původní dotaz a výstup LLM jsou spojeny do rozšířeného dotazu.

Příklad

Původní dotaz:
„Jaké byly nejdůležitější faktory, které vedly ke zvýšení příjmů?“

Odpověď generovaná LLM:
„V daném fiskálním roce ke značnému zvýšení příjmů společnosti přispělo několik klíčových faktorů, včetně úspěšných marketingových kampaní, diverzifikace produktů, iniciativ pro spokojenost zákazníků, strategického stanovování cen a investic do technologií.“

Rozšířený dotaz:
„Původní dotaz: Jaké byly nejdůležitější faktory, které vedly ke zvýšení příjmů?
Hypotetická odpověď: [Odpověď generovaná LLM]“

Výhody

• Hluboké porozumění: Zachycuje jemné vztahy a koncepty.
• Přizpůsobení: Přizpůsobuje rozšíření konkrétní doméně nebo kontextu.

Výzvy

• Výpočetní náročnost: Může vyžadovat značný výpočetní výkon.
• Nadměrné rozšíření: Riziko přidání nerelevantních nebo příliš mnoha pojmů.

Zavedení rozšíření dotazu v systémech RAG

Krok za krokem

1. Zadání dotazu uživatelem: Systém přijme původní dotaz.
2. Rozšíření pomocí LLM:
   • Systém požádá LLM o vygenerování hypotetické odpovědi nebo souvisejících dotazů.
   • Příklad promptu:
     „Uveďte podrobnou odpověď nebo související dotazy na: [Dotaz uživatele]“
3. Kombinace dotazů:
   • Původní dotaz a rozšířený obsah jsou spojeny.
   • Zajišťuje, že rozšířený dotaz zůstává relevantní záměru uživatele.
4. Použití k vyhledání:
   • Rozšířený dotaz je použit k získání dokumentů ze znalostní báze.
   • Může být použit klíčové slovo, sémantické vyhledávání nebo kombinace.

Přínosy v systémech RAG

• Lepší vyhledávání: Získává více relevantních dokumentů, čímž poskytuje lepší kontext pro LLM.
• Lepší uživatelská zkušenost: Uživatelé dostávají přesnější a informativnější odpovědi.

Pochopení přerovnání dokumentů

Proč je přerovnání nezbytné

• Omezení počátečního získání: Počáteční metody mohou spoléhat na obecná měřítka podobnosti, která nemusí postihnout jemné nuance relevance.
• Odstranění šumu: Rozšíření dotazu může přinést méně relevantní dokumenty; přerovnání je filtruje.
• Optimalizace kontextu pro LLM: Zajištění nejrelevantnějších dokumentů zvyšuje kvalitu odpovědí generovaných LLM.

Metody přerovnání dokumentů

1. Cross-encoder modely

Přehled

Cross-encodery jsou neuronové modely, které berou dvojici vstupů (dotaz a dokument) a vracejí skóre relevance. Na rozdíl od bi-encoderů, které kódují dotaz a dokument zvlášť, cross-encodery je zpracovávají společně, což umožňuje bohatší interakci mezi nimi.

Jak cross-encodery fungují

• Párování vstupů: Každý dokument je spárován s dotazem.
• Společné kódování: Model kóduje dvojici dohromady a zachycuje interakce.
• Skórování: Výstupem je skóre relevance pro každý dokument.
• Řazení: Dokumenty jsou seřazeny podle těchto skóre.

Výhody

• Vysoká přesnost: Přináší přesnější odhady relevance.
• Kontextové porozumění: Zachytí komplexní vztahy mezi dotazem a dokumentem.

Nevýhody

• Výpočetně náročné: Vyžaduje značný výkon, zejména pro velké množství dokumentů.

2. ColBERT (modely pozdní interakce)

Co je ColBERT?

ColBERT (Contextualized Late Interaction over BERT) je retrieval model navržený pro rovnováhu mezi efektivitou a účinností. Využívá mechanismus pozdní interakce, který umožňuje detailní porovnání tokenů dotazu a dokumentu bez vysokých výpočetních nároků.

Jak ColBERT funguje

• Kódování na úrovni tokenů: Dotaz i dokument jsou zakódovány po jednotlivých tokenech pomocí BERT.
• Pozdní interakce: Při skórování jsou tokeny dotazu a dokumentu porovnávány podobnostními metrikami.
• Efektivita: Umožňuje předpočítání embeddingů dokumentů.

Výhody

• Efektivní skórování: Rychlejší než plné cross-encodery.
• Kvalitní vyhledávání: Zachovává vysokou kvalitu vyhledávání.

Využití

• Vhodné pro rozsáhlé vyhledávání při omezených zdrojích.

3. FlashRank

Přehled

FlashRank je lehká a rychlá knihovna pro přerovnání, která využívá nejmodernější cross-encodery. Je navržena pro snadnou integraci do stávajících pipeline a zlepšení výkonu přerovnání s minimální režií.

Vlastnosti

• Snadné použití: Jednoduché API pro rychlou integraci.
• Rychlost: Optimalizováno pro rychlé přerovnání.
• Přesnost: Využívá efektivní modely pro kvalitní přerovnání.

Ukázka použití

from flashrank import Ranker, RerankRequest

query = 'Jaké byly nejdůležitější faktory, které vedly ke zvýšení příjmů?'

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")
rerank_request = RerankRequest(query=query, passages=documents)
results = ranker.rerank(rerank_request)

Přínosy

• Zjednodušuje přerovnání: Abstrahuje složitost práce s modely.
• Optimalizuje výkon: Efektivně kombinuje rychlost a přesnost.

Zavedení přerovnání dokumentů v systémech RAG

Proces

1. Počáteční získání: Použijte rozšířený dotaz k získání kandidátních dokumentů.
2. Přerovnání: Aplikujte model přerovnání (např. Cross-Encoder, ColBERT) k posouzení relevance každého dokumentu.
3. Výběr: Zvolte nejvýše hodnocené dokumenty jako kontext pro LLM.

Důležité faktory

• Výpočetní zdroje: Přerovnání může být náročné; je třeba vyvážit výkon a náklady.
• Volba modelu: Vyberte modely odpovídající požadavkům na přesnost a efektivitu.
• Integrace: Zajistěte, aby přerovnání hladce zapadlo do stávající pipeline.

Kombinace rozšíření dotazu a přerovnání dokumentů v RAG

Synergie mezi rozšířením dotazu a přerovnáním

Doplňkové techniky

• Rozšíření dotazu rozšiřuje záběr vyhledávání a získává více dokumentů.
• Přerovnání dokumentů tyto výsledky zpřesňuje a soustředí se na nejrelevantnější.

Výhody kombinace

• Zlepšená úplnost a přesnost: Společně zvyšují jak množství, tak kvalitu získaných dokumentů.
• Robustní vyhledávání: Řeší omezení každé metody, pokud je použita samostatně.
• Lepší výstup LLM: Poskytují lepší kontext, což vede k přesnějším a informativnějším odpovědím.

Jak spolupracují

1. Zadání dotazu uživatelem: Přijme se původní dotaz.
2. Rozšíření dotazu: Dotaz je rozšířen např. pomocí LLM, což vede k obsáhlejšímu vyhledávacímu dotazu.
3. Počáteční získání: Rozšířený dotaz je použit k získání širší sady dokumentů.
4. Přerovnání dokumentů: Modely přerovnání hodnotí a přeřazují dokumenty podle relevance k původnímu dotazu.
5. Poskytnutí kontextu: Nejvýše hodnocené dokumenty jsou předány LLM jako kontext.
6. Generování odpovědi: LLM vytvoří odpověď na základě nejrelevantnějších dokumentů.

Praktické kroky implementace

Ukázkový workflow

• Rozšíření dotazu pomocí LLM:

  def expand_query(query):
      prompt = f"Provide additional related queries for: '{query}'"
      expanded_queries = llm.generate(prompt)
      expanded_query = ' '.join([query] + expanded_queries)
      return expanded_query
  

• Počáteční získání:

  documents = vector_db.retrieve_documents(expanded_query)
  

• Přerovnání dokumentů:

  from sentence_transformers import CrossEncoder
  cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
  pairs = [[query, doc.text] for doc in documents]
  scores = cross_encoder.predict(pairs)
  ranked_docs = [doc for _, doc in sorted(zip(scores, documents), reverse=True)]
  

• Výběr nejlepších dokumentů:

  top_documents = ranked_docs[:top_k]
  

• Generování odpovědi pomocí LLM:

  context = '\n'.join([doc.text for doc in top_documents])
  prompt = f"Answer the following question using the context provided:\n\nQuestion: {query}\n\nContext:\n{context}"
  response = llm.generate(prompt)
  

Monitorování a optimalizace

• Metriky výkonnosti: Pravidelně měřte účinnost vyhledávání pomocí metrik jako přesnost, úplnost a relevance.
• Zpětná vazba: Začleňte uživatelskou zpětnou vazbu pro vylepšení strategií rozšíření i přerovnání.
• Správa zdrojů: Optimalizujte výpočetní zdroje, např. cachováním výsledků nebo omezením počtu přerovnaných dokumentů.

Příklady využití

Příklad 1: Vylepšení AI chatbotů pro zákaznickou podporu

Scénář

Společnost používá AI chatbota k řešení dotazů zákazníků ohledně svých produktů a služeb. Zákazníci se často ptají různými způsoby a používají odlišnou terminologii či fráze.

Výzvy

• Různorodý jazyk a terminologie zákazníků.
• Potřeba přesných a rychlých odpovědí pro udržení spokojenosti.

Implementace

• Rozšíření dotazu: Chatbot rozšiřuje uživatelské dotazy o synonyma a související pojmy.
  Například pokud se zákazník zeptá „Jak opravím svůj přístroj?“, dotaz je rozšířen o výrazy jako „oprava zařízení“, „odstraňování závad spotřebiče“ atd.
• Přerovnání dokumentů: Získané články nápovědy a FAQ jsou přerovnány tak, aby byly upřednostněny nejrelevantnější řešení. Cross-encodery hodnotí relevanci každého dokumentu ke konkrétnímu problému zákazníka.

Výsledky

• Vyšší přesnost a relevance odpovědí.
• Větší spokojenost zákazníků a kratší doba řešení dotazu.

Příklad 2: Optimalizace AI nástrojů pro výzkum

Scénář

Výzkumníci používají AI asistenta k vyhledávání relevantních vědeckých článků, dat a poznatků pro svou práci.

Výzvy

• Složité dotazy se specializovanou terminologií.
• Velký objem vědecké literatury k prohledání.

Implementace

• Rozšíření dotazu: Asistent využívá LLM k rozšíření dotazů o související koncepty a synonyma.
  Dotaz jako „využití kvantového provázání“ je rozšířen o „aplikace kvantového provázání“, „kvantové počítače a provázání“ atd.
• Přerovnání dokumentů: Vědecké články jsou přerovnány podle relevance k upřesněnému…