Dokumentomrangering

Dokumentomrangering omordnar hämtade dokument utifrån frågerelevans och förfinar sökresultaten. Frågeutvidgning förbättrar sökningen genom att lägga till relaterade termer, vilket ökar recall och hanterar tvetydighet. Att kombinera dessa tekniker i RAG-system ökar hämtningens noggrannhet och svarskvalitet.

Dokumentomrangering är processen att omordna hämtade dokument utifrån deras relevans för användarens fråga. Efter ett inledande hämtsteg förfinar omrangeringen resultaten genom att mer precist utvärdera varje dokuments relevans, och säkerställer att de mest relevanta dokumenten prioriteras.

Vad är Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) är ett avancerat ramverk som kombinerar kapaciteten hos stora språkmodeller (LLM) med informationshämtande system. I RAG, när en användare skickar in en fråga, hämtar systemet relevanta dokument från en omfattande kunskapsbas och matar denna information till LLM:n för att generera informerade och kontextuellt korrekta svar. Detta tillvägagångssätt förbättrar noggrannheten och relevansen i AI-genererat innehåll genom att förankra det i faktabaserad data.

Förståelse för frågeutvidgning

Vad är frågeutvidgning?

Definition

Frågeutvidgning är en teknik som används inom informationshämtning för att förbättra effektiviteten hos sökfrågor. Det innebär att den ursprungliga frågan utökas med ytterligare termer eller fraser som är semantiskt relaterade. Det primära målet är att överbrygga klyftan mellan användarens avsikt och språket som används i relevanta dokument, och därigenom förbättra hämtningen av relevant information.

Hur det fungerar

I praktiken kan frågeutvidgning uppnås genom olika metoder:

• Synonymutvidgning: Inkludera synonymer till frågetermerna för att täcka olika uttryck för samma begrepp.
• Relaterade termer: Lägga till termer som är kontextuellt relaterade men inte direkta synonymer.
• LLM-baserad utvidgning: Använda stora språkmodeller för att generera utvidgade frågor genom att förutsäga ord eller fraser som är relevanta för den ursprungliga frågan.

Genom att utvidga frågan kan hämtningstjänsten nå ett bredare urval och fånga dokument som annars hade missats på grund av variationer i terminologi eller formulering.

Varför är frågeutvidgning viktigt i RAG-system?

Förbättrad recall

Recall avser hämtningstjänstens förmåga att hitta alla relevanta dokument. Frågeutvidgning förbättrar recall genom att:

• Hämta dokument som använder olika termer för att beskriva samma begrepp.
• Fånga dokument som täcker relaterade delområden eller bredare aspekter av frågan.

Hantering av frågetvetydighet

Användare skickar ofta in korta eller tvetydiga frågor. Frågeutvidgning hjälper till att:

• Klargöra användarens avsikt genom att ta hänsyn till flera tolkningar.
• Erbjuda en mer heltäckande sökning genom att inkludera olika aspekter av ämnet.

Förbättrad dokumentmatchning

Genom att inkludera ytterligare relevanta termer ökar sannolikheten att matcha frågan med dokument som kan använda ett annorlunda ordförråd, vilket förbättrar hämtningens totala effektivitet.

Metoder för frågeutvidgning

1. Pseudo-Relevance Feedback (PRF)

Vad är PRF?

Pseudo-Relevance Feedback är en automatisk metod för frågeutvidgning där systemet antar att de topprankade dokumenten från en inledande sökning är relevanta. Det extraherar viktiga termer från dessa dokument för att förfina den ursprungliga frågan.

Hur PRF fungerar

• Inledande frågekörning: Användarens ursprungliga fråga körs och toppdokument hämtas.
• Termeextraktion: Nyckeltermer från dessa dokument identifieras baserat på frekvens eller betydelse.
• Frågeförfining: Den ursprungliga frågan utvidgas med dessa nyckeltermer.
• Andra hämtningen: Den utvidgade frågan används för en ny sökning, förhoppningsvis med fler relevanta dokument.

Fördelar och nackdelar

• Fördelar: Förbättrar recall utan att användaren behöver ingripa.
• Nackdelar: Om de första resultaten innehåller irrelevanta dokument kan utvidgningen inkludera vilseledande termer, vilket minskar precisionen.

2. LLM-baserad frågeutvidgning

Utnyttja stora språkmodeller

Med framsteg inom AI kan LLM:er som GPT-3 och GPT-4 generera sofistikerade frågeutvidgningar genom att förstå kontext och semantik.

Hur LLM-baserad utvidgning fungerar

• Hypotetisk svars­generering: LLM:n genererar ett hypotetiskt svar på den ursprungliga frågan.
• Kontextuell utvidgning: Svaret ger ytterligare kontext och relaterade termer.
• Kombinerad fråga: Den ursprungliga frågan och LLM:ns utdata kombineras till en utvidgad fråga.

Exempel

Ursprunglig fråga:
“Vilka var de viktigaste faktorerna som bidrog till ökningar i intäkter?”

LLM-genererat svar:
“Under räkenskapsåret bidrog flera nyckelfaktorer till den betydande ökningen av företagets intäkter, inklusive framgångsrika marknadsföringskampanjer, produktdiversifiering, initiativ för kundnöjdhet, strategisk prissättning och investeringar i teknik.”

Utvidgad fråga:
“Ursprunglig fråga: Vilka var de viktigaste faktorerna som bidrog till ökningar i intäkter?
Hypotetiskt svar: [LLM-genererat svar]”

Fördelar

• Djup förståelse: Fångar nyanserade relationer och begrepp.
• Anpassning: Skräddarsyr utvidgningen för det specifika området eller kontexten.

Utmaningar

• Beräkningsresurser: Kan kräva avsevärd processorkraft.
• Överutvidgning: Risk att lägga till irrelevanta eller för många termer.

Implementering av frågeutvidgning i RAG-system

Steg-för-steg-process

1. Användarfråga inmatad: Systemet tar emot användarens ursprungliga fråga.
2. LLM-baserad utvidgning:
   • Systemet instruerar LLM:n att generera ett hypotetiskt svar eller relaterade frågor.
   • Exempel på prompt:
     “Ge ett detaljerat svar eller relaterade frågor för: [Användarens fråga]”
3. Kombinera frågor:
   • Den ursprungliga frågan och det utvidgade innehållet kombineras.
   • Detta säkerställer att den utvidgade frågan förblir relevant för användarens avsikt.
4. Använd vid hämtning:
   • Den utvidgade frågan används för att hämta dokument från kunskapsbasen.
   • Detta kan göras med nyckelordssökning, semantisk sökning eller en kombination.

Fördelar i RAG-system

• Förbättrad hämtning: Fler relevanta dokument hämtas och ger bättre kontext för LLM:n.
• Förbättrad användarupplevelse: Användare får mer korrekta och informativa svar.

Förståelse för dokumentomrangering

Varför omrangering är nödvändig

• Begränsningar vid inledande hämtning: Inledande hämtmetoder kan förlita sig på breda likhetsmått som inte fångar nyanserad relevans.
• Hantera brus: Frågeutvidgning kan introducera mindre relevanta dokument; omrangering filtrerar bort dessa.
• Optimera kontext till LLM:er: Att tillhandahålla de mest relevanta dokumenten förbättrar kvaliteten på LLM:ns genererade svar.

Metoder för dokumentomrangering

1. Cross-Encoder-modeller

Översikt

Cross-encoders är neurala nätverksmodeller som tar ett par indata (fråga och dokument) och returnerar ett relevanspoäng. Till skillnad från bi-encoders, som kodar fråga och dokument separat, bearbetar cross-encoders dem gemensamt, vilket möjliggör rikare interaktion mellan de två.

Hur cross-encoders fungerar

• Indatapar: Varje dokument paras ihop med frågan.
• Gemensam kodning: Modellen kodar paret tillsammans och fångar interaktioner.
• Poängsättning: Returnerar ett relevanspoäng för varje dokument.
• Rangordning: Dokumenten sorteras efter dessa poäng.

Fördelar

• Hög precision: Ger mer exakta relevansbedömningar.
• Kontextuell förståelse: Fångar komplexa relationer mellan fråga och dokument.

Utmaningar

• Beräkningsintensiv: Kräver betydande processorkraft, särskilt för stora dokumentmängder.

2. ColBERT (Late Interaction-modeller)

Vad är ColBERT?

ColBERT (Contextualized Late Interaction over BERT) är en hämtmodell som utformats för att balansera effektivitet och prestanda. Den använder en sen interaktionsmekanism som möjliggör detaljerad jämförelse mellan fråge- och dokumenttoken utan höga beräkningskostnader.

Hur ColBERT fungerar

• Token-nivåkodning: Kodar fråga och dokumenttoken separat med BERT.
• Sen interaktion: Vid poängsättning jämförs fråge- och dokumenttoken med likhetsmått.
• Effektivitet: Möjliggör förberäkning av dokumentembeddingar.

Fördelar

• Effektiv poängsättning: Snabbare än fullständiga cross-encoders.
• Effektiv hämtning: Behåller hög hämtkvalitet.

Användningsområden

• Lämplig för storskalig hämtning där beräkningsresurser är begränsade.

3. FlashRank

Översikt

FlashRank är ett lättviktigt och snabbt omrangeringsbibliotek som använder toppmoderna cross-encoders. Det är utformat för att enkelt integreras i befintliga pipelines och förbättra omrangeringsprestandan med minimal overhead.

Funktioner

• Enkel att använda: Enkla API:er för snabb integration.
• Hastighet: Optimerad för snabb omrangering.
• Noggrannhet: Använder effektiva modeller för högkvalitativ omrangering.

Exempel på användning

from flashrank import Ranker, RerankRequest

query = 'What were the most important factors that contributed to increases in revenue?'

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")
rerank_request = RerankRequest(query=query, passages=documents)
results = ranker.rerank(rerank_request)

Fördelar

• Förenklar omrangering: Abstraherar bort modellhanteringens komplexitet.
• Optimerar prestanda: Balanserar hastighet och noggrannhet effektivt.

Implementering av dokumentomrangering i RAG-system

Process

1. Inledande hämtning: Använd den utvidgade frågan för att hämta en uppsättning kandidater.
2. Omrangering: Använd en omrangeringsmodell (t.ex. Cross-Encoder, ColBERT) för att bedöma relevansen hos varje dokument.
3. Urval: Välj de topprankade dokumenten att använda som kontext för LLM:n.

Att tänka på

• Beräkningsresurser: Omrangering kan vara resurskrävande; balans mellan prestanda och kostnad behövs.
• Modellval: Välj modeller som passar applikationens krav på noggrannhet och effektivitet.
• Integration: Säkerställ att omrangeringen passar smidigt in i den befintliga pipeline:n.

Kombinera frågeutvidgning och dokumentomrangering i RAG

Synergi mellan frågeutvidgning och omrangering

Komplementära tekniker

• Frågeutvidgning breddar sökningen och hämtar fler dokument.
• Dokumentomrangering förfinar dessa resultat och fokuserar på de mest relevanta.

Fördelar med att kombinera

• Förbättrad recall och precision: Tillsammans förbättrar de både mängden och kvaliteten på hämtade dokument.
• Robust hämtning: Hanterar begränsningarna hos varje metod när de används var för sig.
• Förbättrad LLM-utdata: Ger bättre kontext, vilket leder till mer korrekta och informativa svar.

Hur de samverkar

1. Användarfråga inmatad: Den ursprungliga frågan tas emot.
2. Frågeutvidgning: Frågan utvidgas med metoder som LLM-baserad utvidgning, vilket resulterar i en mer omfattande sökfråga.
3. Inledande hämtning: Den utvidgade frågan används för att hämta ett brett urval dokument.
4. Dokumentomrangering: Omrangeringsmodeller utvärderar och omordnar dokumenten utifrån relevans för den ursprungliga frågan.
5. Kontextleverans: De topprankade dokumenten tillhandahålls LLM:n som kontext.
6. Svarsgenerering: LLM:n genererar ett svar baserat på de mest relevanta dokumenten.

Praktiska implementeringssteg

Exempel på arbetsflöde

• Frågeutvidgning med LLM:

  def expand_query(query):
      prompt = f"Provide additional related queries for: '{query}'"
      expanded_queries = llm.generate(prompt)
      expanded_query = ' '.join([query] + expanded_queries)
      return expanded_query
  

• Inledande hämtning:

  documents = vector_db.retrieve_documents(expanded_query)
  

• Dokumentomrangering:

  from sentence_transformers import CrossEncoder
  cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
  pairs = [[query, doc.text] for doc in documents]
  scores = cross_encoder.predict(pairs)
  ranked_docs = [doc for _, doc in sorted(zip(scores, documents), reverse=True)]
  

• Urval av toppdokument:

  top_documents = ranked_docs[:top_k]
  

• Svarsgenerering med LLM:

  context = '\n'.join([doc.text for doc in top_documents])
  prompt = f"Answer the following question using the context provided:\n\nQuestion: {query}\n\nContext:\n{context}"
  response = llm.generate(prompt)
  

Uppföljning och optimering

• Prestandamått: Mät regelbundet hämtningens effektivitet med mått som precision, recall och relevanspoäng.
• Feedbackloopar: Inkludera användarfeedback för att förbättra frågeutvidgnings- och omrangeringsstrategier.
• Resurshantering: Optimera beräkningsresurser, till exempel genom att cacha resultat eller begränsa antalet omrangerade dokument.

Användningsområden och exempel

Exempel 1: Förbättring av AI-chattbotar för kundsupport

Scenario

Ett företag använder en AI-chattbot för att hantera kundfrågor om sina produkter och tjänster. Kunderna ställer ofta frågor på olika sätt med olika termer eller uttryck.

Utmaningar

• Varierande kundspråk och terminologi.
• Behov av korrekta och snabba svar för att upprätthålla kundnöjdhet.

Implementering

• Frågeutvidgning: Chattboten utvidgar kundfrågor med synonymer och relaterade termer.
  Till exempel, om en kund frågar “Hur kan jag laga min pryl?”, utvidgas frågan med termer som “reparera enhet”, “felsöka apparat” etc.
• Dokumentomrangering: Hämtade hjälpartiklar och FAQ:er omrangeras för att prioritera de mest relevanta lösningarna. Cross-encoders bedömer relevansen hos varje dokument utifrån kundens specifika problem.

Fördelar

• Förbättrad noggrannhet och relevans i svaren.
• Ökad kundnöjdhet och kortare supporttider.

Exempel 2: Optimering av AI-drivna forskningsverktyg

Scenario

Forskare använder en AI-assistent för att hitta relevanta vetenskapliga artiklar, data och insikter till sitt arbete.

Utmaningar

• Komplexa frågor med specialiserad terminologi.
• Stora mängder vetenskaplig litteratur att gå igenom.

Implementering

• Frågeutvidgning: Assistenten använder LLM:er för att utvidga frågor med relaterade begrepp och synonymer.
  En fråga som “kvantintrasslingens tillämpningar” utvidgas med “användningsområden för kvantintrassling”, “kvantdatorers intrassling” etc.
• Dokumentomrangering: Vetenskapliga artiklar omrangeras utifrån relevans för den förfinade