Dokument-omrangering

Dokument-omrangering omarrangerer hentede dokumenter baseret på forespørgselsrelevans og forfiner søgeresultater. Forespørgselsudvidelse forbedrer søgningen ved at tilføje relaterede termer, hvilket øger recall og adresserer tvetydighed. Ved at kombinere disse teknikker i RAG-systemer øges både nøjagtigheden af hentning og kvaliteten af svar.

Dokument-omrangering er processen med at omarrangere hentede dokumenter baseret på deres relevans for brugerens forespørgsel. Efter et indledende hentetrin forfiner omrangeringen resultaterne ved at vurdere hvert dokuments relevans mere præcist, så de mest relevante dokumenter prioriteres.

Hvad er Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) er en avanceret ramme, der kombinerer kapaciteterne i store sprogmodeller (LLMs) med informationshentningssystemer. I RAG, når en bruger indsender en forespørgsel, henter systemet relevante dokumenter fra en stor vidensbase og fodrer disse oplysninger til LLM’en for at generere informerede og kontekstuelt nøjagtige svar. Denne tilgang forbedrer nøjagtigheden og relevansen af AI-genereret indhold ved at forankre det i faktuelle data.

Forståelse af forespørgselsudvidelse

Hvad er forespørgselsudvidelse?

Definition

Forespørgselsudvidelse er en teknik, der bruges i informationshentning for at forbedre effektiviteten af søgeforespørgsler. Det indebærer at udvide den oprindelige forespørgsel med yderligere termer eller fraser, der er semantisk relaterede. Hovedmålet er at bygge bro mellem brugerens hensigt og det sprog, der bruges i relevante dokumenter, og dermed forbedre hentningen af relevante oplysninger.

Hvordan det fungerer

I praksis kan forespørgselsudvidelse opnås gennem forskellige metoder:

• Synonymudvidelse: Inkorporering af synonymer til forespørgselstermerne for at dække forskellige udtryk for det samme begreb.
• Relaterede termer: Tilføjelse af termer, der er kontekstuelt relaterede, men ikke direkte synonymer.
• LLM-baseret udvidelse: Brug af store sprogmodeller til at generere udvidede forespørgsler ved at forudsige ord eller fraser, der er relevante for den oprindelige forespørgsel.

Ved at udvide forespørgslen kan hentningssystemet kaste et bredere net og fange dokumenter, der ellers kunne være gået tabt på grund af variationer i terminologi eller formulering.

Hvorfor er forespørgselsudvidelse vigtig i RAG-systemer?

Forbedring af recall

Recall refererer til systemets evne til at finde alle relevante dokumenter. Forespørgselsudvidelse øger recall ved at:

• Hente dokumenter, der bruger andre termer til at beskrive det samme begreb.
• Fange dokumenter, der dækker relaterede undertemaer eller bredere aspekter af forespørgslen.

Adressering af forespørgsels-tvetydighed

Brugere indsender ofte korte eller tvetydige forespørgsler. Forespørgselsudvidelse hjælper med at:

• Klargøre brugerens hensigt ved at overveje flere fortolkninger.
• Give en mere omfattende søgning ved at inkludere forskellige aspekter af emnet.

Forbedring af dokumentmatchning

Ved at inkludere yderligere relevante termer øger systemet sandsynligheden for at matche forespørgslen med dokumenter, der måske bruger et andet ordforråd, hvilket forbedrer den samlede effektivitet af hentningsprocessen.

Metoder til forespørgselsudvidelse

1. Pseudo-Relevance Feedback (PRF)

Hvad er PRF?

Pseudo-Relevance Feedback er en automatisk metode til forespørgselsudvidelse, hvor systemet antager, at de højest rangerede dokumenter fra en indledende søgning er relevante. Det udtrækker vigtige termer fra disse dokumenter for at forfine den oprindelige forespørgsel.

Hvordan PRF fungerer

• Indledende forespørgsel: Brugerens oprindelige forespørgsel udføres, og de bedste dokumenter hentes.
• Termeekstraktion: Nøgletermer fra disse dokumenter identificeres baseret på frekvens eller betydning.
• Forespørgselsforfining: Den oprindelige forespørgsel udvides med disse nøgletermer.
• Anden hentning: Den udvidede forespørgsel bruges til at udføre en ny søgning, ideelt set med mere relevante dokumenter til følge.

Fordele og ulemper

• Fordele: Forbedrer recall uden at kræve brugerinddragelse.
• Ulemper: Hvis de indledende resultater indeholder irrelevante dokumenter, kan udvidelsen inkludere vildledende termer, hvilket reducerer præcisionen.

2. LLM-baseret forespørgselsudvidelse

Udnyttelse af store sprogmodeller

Med fremskridt inden for AI kan LLM’er som GPT-3 og GPT-4 generere sofistikerede forespørgselsudvidelser ved at forstå kontekst og semantik.

Hvordan LLM-baseret udvidelse fungerer

• Hypotetisk svargenerering: LLM’en genererer et hypotetisk svar på den oprindelige forespørgsel.
• Kontekstuel udvidelse: Svaret giver yderligere kontekst og relaterede termer.
• Kombineret forespørgsel: Den oprindelige forespørgsel og LLM’ens output kombineres til en udvidet forespørgsel.

Eksempel

Oprindelig forespørgsel:
“Hvilke faktorer var de vigtigste for stigninger i omsætningen?”

LLM-genereret svar:
“I regnskabsåret bidrog flere nøglefaktorer til den betydelige stigning i virksomhedens omsætning, herunder succesfulde marketingkampagner, produktdiversificering, kundetilfredshedsinitiativer, strategisk prissætning og investeringer i teknologi.”

Udvidet forespørgsel:
“Oprindelig forespørgsel: Hvilke faktorer var de vigtigste for stigninger i omsætningen?
Hypotetisk svar: [LLM-genereret svar]”

Fordele

• Dyb forståelse: Fanger nuancerede relationer og begreber.
• Tilpasning: Skræddersyr udvidelsen til det specifikke domæne eller kontekst.

Udfordringer

• Computationsressourcer: Kan kræve betydelig processorkraft.
• Over-udvidelse: Risiko for at tilføje irrelevante eller for mange termer.

Implementering af forespørgselsudvidelse i RAG-systemer

Trin-for-trin-proces

1. Brugerforespørgsel: Systemet modtager den oprindelige forespørgsel.
2. LLM-baseret udvidelse:
   • Systemet beder LLM’en om at generere et hypotetisk svar eller relaterede forespørgsler.
   • Eksempel på prompt:
     “Giv et detaljeret svar eller relaterede forespørgsler til: [Brugerens forespørgsel]”
3. Kombiner forespørgsler:
   • Den oprindelige forespørgsel og det udvidede indhold kombineres.
   • Dette sikrer, at den udvidede forespørgsel forbliver relevant for brugerens hensigt.
4. Brug til hentning:
   • Den udvidede forespørgsel bruges til at hente dokumenter fra vidensbasen.
   • Dette kan gøres ved brug af nøgleordssøgning, semantisk søgning eller en kombination.

Fordele i RAG-systemer

• Forbedret hentning: Flere relevante dokumenter hentes, hvilket giver bedre kontekst til LLM’en.
• Forbedret brugeroplevelse: Brugere får mere nøjagtige og informative svar.

Forståelse af dokument-omrangering

Hvorfor omrangering er nødvendig

• Begrænsninger ved indledende hentning: Indledende hentningsmetoder kan baseres på brede lighedsmål, som måske ikke fanger nuanceret relevans.
• Overvindelse af støj: Forespørgselsudvidelse kan introducere mindre relevante dokumenter; omrangering filtrerer disse fra.
• Optimering af kontekst for LLM’er: Ved at give de mest relevante dokumenter forbedres kvaliteten af LLM’ens genererede svar.

Metoder til dokument-omrangering

1. Cross-Encoder-modeller

Oversigt

Cross-encoders er neurale netværksmodeller, der tager et par input (forespørgsel og dokument) og returnerer en relevansscore. I modsætning til bi-encoders, som koder forespørgsel og dokument separat, behandler cross-encoders dem sammen, hvilket muliggør en rigere interaktion mellem de to.

Hvordan cross-encoders fungerer

• Input-parring: Hvert dokument parres med forespørgslen.
• Fælles kodning: Modellen koder parret sammen og fanger interaktioner.
• Scoring: Returnerer en relevansscore for hvert dokument.
• Rangering: Dokumenterne sorteres baseret på disse scorer.

Fordele

• Høj præcision: Giver mere nøjagtige relevansvurderinger.
• Kontekstuel forståelse: Fanger komplekse relationer mellem forespørgsel og dokument.

Udfordringer

• Computationsintensiv: Kræver betydelig processorkraft, især med store mængder dokumenter.

2. ColBERT (Late Interaction-modeller)

Hvad er ColBERT?

ColBERT (Contextualized Late Interaction over BERT) er en hentningsmodel designet til at balancere effektivitet og præcision. Den bruger en sen interaktionsmekanisme, der muliggør detaljeret sammenligning mellem forespørgsels- og dokumenttokens uden store beregningsomkostninger.

Hvordan ColBERT fungerer

• Token-niveau kodning: Koder forespørgsels- og dokumenttokens separat med BERT.
• Sen interaktion: Ved scoring sammenlignes forespørgsels- og dokumenttokens med lighedsforanstaltninger.
• Effektivitet: Muliggør forudberegning af dokumentindlejringer.

Fordele

• Effektiv scoring: Hurtigere end fulde cross-encoders.
• Effektiv hentning: Bevarer høj kvalitet i hentningen.

Anvendelsesområder

• Velegnet til hentning i stor skala, hvor ressourcer er begrænsede.

3. FlashRank

Oversigt

FlashRank er et let og hurtigt omrangeringsbibliotek, der bruger avancerede cross-encoders. Det er designet til nem integration i eksisterende pipelines og forbedrer omrangeringsydelsen med minimal overhead.

Funktioner

• Brugervenlighed: Simpelt API til hurtig integration.
• Hastighed: Optimeret til hurtig omrangering.
• Nøjagtighed: Bruger effektive modeller til omrangering af høj kvalitet.

Eksempel på brug

from flashrank import Ranker, RerankRequest

query = 'What were the most important factors that contributed to increases in revenue?'

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")
rerank_request = RerankRequest(query=query, passages=documents)
results = ranker.rerank(rerank_request)

Fordele

• Forenkler omrangering: Abstraherer kompleksiteten i modelhåndtering.
• Optimerer ydeevne: Balanserer hastighed og nøjagtighed effektivt.

Implementering af dokument-omrangering i RAG-systemer

Proces

1. Indledende hentning: Brug den udvidede forespørgsel til at hente et sæt kandidater af dokumenter.
2. Omrangering: Anvend en omrangeringsmodel (f.eks. Cross-Encoder, ColBERT) for at vurdere relevansen af hvert dokument.
3. Udvælgelse: Vælg de højest rangerede dokumenter som kontekst for LLM’en.

Overvejelser

• Computationsressourcer: Omrangering kan være ressourcekrævende; find en balance mellem ydeevne og omkostning.
• Modelvalg: Vælg modeller, der matcher applikationens krav til nøjagtighed og effektivitet.
• Integration: Sørg for, at omrangering passer problemfrit ind i den eksisterende pipeline.

Kombination af forespørgselsudvidelse og dokument-omrangering i RAG

Synergi mellem forespørgselsudvidelse og omrangering

Komplementære teknikker

• Forespørgselsudvidelse udvider søgeområdet og henter flere dokumenter.
• Dokument-omrangering forfiner disse resultater og fokuserer på de mest relevante.

Fordele ved kombinationen

• Forbedret recall og præcision: Sammen forbedrer de både mængden og kvaliteten af hentede dokumenter.
• Robust hentning: Adresserer begrænsningerne ved hver metode, når de bruges alene.
• Forbedret LLM-output: Giver bedre kontekst, hvilket fører til mere nøjagtige og informative svar.

Hvordan de arbejder sammen

1. Brugerforespørgsel: Den oprindelige forespørgsel modtages.
2. Forespørgselsudvidelse: Forespørgslen udvides med metoder som LLM-baseret udvidelse, hvilket resulterer i en mere omfattende søgeforespørgsel.
3. Indledende hentning: Den udvidede forespørgsel bruges til at hente et bredt sæt dokumenter.
4. Dokument-omrangering: Omrangeringsmodeller vurderer og omarrangerer dokumenterne baseret på relevans for den oprindelige forespørgsel.
5. Kontekstlevering: De højest rangerede dokumenter gives til LLM’en som kontekst.
6. Svargenerering: LLM’en genererer et svar baseret på de mest relevante dokumenter.

Praktiske implementeringstrin

Eksempel-workflow

• Forespørgselsudvidelse med LLM:

  def expand_query(query):
      prompt = f"Provide additional related queries for: '{query}'"
      expanded_queries = llm.generate(prompt)
      expanded_query = ' '.join([query] + expanded_queries)
      return expanded_query
  

• Indledende hentning:

  documents = vector_db.retrieve_documents(expanded_query)
  

• Dokument-omrangering:

  from sentence_transformers import CrossEncoder
  cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
  pairs = [[query, doc.text] for doc in documents]
  scores = cross_encoder.predict(pairs)
  ranked_docs = [doc for _, doc in sorted(zip(scores, documents), reverse=True)]
  

• Udvælgelse af topdokumenter:

  top_documents = ranked_docs[:top_k]
  

• Svargenerering med LLM:

  context = '\n'.join([doc.text for doc in top_documents])
  prompt = f"Answer the following question using the context provided:\n\nQuestion: {query}\n\nContext:\n{context}"
  response = llm.generate(prompt)
  

Overvågning og optimering

• Ydelsesmetrikker: Mål regelmæssigt effektiviteten af hentningen ved hjælp af metrikker som præcision, recall og relevansscorer.
• Feedback-loops: Inkorporer brugerfeedback for at forbedre strategier for forespørgselsudvidelse og omrangering.
• Ressourcestyring: Optimer brugen af beregningsressourcer, fx ved at cache resultater eller begrænse antallet af omrangerede dokumenter.

Brugsscenarier og eksempler

Eksempel 1: Forbedring af AI-chatbots til kundesupport

Scenario

En virksomhed bruger en AI-chatbot til at håndtere kundeforespørgsler om deres produkter og tjenester. Kunder stiller ofte spørgsmål på forskellige måder med forskellige termer og fraser.

Udfordringer

• Varierende kundesprog og terminologi.
• Behov for nøjagtige og hurtige svar for at opretholde kundetilfredshed.

Implementering

• Forespørgselsudvidelse: Chatbotten udvider kundeforespørgsler med synonymer og relaterede termer.
  For eksempel, hvis en kunde spørger, “Hvordan kan jeg reparere min gadget?”, udvides forespørgslen til også at inkludere termer som “reparere enhed”, “fejlsøge apparat” osv.
• Dokument-omrangering: Hentede hjælpedokumenter og FAQ’er omrangeres for at prioritere de mest relevante løsninger. Cross-encoders vurderer relevansen af hvert dokument i forhold til kundens specifikke problem.

Fordele

• Forbedret nøjagtighed og relevans af svar.
• Øget kundetilfredshed og kortere supporttider.

Eksempel 2: Optimering af AI-drevne forskningsværktøjer

Scenario

Forskere bruger en AI-assistent til at finde relevante akademiske artikler, data og indsigter til deres arbejde.

Udfordringer

• Komplekse forespørgsler med specialiseret terminologi.
• Store mængder akademisk litteratur, der skal gennemgås.

Implementering

• Forespørgselsudvidelse: Assistenten bruger LLM’er til at udvide forespørgsler med relaterede begreber og synonymer.
  En forespørgsel som “kvanteindfletningsapplikationer” udvides til at inkludere “anvendelser af kvanteindfletning”, “kvantecomputing-indfletning” osv.
• Dokument-omrangering: Akademiske artikler omrangeres baseret på relevans for den forfinede