Przerejestrowanie dokumentów

Przerejestrowanie dokumentów zmienia kolejność pobranych dokumentów na podstawie trafności względem zapytania, udoskonalając wyniki wyszukiwania. Rozszerzanie zapytań ulepsza wyszukiwanie poprzez dodanie powiązanych terminów, zwiększając pokrycie i rozwiązując problem niejednoznaczności. Połączenie tych technik w systemach RAG podnosi dokładność pobierania i jakość odpowiedzi.

Przerejestrowanie dokumentów to proces zmiany kolejności pobranych dokumentów na podstawie ich trafności względem zapytania użytkownika. Po wstępnym pobraniu przerejestrowanie precyzyjnie ocenia trafność każdego dokumentu, zapewniając priorytet dla najbardziej istotnych.

Czym jest Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) to zaawansowane podejście łączące możliwości dużych modeli językowych (LLM) z systemami wyszukiwania informacji. W RAG, gdy użytkownik przesyła zapytanie, system pobiera powiązane dokumenty z obszernej bazy wiedzy i przekazuje je do LLM, aby wygenerować oparte na faktach i kontekstowe odpowiedzi. Takie podejście zwiększa trafność i dokładność treści generowanych przez AI, dzięki oparciu na rzeczywistych danych.

Zrozumienie rozszerzania zapytań

Czym jest rozszerzanie zapytań?

Definicja

Rozszerzanie zapytań to technika stosowana w wyszukiwaniu informacji w celu zwiększenia efektywności zapytań. Polega na uzupełnianiu oryginalnego zapytania o dodatkowe terminy lub frazy powiązane semantycznie. Głównym celem jest zniwelowanie różnicy między intencją użytkownika a językiem stosowanym w istotnych dokumentach, co poprawia pobieranie trafnych informacji.

Jak to działa

W praktyce rozszerzanie zapytań może być realizowane różnymi metodami:

• Rozszerzanie o synonimy: Dodawanie synonimów terminów z zapytania, aby objąć różne sposoby wyrażania tej samej koncepcji.
• Terminy powiązane: Dodawanie terminów kontekstowo powiązanych, ale niebędących synonimami.
• Rozszerzanie oparte na LLM: Wykorzystanie dużych modeli językowych do generowania rozszerzonych zapytań przez przewidywanie słów lub fraz związanych z oryginalnym zapytaniem.

Dzięki rozszerzaniu zapytania system wyszukiwawczy może objąć szerszy zakres, wychwytując dokumenty, które mogłyby zostać pominięte ze względu na różnice w terminologii lub sformułowaniach.

Dlaczego rozszerzanie zapytań jest ważne w systemach RAG?

Poprawa pokrycia

Pokrycie odnosi się do zdolności systemu do znalezienia wszystkich istotnych dokumentów. Rozszerzanie zapytań zwiększa pokrycie poprzez:

• Pobieranie dokumentów używających innych terminów do opisu tej samej koncepcji.
• Wychwytywanie dokumentów omawiających powiązane podtematy lub szersze aspekty zapytania.

Rozwiązywanie niejednoznaczności zapytań

Użytkownicy często wpisują krótkie lub niejednoznaczne zapytania. Rozszerzanie zapytań pomaga w:

• Uściślaniu intencji użytkownika poprzez rozważenie różnych interpretacji.
• Zapewnieniu bardziej kompleksowego wyszukiwania przez uwzględnienie różnorodnych aspektów tematu.

Ulepszone dopasowanie dokumentów

Dzięki dodaniu dodatkowych, istotnych terminów system zwiększa prawdopodobieństwo dopasowania zapytania do dokumentów używających innych słów, co poprawia ogólną skuteczność wyszukiwania.

Metody rozszerzania zapytań

1. Pseudo-Relevance Feedback (PRF)

Czym jest PRF?

Pseudo-Relevance Feedback to automatyczna metoda rozszerzania zapytania, w której system zakłada, że najwyżej ocenione dokumenty z początkowego wyszukiwania są trafne. Wyodrębnia z nich istotne terminy, aby doprecyzować oryginalne zapytanie.

Jak działa PRF

• Wykonanie początkowego zapytania: Oryginalne zapytanie użytkownika jest realizowane, a najważniejsze dokumenty pobierane.
• Ekstrakcja terminów: Kluczowe terminy z tych dokumentów są identyfikowane na podstawie częstości lub znaczenia.
• Doprecyzowanie zapytania: Oryginalne zapytanie jest rozszerzane o te kluczowe terminy.
• Ponowne wyszukiwanie: Rozszerzone zapytanie służy do kolejnego pobrania dokumentów, co powinno przynieść bardziej trafne wyniki.

Zalety i wady

• Zalety: Zwiększa pokrycie bez konieczności angażowania użytkownika.
• Wady: Jeśli wstępne wyniki zawierają nietrafne dokumenty, rozszerzenie może obejmować mylące terminy, obniżając precyzję.

2. Rozszerzanie zapytań oparte na LLM

Wykorzystanie dużych modeli językowych

Wraz z rozwojem AI, modele LLM, takie jak GPT-3 i GPT-4, mogą generować zaawansowane rozszerzenia zapytań, rozumiejąc kontekst i semantykę.

Jak działa rozszerzanie oparte na LLM

• Generowanie hipotetycznej odpowiedzi: LLM generuje hipotetyczną odpowiedź na oryginalne zapytanie.
• Rozszerzenie kontekstowe: Odpowiedź dostarcza dodatkowego kontekstu i powiązanych terminów.
• Połączone zapytanie: Oryginalne zapytanie i wygenerowane przez LLM treści są łączone w rozszerzone zapytanie.

Przykład

Oryginalne zapytanie:
“Jakie były najważniejsze czynniki, które przyczyniły się do wzrostu przychodów?”

Odpowiedź wygenerowana przez LLM:
“W roku fiskalnym do znacznego wzrostu przychodów firmy przyczyniło się kilka kluczowych czynników, w tym skuteczne kampanie marketingowe, dywersyfikacja produktów, inicjatywy związane z satysfakcją klientów, strategiczne ustalanie cen oraz inwestycje w technologię.”

Rozszerzone zapytanie:
“Oryginalne zapytanie: Jakie były najważniejsze czynniki, które przyczyniły się do wzrostu przychodów?
Hipotetyczna odpowiedź: [Odpowiedź wygenerowana przez LLM]”

Zalety

• Głębokie zrozumienie: Wychwytuje subtelne powiązania i koncepcje.
• Dopasowanie do kontekstu: Dostosowuje rozszerzenie do konkretnej domeny lub kontekstu.

Wyzwania

• Zasoby obliczeniowe: Może wymagać znacznej mocy obliczeniowej.
• Nadmierne rozszerzenie: Ryzyko dodania zbyt wielu lub nieistotnych terminów.

Wdrażanie rozszerzania zapytań w systemach RAG

Krok po kroku

1. Wprowadzenie zapytania użytkownika: System odbiera oryginalne zapytanie użytkownika.
2. Rozszerzenie oparte na LLM:
   • System prosi LLM o wygenerowanie hipotetycznej odpowiedzi lub powiązanych zapytań.
   • Przykładowa prośba:
     “Podaj szczegółową odpowiedź lub powiązane zapytania dla: [Zapytanie użytkownika]”
3. Łączenie zapytań:
   • Oryginalne zapytanie i rozszerzona treść są łączone.
   • Zapewnia to, że rozszerzone zapytanie pozostaje zgodne z intencją użytkownika.
4. Wykorzystanie w wyszukiwaniu:
   • Rozszerzone zapytanie służy do pobierania dokumentów z bazy wiedzy.
   • Może to być wyszukiwanie słów kluczowych, wyszukiwanie semantyczne lub ich kombinacja.

Korzyści w systemach RAG

• Ulepszone pobieranie: Pobierane są bardziej trafne dokumenty, co zapewnia lepszy kontekst dla LLM.
• Lepsze doświadczenie użytkownika: Użytkownicy otrzymują dokładniejsze i bardziej informacyjne odpowiedzi.

Zrozumienie przerejestrowania dokumentów

Dlaczego przerejestrowanie jest potrzebne

• Ograniczenia początkowego pobierania: Metody początkowego pobierania mogą polegać na szerokich miarach podobieństwa, które nie zawsze wychwytują niuanse trafności.
• Redukcja szumu: Rozszerzanie zapytań może wprowadzić mniej trafne dokumenty; przerejestrowanie je filtruje.
• Optymalizacja kontekstu dla LLM: Dostarczenie najbardziej trafnych dokumentów poprawia jakość generowanych odpowiedzi przez LLM.

Metody przerejestrowania dokumentów

1. Modele Cross-Encoder

Przegląd

Cross-encodery to modele sieci neuronowych, które przyjmują parę wejściową (zapytanie i dokument) i zwracają ocenę trafności. W przeciwieństwie do bi-encoderów, które kodują zapytanie i dokument osobno, cross-encodery przetwarzają je wspólnie, umożliwiając bogatszą interakcję.

Jak działają cross-encodery

• Parowanie wejść: Każdy dokument jest łączony z zapytaniem.
• Wspólne kodowanie: Model koduje parę razem, wychwytując interakcje.
• Punktowanie: Zwraca ocenę trafności dla każdego dokumentu.
• Ranking: Dokumenty są sortowane według uzyskanych ocen.

Zalety

• Wysoka precyzja: Bardziej precyzyjna ocena trafności.
• Zrozumienie kontekstu: Wychwytuje złożone relacje między zapytaniem a dokumentem.

Wyzwania

• Wysokie wymagania obliczeniowe: Wymaga znacznej mocy obliczeniowej, zwłaszcza dla dużych zbiorów dokumentów.

2. ColBERT (Modele późnej interakcji)

Czym jest ColBERT?

ColBERT (Contextualized Late Interaction over BERT) to model wyszukiwania zaprojektowany do równoważenia efektywności i skuteczności. Stosuje mechanizm późnej interakcji, umożliwiający szczegółowe porównanie tokenów zapytania i dokumentu bez dużych kosztów obliczeniowych.

Jak działa ColBERT

• Kodowanie na poziomie tokenów: Osobne kodowanie tokenów zapytania i dokumentu przy użyciu BERT.
• Późna interakcja: Podczas punktowania porównuje tokeny zapytania i dokumentu za pomocą miar podobieństwa.
• Efektywność: Umożliwia wstępne wyliczenie wektorów dokumentów.

Zalety

• Szybkie punktowanie: Szybsze niż pełne cross-encodery.
• Skuteczność: Utrzymuje wysoką jakość pobierania.

Zastosowania

• Odpowiedni do wyszukiwania na dużą skalę, gdzie zasoby obliczeniowe są ograniczone.

3. FlashRank

Przegląd

FlashRank to lekka i szybka biblioteka do przerejestrowania, wykorzystująca najnowocześniejsze cross-encodery. Została zaprojektowana do łatwej integracji z istniejącymi pipeline’ami i poprawy jakości przerejestrowania przy minimalnym narzucie.

Cechy

• Łatwa integracja: Prosty interfejs API do szybkiego wdrożenia.
• Szybkość: Zoptymalizowana pod kątem szybkiego przerejestrowania.
• Dokładność: Wykorzystuje skuteczne modele do wysokiej jakości przerejestrowania.

Przykład użycia

from flashrank import Ranker, RerankRequest

query = 'What were the most important factors that contributed to increases in revenue?'

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")
rerank_request = RerankRequest(query=query, passages=documents)
results = ranker.rerank(rerank_request)

Korzyści

• Upraszcza przerejestrowanie: Abstrahuje złożoność obsługi modeli.
• Optymalizuje wydajność: Skutecznie równoważy szybkość i dokładność.

Wdrażanie przerejestrowania dokumentów w systemach RAG

Proces

1. Początkowe pobieranie: Użyj rozszerzonego zapytania do pobrania kandydatów na dokumenty.
2. Przerejestrowanie: Zastosuj model przerejestrowujący (np. Cross-Encoder, ColBERT) do oceny trafności każdego dokumentu.
3. Wybór: Wybierz najwyżej oceniane dokumenty jako kontekst dla LLM.

Uwagi

• Zasoby obliczeniowe: Przerejestrowanie może być kosztowne; konieczne jest równoważenie wydajności i kosztów.
• Dobór modelu: Wybierz modele odpowiadające wymaganiom aplikacji pod względem dokładności i szybkości.
• Integracja: Upewnij się, że przerejestrowanie płynnie wpisuje się w istniejący pipeline.

Łączenie rozszerzania zapytań i przerejestrowania dokumentów w RAG

Synergia między rozszerzaniem zapytań a przerejestrowaniem

Techniki uzupełniające się

• Rozszerzanie zapytań poszerza zakres wyszukiwania, pobierając więcej dokumentów.
• Przerejestrowanie dokumentów udoskonala te wyniki, skupiając się na najbardziej trafnych.

Korzyści z połączenia

• Lepsze pokrycie i precyzja: Razem zwiększają zarówno ilość, jak i jakość pobranych dokumentów.
• Solidne pobieranie: Niwelują ograniczenia każdej z metod stosowanych osobno.
• Lepsze wyniki LLM: Zapewniają lepszy kontekst, prowadząc do trafniejszych i bogatszych odpowiedzi.

Jak to działa razem

1. Wprowadzenie zapytania użytkownika: Odbierane jest oryginalne zapytanie.
2. Rozszerzanie zapytania: Zapytanie jest rozszerzane metodami takimi jak LLM, tworząc bardziej kompleksowe zapytanie.
3. Początkowe pobieranie: Rozszerzone zapytanie służy do pobrania szerokiego zestawu dokumentów.
4. Przerejestrowanie dokumentów: Modele przerejestrowujące oceniają i zmieniają kolejność dokumentów pod kątem trafności względem oryginalnego zapytania.
5. Dostarczenie kontekstu: Najwyżej ocenione dokumenty są przekazywane LLM jako kontekst.
6. Generowanie odpowiedzi: LLM generuje odpowiedź na podstawie najbardziej trafnych dokumentów.

Praktyczne kroki wdrożenia

Przykładowy workflow

• Rozszerzanie zapytania z LLM:

  def expand_query(query):
      prompt = f"Provide additional related queries for: '{query}'"
      expanded_queries = llm.generate(prompt)
      expanded_query = ' '.join([query] + expanded_queries)
      return expanded_query
  

• Początkowe pobieranie:

  documents = vector_db.retrieve_documents(expanded_query)
  

• Przerejestrowanie dokumentów:

  from sentence_transformers import CrossEncoder
  cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
  pairs = [[query, doc.text] for doc in documents]
  scores = cross_encoder.predict(pairs)
  ranked_docs = [doc for _, doc in sorted(zip(scores, documents), reverse=True)]
  

• Wybór najlepszych dokumentów:

  top_documents = ranked_docs[:top_k]
  

• Generowanie odpowiedzi z LLM:

  context = '\n'.join([doc.text for doc in top_documents])
  prompt = f"Answer the following question using the context provided:\n\nQuestion: {query}\n\nContext:\n{context}"
  response = llm.generate(prompt)
  

Monitorowanie i optymalizacja

• Metryki wydajności: Regularnie mierz skuteczność pobierania, korzystając z miar takich jak precyzja, pokrycie i oceny trafności.
• Pętle zwrotne: Uwzględniaj opinie użytkowników, aby usprawniać strategie rozszerzania zapytań i przerejestrowania.
• Zarządzanie zasobami: Optymalizuj zużycie zasobów, np. przez cache’owanie wyników lub ograniczenie liczby przerejestrowanych dokumentów.

Przykłady użycia i zastosowania

Przykład 1: Udoskonalanie chatbotów AI do obsługi klienta

Scenariusz

Firma wykorzystuje chatbota AI do obsługi zapytań klientów dotyczących produktów i usług. Klienci często zadają pytania na różne sposoby, używając różnych terminologii lub fraz.

Wyzwania

• Zmienność języka i terminologii klientów.
• Potrzeba szybkich i precyzyjnych odpowiedzi, by utrzymać satysfakcję klienta.

Wdrożenie

• Rozszerzanie zapytań: Chatbot rozszerza zapytania klientów o synonimy i powiązane terminy.
  Przykładowo, jeśli klient pyta: “Jak mogę naprawić swój gadżet?”, zapytanie jest rozszerzane o terminy takie jak “naprawa urządzenia”, “rozwiązywanie problemów ze sprzętem” itd.
• Przerejestrowanie dokumentów: Pobierane artykuły pomocy i FAQ są przerejestrowywane, by priorytetyzować najbardziej trafne rozwiązania. Cross-encodery oceniają trafność każdego dokumentu względem konkretnego problemu klienta.

Korzyści

• Wyższa dokładność i trafność odpowiedzi.
• Zwiększenie satysfakcji klienta i skrócenie czasu rozwiązywania problemów.

Przykład 2: Optymalizacja narzędzi badawczych opartych na AI

Scenariusz

Naukowcy korzystają z asystenta AI do wyszukiwania odpowiednich artykułów naukowych, danych i wniosków do swoich badań.

Wyzwania

• Złożone zapytania ze specjalistyczną terminologią.
• Duże ilości literatury naukowej do przejrzenia.

Wdrożenie

• Rozszerzanie zapytań: Asystent wykorzystuje LLM do poszerzania zapytań o powiązane koncepcje i synonimy.
  Zapytanie takie jak “zastosowania splątania kwantowego” jest rozszerzane o “wykorzystanie splątania kwantowego”, “splątanie kwantowe w informatyce kwantowej” itd.
• Przerejestrowanie dokumentów: Artykuły naukowe są przerejestrowywane pod kątem trafności do doprecyzowanego…