Dokumenttien uudelleensijoittelu

Dokumenttien uudelleensijoittelu järjestää haetut dokumentit uudelleen kyselyn merkityksellisyyden perusteella ja tarkentaa hakutuloksia. Kyselyn laajentaminen parantaa hakua lisäämällä mukaan aiheeseen liittyviä termejä, mikä parantaa palautusta ja vähentää epäselvyyksiä. Näiden tekniikoiden yhdistäminen RAG-järjestelmissä parantaa hakutarkkuutta ja vastausten laatua.

Dokumenttien uudelleensijoittelu on prosessi, jossa haetut dokumentit järjestetään uudelleen niiden merkityksellisyyden perusteella käyttäjän kyselyyn. Ensimmäisen hakuvaiheen jälkeen uudelleensijoittelu tarkentaa tuloksia arvioimalla jokaisen dokumentin osuvuuden tarkemmin ja varmistaa, että olennaisimmat dokumentit asetetaan etusijalle.

Mitä on Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) on edistynyt kehys, joka yhdistää suurten kielimallien (LLM) ja tiedonhakujärjestelmien ominaisuudet. RAG:ssa, kun käyttäjä lähettää kyselyn, järjestelmä hakee merkityksellisiä dokumentteja laajasta tietokannasta ja syöttää tämän tiedon LLM:lle, joka tuottaa perusteltuja ja asiayhteyteen sopivia vastauksia. Tämä lähestymistapa parantaa tekoälyvastauksien tarkkuutta ja osuvuutta pohjaamalla tiedon tosiasioihin.

Kyselyn laajentamisen ymmärtäminen

Mitä on kyselyn laajentaminen?

Määritelmä

Kyselyn laajentaminen on tiedonhakutekniikka, jolla parannetaan hakukyselyjen tehokkuutta. Siinä alkuperäistä kyselyä täydennetään lisätermeillä tai -ilmauksilla, jotka ovat semanttisesti yhteydessä aiheeseen. Tavoitteena on kuroa umpeen käyttäjän aikomuksen ja merkityksellisten dokumenttien kielen välistä kuilua, jolloin olennaisen tiedon palautus paranee.

Miten se toimii

Käytännössä kyselyn laajentaminen voidaan toteuttaa useilla menetelmillä:

• Synonyymilaajennus: Otetaan mukaan kyselytermin synonyymejä kattamaan saman käsitteen eri ilmaisut.
• Aiheeseen liittyvät termit: Lisätään kontekstiin liittyviä, mutta ei suoria synonyymejä olevia termejä.
• LLM-pohjainen laajennus: Käytetään suuria kielimalleja (LLM) tuottamaan laajennettuja kyselyitä ennustamalla alkuperäiseen kyselyyn liittyviä sanoja tai ilmauksia.

Laajentamalla kyselyä hakujärjestelmä pystyy hakemaan laajemmin dokumentteja, jotka olisivat saattaneet jäädä huomaamatta terminologian tai ilmaisun vaihtelun vuoksi.

Miksi kyselyn laajentaminen on tärkeää RAG-järjestelmissä?

Palautuksen parantaminen

Palautuksella tarkoitetaan hakujärjestelmän kykyä löytää kaikki olennaiset dokumentit. Kyselyn laajentaminen parantaa palautusta:

• Hakee dokumentteja, joissa samaa käsitettä kuvataan eri termein.
• Löytää dokumentteja, jotka kattavat aiheeseen liittyviä alateemoja tai laajempia näkökulmia.

Epäselvien kyselyjen käsittely

Käyttäjät lähettävät usein lyhyitä tai epäselviä kyselyitä. Kyselyn laajentaminen auttaa:

• Selventämään käyttäjän aikomusta huomioimalla useita tulkintoja.
• Tarjoamaan kattavamman haun tuomalla esiin aihepiirin eri puolia.

Dokumenttien osuvuuden parantaminen

Lisäämällä mukaan relevantteja termejä järjestelmä kasvattaa mahdollisuutta löytää dokumentteja, joissa käytetään erilaista sanastoa, mikä parantaa hakuprosessin kokonaistehokkuutta.

Kyselyn laajentamisen menetelmät

1. Pseudo-Relevance Feedback (PRF)

Mikä on PRF?

Pseudo-Relevance Feedback on automaattinen kyselyn laajennusmenetelmä, jossa järjestelmä olettaa alkuperäisen haun parhaiten sijoittuneet dokumentit relevantiksi. Se poimii näistä dokumenteista tärkeitä termejä alkuperäisen kyselyn tarkennukseen.

Miten PRF toimii

• Alkuperäinen haku: Käyttäjän alkuperäinen kysely suoritetaan ja parhaat dokumentit haetaan.
• Termien poiminta: Näistä dokumenteista tunnistetaan keskeiset termit esiintyvyyden tai merkityksellisyyden perusteella.
• Kyselyn tarkennus: Alkuperäistä kyselyä laajennetaan näillä termeillä.
• Uusi haku: Laajennettua kyselyä käytetään uuteen hakuun, jonka pitäisi tuottaa enemmän olennaisia dokumentteja.

Hyödyt ja haitat

• Hyödyt: Parantaa palautusta ilman käyttäjän osallistumista.
• Haitat: Jos alkuperäisissä tuloksissa on epäolennaisia dokumentteja, laajennus voi sisältää harhaanjohtavia termejä ja heikentää tarkkuutta.

2. LLM-pohjainen kyselyn laajentaminen

Suurten kielimallien hyödyntäminen

Tekoälyn kehityksen myötä LLM:t kuten GPT-3 ja GPT-4 pystyvät tuottamaan kehittyneitä kyselyn laajennuksia ymmärtämällä kontekstia ja semantiikkaa.

Miten LLM-pohjainen laajennus toimii

• Hypoteettisen vastauksen luominen: LLM tuottaa hypoteettisen vastauksen alkuperäiseen kyselyyn.
• Kontekstuaalinen laajennus: Vastaus tarjoaa lisäkontekstia ja aiheeseen liittyviä termejä.
• Yhdistetty kysely: Alkuperäinen kysely ja LLM:n tuotos yhdistetään laajennetuksi kyselyksi.

Esimerkki

Alkuperäinen kysely:
“Mitkä olivat tärkeimmät tekijät, jotka vaikuttivat liikevaihdon kasvuun?”

LLM-tuotettu vastaus:
“Tilikaudella useat keskeiset tekijät vaikuttivat yrityksen liikevaihdon merkittävään kasvuun, mukaan lukien onnistuneet markkinointikampanjat, tuotevalikoiman laajentaminen, asiakastyytyväisyyden parantaminen, strateginen hinnoittelu ja investoinnit teknologiaan.”

Laajennettu kysely:
“Alkuperäinen kysely: Mitkä olivat tärkeimmät tekijät, jotka vaikuttivat liikevaihdon kasvuun?
Hypoteettinen vastaus: [LLM-tuotettu vastaus]”

Edut

• Syvällinen ymmärrys: Havaitsee vivahteikkaat suhteet ja käsitteet.
• Räätälöitävyys: Laajennus mukautuu tiettyyn toimialaan tai kontekstiin.

Haasteet

• Laskennalliset resurssit: Saattaa vaatia paljon käsittelytehoa.
• Ylilaajennus: Riski lisätä epäolennaisia tai liian monta termiä.

Kyselyn laajentamisen toteutus RAG-järjestelmissä

Vaiheittainen prosessi

1. Käyttäjän kysely: Järjestelmä vastaanottaa käyttäjän alkuperäisen kyselyn.
2. LLM-pohjainen laajennus:
   • Järjestelmä ohjaa LLM:n luomaan hypoteettisen vastauksen tai aiheeseen liittyviä kyselyitä.
   • Esimerkkikehote:
     “Anna yksityiskohtainen vastaus tai aiheeseen liittyviä kysymyksiä: [Käyttäjän kysely]”
3. Kyselyiden yhdistäminen:
   • Alkuperäinen kysely ja laajennettu sisältö yhdistetään.
   • Näin laajennettu kysely pysyy käyttäjän aikomuksen kannalta relevanttina.
4. Hakeminen:
   • Laajennettua kyselyä käytetään dokumenttien hakuun tietokannasta.
   • Tämä voidaan toteuttaa avainsanahaulla, semanttisella haulla tai niiden yhdistelmällä.

Hyödyt RAG-järjestelmissä

• Tehostettu haku: Esiin saadaan enemmän relevantteja dokumentteja, mikä tarjoaa LLM:lle paremman kontekstin.
• Parempi käyttökokemus: Käyttäjät saavat tarkempia ja perusteellisempia vastauksia.

Dokumenttien uudelleensijoittelun ymmärtäminen

Miksi uudelleensijoittelu on tarpeen

• Ensimmäisen haun rajoitukset: Alkuperäiset hakumenetelmät voivat perustua yleisiin samankaltaisuusmittareihin, jotka eivät välttämättä huomioi hienovaraisia merkityseroja.
• Melun vähentäminen: Kyselyn laajentaminen voi tuoda mukaan vähemmän relevantteja dokumentteja; uudelleensijoittelu suodattaa nämä pois.
• Kontekstin optimointi LLM:lle: Olennaisimpien dokumenttien tarjoaminen parantaa LLM:n tuottamien vastausten laatua.

Dokumenttien uudelleensijoittelumenetelmät

1. Cross-Encoder-mallit

Yleiskuvaus

Cross-encoderit ovat neuroverkkomalleja, jotka ottavat syötteeksi kysely-dokumenttiparin ja antavat ulostulona merkityksellisyyspistemäärän. Toisin kuin bi-encoderit, jotka koodaavat kyselyn ja dokumentin erikseen, cross-encoderit käsittelevät ne yhdessä, mikä mahdollistaa rikkaamman vuorovaikutuksen.

Miten cross-encoderit toimivat

• Syöteparit: Jokainen dokumentti yhdistetään kyselyyn.
• Yhteinen koodaus: Malli koodaa parin yhdessä, huomioiden vuorovaikutukset.
• Pisteytys: Antaa jokaiselle dokumentille merkityksellisyyspisteet.
• Järjestäminen: Dokumentit laitetaan järjestykseen pisteiden perusteella.

Edut

• Korkea tarkkuus: Antaa tarkempia arvioita merkityksellisyydestä.
• Kontekstuaalinen ymmärrys: Havaitsee monimutkaisia suhteita kyselyn ja dokumentin välillä.

Haasteet

• Vaatii paljon laskentatehoa: Erityisesti suurilla dokumenttijoukoilla.

2. ColBERT (Late Interaction -mallit)

Mikä on ColBERT?

ColBERT (Contextualized Late Interaction over BERT) on hakumalli, joka tasapainottaa tehokkuuden ja tarkkuuden. Se käyttää myöhäistä vuorovaikutusta, jonka avulla kyselyn ja dokumentin tokenit voidaan vertailla yksityiskohtaisesti ilman raskasta laskentaa.

Miten ColBERT toimii

• Token-tason koodaus: Kyselyn ja dokumentin tokenit koodataan erikseen BERTillä.
• Myöhäinen vuorovaikutus: Pistetyksessä vertaillaan kyselyn ja dokumentin tokeneita samankaltaisuusmittareilla.
• Tehokkuus: Mahdollistaa dokumenttien embeddingien esilaskennan.

Edut

• Tehokas pisteytys: Nopeampi kuin täydet cross-encoderit.
• Tehokas haku: Säilyttää korkean hakulaadun.

Käyttötapaukset

• Sopii suurivolyymiseen hakuun, jossa laskentaresurssit ovat rajalliset.

3. FlashRank

Yleiskuvaus

FlashRank on kevyt ja nopea uudelleensijoittelukirjasto, joka käyttää huipputason cross-encoder-malleja. Se on suunniteltu helposti integroitavaksi olemassa oleviin putkistoihin ja parantamaan uudelleensijoittelun suorituskykyä minimaalisella kuormalla.

Ominaisuudet

• Helppokäyttöisyys: Yksinkertainen API nopeaan käyttöönottoon.
• Nopeus: Optimoitu nopeaan uudelleensijoitteluun.
• Tarkkuus: Käyttää tehokkaita malleja laadukkaaseen uudelleensijoitteluun.

Esimerkkikäyttö

from flashrank import Ranker, RerankRequest

query = 'What were the most important factors that contributed to increases in revenue?'

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")
rerank_request = RerankRequest(query=query, passages=documents)
results = ranker.rerank(rerank_request)

Hyödyt

• Uudelleensijoittelun yksinkertaistaminen: Piilottaa mallien käsittelyn monimutkaisuuden.
• Suorituskyvyn optimointi: Tasapainottaa nopeuden ja tarkkuuden tehokkaasti.

Dokumenttien uudelleensijoittelun toteutus RAG-järjestelmissä

Prosessi

1. Alkuperäinen haku: Käytä laajennettua kyselyä ehdokasdokumenttien hakuun.
2. Uudelleensijoittelu: Käytä uudelleensijoittelumallia (esim. Cross-Encoder, ColBERT) arvioimaan jokaisen dokumentin merkityksellisyyttä.
3. Valinta: Valitse parhaiten sijoittuneet dokumentit LLM:n kontekstiksi.

Huomioitavaa

• Laskentateho: Uudelleensijoittelu voi viedä paljon resursseja; tasapainoile suorituksen ja kustannusten välillä.
• Mallin valinta: Valitse mallit, jotka vastaavat sovelluksen tarkkuus- ja tehokkuusvaatimuksia.
• Integraatio: Varmista, että uudelleensijoittelu sopii saumattomasti olemassa olevaan putkeen.

Kyselyn laajentamisen ja dokumenttien uudelleensijoittelun yhdistäminen RAG:ssa

Kyselyn laajentamisen ja uudelleensijoittelun synergia

Toisiaan täydentävät tekniikat

• Kyselyn laajentaminen laajentaa haun aluetta tuoden enemmän dokumentteja.
• Dokumenttien uudelleensijoittelu tarkentaa näitä tuloksia keskittyen olennaisimpiin.

Yhdistämisen hyödyt

• Parantunut palautus ja tarkkuus: Yhdessä menetelmät parantavat sekä palautettujen dokumenttien määrää että laatua.
• Vahva haku: Poistaa kummankin menetelmän yksittäiskäytön rajoitteet.
• Paremmat LLM-vastaukset: Tarjoaa paremman kontekstin, mikä johtaa tarkempiin ja informatiivisempiin vastauksiin.

Miten ne toimivat yhdessä

1. Käyttäjän kysely: Alkuperäinen kysely vastaanotetaan.
2. Kyselyn laajentaminen: Kysely laajennetaan esim. LLM-pohjaisilla menetelmillä kattavammaksi haun aiheeksi.
3. Alkuperäinen haku: Laajennettua kyselyä käytetään laajan dokumenttijoukon hakemiseen.
4. Dokumenttien uudelleensijoittelu: Uudelleensijoittelumallit arvioivat ja järjestävät dokumentit alkuperäisen kyselyn merkityksellisyyden perusteella.
5. Kontekstin tarjoaminen: Parhaiten sijoittuneet dokumentit annetaan LLM:lle kontekstiksi.
6. Vastausten generointi: LLM tuottaa vastauksen käyttäen olennaisimpia dokumentteja.

Käytännön toteutusvaiheet

Esimerkkityönkulku

• Kyselyn laajentaminen LLM:llä:

  def expand_query(query):
      prompt = f"Provide additional related queries for: '{query}'"
      expanded_queries = llm.generate(prompt)
      expanded_query = ' '.join([query] + expanded_queries)
      return expanded_query
  

• Alkuperäinen haku:

  documents = vector_db.retrieve_documents(expanded_query)
  

• Dokumenttien uudelleensijoittelu:

  from sentence_transformers import CrossEncoder
  cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
  pairs = [[query, doc.text] for doc in documents]
  scores = cross_encoder.predict(pairs)
  ranked_docs = [doc for _, doc in sorted(zip(scores, documents), reverse=True)]
  

• Parhaiden dokumenttien valinta:

  top_documents = ranked_docs[:top_k]
  

• Vastauksen generointi LLM:llä:

  context = '\n'.join([doc.text for doc in top_documents])
  prompt = f"Answer the following question using the context provided:\n\nQuestion: {query}\n\nContext:\n{context}"
  response = llm.generate(prompt)
  

Seuranta ja optimointi

• Suorituskykymittarit: Mittaa säännöllisesti hakutulosten tehokkuutta mittareilla kuten tarkkuus, palautus ja osuvuuspisteet.
• Palauteprosessit: Hyödynnä käyttäjäpalautetta kyselyn laajentamisen ja uudelleensijoittelun kehittämiseen.
• Resurssien hallinta: Optimoi laskentatehoa esimerkiksi välimuistittamalla tuloksia tai rajoittamalla uudelleensijoitettavien dokumenttien määrää.

Käyttötapaukset ja esimerkit

Esimerkki 1: AI-chatbotin tehostaminen asiakastukeen

Tilanne

Yritys käyttää tekoäly-chatbottia käsittelemään asiakaskyselyitä tuotteistaan ja palveluistaan. Asiakkaat esittävät kysymyksiä eri tavoin ja käyttävät erilaisia termejä ja ilmauksia.

Haasteet

• Vaihteleva asiakaskieli ja -terminologia.
• Tarve tarkkoihin ja nopeisiin vastauksiin asiakastyytyväisyyden ylläpitämiseksi.

Toteutus

• Kyselyn laajentaminen: Chatbot laajentaa asiakaskyselyitä lisäämällä synonyymejä ja aiheeseen liittyviä termejä.
  Esimerkiksi, jos asiakas kysyy “Miten voin korjata laitteeni?”, kyselyä laajennetaan termeillä kuten “laitteen korjaus”, “vianetsintä”, “apuvälineen huolto” jne.
• Dokumenttien uudelleensijoittelu: Haetut ohjeartikkelit ja UKK:t järjestetään uudelleen, jotta relevantit ratkaisut ovat etusijalla. Cross-encoderit arvioivat jokaisen dokumentin osuvuutta asiakkaan ongelmaan.

Hyödyt

• Tarkkuuden ja osuvuuden parantuminen vastauksissa.
• Parempi asiakastyytyväisyys ja lyhyemmät tukiprosessit.

Esimerkki 2: Tekoälypohjaisten tutkimustyökalujen optimointi

Tilanne

Tutkijat käyttävät tekoälyavustajaa löytääkseen olennaisia tieteellisiä artikkeleita, dataa ja oivalluksia työhönsä.

Haasteet

• Monimutkaiset kyselyt erikoissanastolla.
• Suuret määrät tieteellistä kirjallisuutta, joista löytää relevantti materiaali.

Toteutus

• Kyselyn laajentaminen: Avustaja käyttää LLM:iä laajentaakseen kyselyitä aiheeseen liittyvillä käsitteillä ja synonyymeillä.
  Esimerkiksi kysely “kvanttisidonnan sovellukset” laajennetaan sisältämään “kvanttisidonnan käyttö”, “kvanttilaskennan sidonta” jne.
• Dokumenttien uudelleensijoittelu: Tieteelliset artikkelit järjestetään uudelleen niiden relevanssin perusteella tarkennetulle