Chatthistorikk-komponent

Tenk deg at en kunde chatter med chatboten din om en bestilling. De har flere spørsmål, men boten glemmer umiddelbart hvilken bestilling det gjelder, noe som skaper en frustrerende kundeopplevelse. For å forhindre dette bør chatboten huske meldingshistorikken, og det er nettopp det denne komponenten gjør.

Det å la AI huske tidligere meldinger koster imidlertid tokens. Mange bruksområder for Flows krever dessuten ikke minne. Derfor er denne komponenten valgfri og lar deg begrense minnet etter behov uten at det blir for dyrt.

Hva er Chatthistorikk-komponenten?

Chatthistorikk-komponenten sørger for at chatboten husker et visst antall tidligere meldinger. Den gjør det mulig for chatboten å holde en sammenhengende samtale samtidig som antallet huskede meldinger og tokenforbruk begrenses.

Chatthistorikk finnes i Minne-kategorien av komponenter og er valgfri:

Antall siste meldinger

Dette styrer hvor mange tidligere meldinger chatboten skal huske. Standardverdien er 5, noe som bør dekke samtaler rundt et enkelt spørsmål. Hvis din brukssituasjon krever at boten holder en sammenhengende samtale lenger, kan du øke grensen, men husk også å øke Max Tokens-innstillingen.

Maks tokens

Hver tidligere melding deles opp i mindre tekst-enheter (tokens) som modellen bruker for å generere relevante og kontekstsensitive svar. Maks Tokens-innstillingen begrenser antall tokens som brukes for å huske tidligere meldinger. Tokenforbruket varierer mellom modeller, og én token kan være alt fra et ord eller en del av et ord til et enkelt tegn.

Meldings-type

Denne nedtrekksinnstillingen lar deg filtrere hvilke meldinger som skal huskes: kun menneskemeldinger, kun AI-meldinger, eller alle.

Hvordan koble Chatthistorikk-komponenten til flyten din

Historikken må kobles til LLM-en og brukerens inndata for å fungere riktig. Du vil imidlertid merke at komponenten ikke har en innkommende kobling, bare en utgående.

Chatthistorikk-komponentens utgangstype er chatthistorikk, og den kobles til komponentene som spør etter historikk, nemlig Prompts og Splittere.

For eksempel, i komponenten for oppfølgingsspørsmål, gis svaret ved å koble til en LLM-generator, konteksten via chatthistorikk og inndatateksten via menneskelig Chat Input.