Chat Historik Komponent

Forestil dig en kunde, der chatter med din chatbot om sin ordre. Kunden har flere spørgsmål, men botten glemmer straks, hvilken ordre der tales om, hvilket skaber en frustrerende kundeoplevelse. For at undgå dette, bør chatbotten kunne huske beskedhistorikken – og det er præcis, hvad denne komponent gør.

Dog koster det tokens at lade AI’en huske tidligere beskeder. Desuden kræver mange anvendelser af Flows ikke hukommelse. Derfor er denne komponent valgfri og gør det muligt at begrænse hukommelsen efter dine behov uden at sprænge budgettet.

Hvad er Chat Historik-komponenten?

Chat Historik-komponenten sikrer, at chatbotten husker et bestemt antal tidligere beskeder. Den gør det muligt for chatbotten at føre en sammenhængende samtale, samtidig med at antallet af huskede beskeder og token-forbruget begrænses.

Chat historik findes i Hukommelse-kategorien af komponenter og er valgfri:

Antal Seneste Beskeder

Denne indstilling styrer, hvor mange tidligere beskeder chatbotten skal huske. Standardværdien er 5, hvilket bør dække samtalen omkring enhver basal forespørgsel. Hvis dit use case kræver, at botten skal føre en længere sammenhængende samtale, kan du øge grænsen – men husk også at justere Max Tokens-indstillingen.

Maks. Tokens

Hver tidligere besked opdeles i mindre tekst-enheder (tokens), som modellen bruger til at generere relevante og kontekstbevidste svar. Max Tokens-indstillingen begrænser antallet af tokens, der bruges til at huske tidligere beskeder. Token-forbrug varierer mellem modeller, og en enkelt token kan være alt fra ord eller delord til et enkelt tegn.

Beskedtype

Denne dropdown-indstilling lader dig filtrere, hvilke beskeder der skal huskes: kun menneskelige beskeder, kun AI-beskeder eller alle.

Sådan tilkobles Chat Historik-komponenten til dit flow

Historikken skal forbindes til LLM’en og brugerinputtet for at kunne fungere korrekt. Du vil dog bemærke, at komponenten ikke har et indgående handle, kun et udgående.

Chat Historik-komponentens output-type er chat historik, og den forbindes til komponenter, der efterspørger historik – nemlig Prompts og Splitters.

For eksempel, i Opfølgende spørgsmål-komponenten, leveres svaret ved at forbinde en LLM-generator, konteksten via chat historik, og input-teksten via menneskelig Chat Input.