Componenta Istoric Chat

Imaginează-ți un client care discută cu chatbot-ul tău despre comanda sa. Are întrebări suplimentare, dar botul uită imediat despre ce comandă este vorba, creând o experiență frustrantă pentru client. Pentru a preveni acest lucru, vei dori ca chatbot-ul să își amintească istoricul mesajelor, iar exact acest lucru îl face această componentă.

Totuși, păstrarea mesajelor anterioare de către AI costă tokeni. În plus, multe utilizări ale Fluxurilor nu necesită memorie. De aceea, această componentă este opțională și îți permite să limitezi memoria după nevoile tale fără a depăși bugetul.

Ce este componenta Istoric Chat?

Componenta Istoric Chat asigură că chatbot-ul își amintește un număr setat de mesaje anterioare. Permite chatbot-ului să țină o conversație coerentă, limitând în același timp numărul mesajelor memorate și utilizarea tokenilor.

Istoricul chatului se găsește în categoria Memorie a componentelor și este opțional:

Număr mesaje recente

Controlează câte mesaje anterioare ar trebui să-și amintească chatbot-ul. Valoarea implicită este 5, ceea ce ar trebui să acopere o conversație pentru orice întrebare de bază. Dacă scenariul tău necesită ca botul să mențină o conversație coerentă pentru mai mult timp, poți crește limita, dar nu uita să mărești și setarea Max Tokens.

Max Tokens

Fiecare mesaj anterior este tokenizat în unități mai mici de text, pe care modelul le folosește pentru a genera răspunsuri relevante și conștiente de context. Setarea Max Tokens limitează numărul de tokeni folosiți pentru a reține mesajele anterioare. Utilizarea tokenilor variază în funcție de model, iar un token poate reprezenta orice, de la cuvinte sau subcuvinte până la un singur caracter.

Tip mesaj

Această setare tip drop-down îți permite să filtrezi ce mesaje să fie memorate: doar mesajele umane, doar mesajele AI sau toate.

Cum conectezi componenta Istoric Chat la fluxul tău

Istoricul trebuie conectat la LLM și la inputul utilizatorului pentru a funcționa corect. Totuși, vei observa că această componentă nu are un handle de intrare, ci doar unul de ieșire.

Tipul de ieșire al componentei Istoric Chat este istoric chat, iar aceasta se conectează la componentele care solicită istoric, adică Prompturi și Splittere.

De exemplu, în componenta Întrebări suplimentare, răspunsul este furnizat prin conectarea unui generator LLM, contextul prin istoricul chat, iar textul de intrare prin Chat Input uman.