Komponenta Historie Chatu

Představte si zákazníka, který si s vaším chatbotem píše o své objednávce. Má další otázky, ale bot okamžitě zapomene, o které objednávce se mluvilo – to může vést k frustrujícímu zážitku. Abyste tomu předešli, budete chtít, aby si chatbot pamatoval historii zpráv, což je přesně úkolem této komponenty.

Držení předchozích zpráv v paměti AI však stojí tokeny. Zároveň mnoho použití Flowů paměť nevyžaduje. Proto je tato komponenta volitelná a umožňuje nastavit paměť podle vašich potřeb, aniž byste překročili rozpočet.

Co je to komponenta Historie chatu?

Komponenta Historie chatu zajišťuje, že si chatbot pamatuje stanovený počet předchozích zpráv. Umožňuje chatbotovi vést koherentní konverzaci a zároveň omezuje počet zapamatovaných zpráv a využití tokenů.

Historii chatu najdete v kategorii Paměť mezi komponentami a je volitelná:

Počet posledních zpráv

Tato volba určuje, kolik předchozích zpráv si má chatbot pamatovat. Výchozí hodnota je 5, což pokryje konverzaci kolem jednoho základního dotazu. Pokud potřebujete, aby byl bot schopen vést koherentní konverzaci déle, limit navýšte, ale nezapomeňte také navýšit nastavení Max Tokens.

Max Tokens

Každá minulá zpráva je rozložena na menší jednotky textu – tokeny, které model zpracovává pro generování relevantních a kontextových odpovědí. Nastavení Max Tokens omezuje počet tokenů použitých pro zapamatování předchozích zpráv. Využití tokenů se liší podle modelů a jeden token může představovat slovo, část slova nebo dokonce jeden znak.

Typ zprávy

Toto rozbalovací nastavení umožňuje filtrovat, které zprávy si má chatbot pamatovat: pouze zprávy od člověka, pouze zprávy od AI nebo všechny.

Jak propojit komponentu Historie chatu do vašeho flow

Historie musí být propojena s LLM a uživatelským vstupem, aby fungovala správně. Všimnete si však, že komponenta nemá příchozí konektor, ale pouze odchozí.

Výstupní typ komponenty Historie chatu je historie chatu a připojuje se ke komponentám, které vyžadují historii – tedy Promptům a Splitterům.

Například ve Flow-up questions komponentě je odpověď generována propojením LLM generátoru, kontext dodává historie chatu a vstupní text poskytuje lidský Chat Input.