Co je komponenta LLM xAI?
Komponenta LLM xAI propojuje model Grok s vaším tokem. Samotné generování probíhá v Generátorech a Agentech, ale komponenty LLM vám umožňují ovládat použitý model. Všechny komponenty mají ve výchozím stavu ChatGPT-4. Pokud chcete model změnit nebo nad ním získat větší kontrolu, můžete tuto komponentu připojit.
Pamatujte, že připojení LLM komponenty je volitelné. Všechny komponenty využívající LLM mají ve výchozím stavu ChatGPT-4o. LLM komponenty vám umožňují model změnit a ovládat jeho nastavení.
Nastavení komponenty LLM xAI
Max Tokenů
Tokeny představují jednotlivé jednotky textu, které model zpracovává a generuje. Používání tokenů se liší podle modelu a jeden token může být slovo, část slova nebo i jediný znak. Modely jsou obvykle účtovány v milionech tokenů.
Nastavení maximálního počtu tokenů omezuje celkový počet tokenů, které lze zpracovat v jedné interakci nebo požadavku, což zajistí, že odpovědi budou v rozumných mezích. Výchozí limit je 4 000 tokenů, což je optimální velikost pro sumarizaci dokumentů a několika zdrojů za účelem generování odpovědi.
Teplota
Teplota ovlivňuje variabilitu odpovědí a pohybuje se od 0 do 1.
Teplota 0,1 způsobí, že odpovědi budou velmi věcné, ale mohou být opakující se a méně kvalitní.
Vysoká teplota 1 umožní maximální kreativitu odpovědí, ale zvyšuje riziko nerelevantních nebo i halucinačních odpovědí.
Doporučená teplota pro chatbota zákaznické podpory je například mezi 0,2 a 0,5. Tato úroveň zachovává relevantnost a skriptování odpovědí, ale umožňuje i přirozenou variabilitu v reakci.
Model
Toto je výběr modelu. Zde najdete všechny podporované modely od poskytovatele xAI. Vlajkovým modelem xAI pro generování textu je Grok. Momentálně podporujeme pouze model grok-beta, protože je zatím jediný zveřejněný pro veřejné API použití.
Chcete se dozvědět více o Grok-beta a zjistit, jak si vede oproti jiným modelům? Podívejte se na tento článek.
Jak přidat LLM xAI do vašeho toku
Všimnete si, že všechny komponenty LLM mají pouze výstupní konektor. Vstup přes tuto komponentu neprochází, protože zde pouze vybíráte model – samotné generování probíhá až v AI Agentech a Generátorech.
Konektor LLM je vždy fialový. Vstupní konektor LLM najdete u všech komponent, které generují text nebo zpracovávají data pomocí AI. Možnosti zobrazíte kliknutím na konektor:
To vám umožňuje tvořit různé nástroje. Podívejme se na komponentu v praxi. Zde je jednoduchý AI Agent chatbot Flow, který využívá grok-beta od xAI pro generování odpovědí. Můžete si ho představit jako základního xAI chatbota.
Tento jednoduchý Chatbot Flow obsahuje:
- Chat input: Zastupuje zprávu odeslanou uživatelem v chatu.
- Chat history: Umožňuje chatbotovi pamatovat si a zohlednit předchozí odpovědi.
- Chat output: Reprezentuje finální odpověď chatbota.
- AI Agent: Autonomní AI agent, který generuje odpovědi.
- LLM xAI: Propojení na modely generování textu xAI.
