LLM Gemini

Co je komponenta LLM Gemini?

Komponenta LLM Gemini propojuje modely Gemini od Googlu s vaším tokem. Zatímco generátory a agenti jsou místem, kde se odehrává skutečné kouzlo, LLM komponenty vám umožňují ovládat použitý model. Všechny komponenty mají ve výchozím nastavení ChatGPT-4. Tuto komponentu můžete připojit, pokud chcete změnit model nebo získat nad ním větší kontrolu.

Pamatujte, že připojení LLM komponenty je volitelné. Všechny komponenty, které využívají LLM, mají jako výchozí model ChatGPT-4o. LLM komponenty vám umožňují změnit model a ovládat jeho nastavení.

Nastavení komponenty LLM Gemini

Max Tokens

Tokeny představují jednotlivé jednotky textu, které model zpracovává a generuje. Spotřeba tokenů se liší podle modelů; jeden token může být slovo, část slova nebo znak. Modely se obvykle účtují po milionech tokenů.

Nastavení max tokens omezuje celkový počet tokenů, které mohou být zpracovány v jedné interakci či požadavku, což zajišťuje, že odpovědi budou v rozumných mezích. Výchozí limit je 4 000 tokenů, což je optimální velikost pro sumarizaci dokumentů a více zdrojů k vytvoření odpovědi.

Teplota (Temperature)

Teplota reguluje rozmanitost odpovědí, v rozmezí od 0 do 1.

Teplota 0,1 způsobí, že odpovědi budou velmi věcné, ale mohou být opakující se a méně kreativní.

Vysoká teplota 1 umožňuje maximální kreativitu v odpovědích, ale přináší riziko nerelevantních nebo i “halucinačních” odpovědí.

Doporučená teplota pro chatboty zákaznické podpory je například mezi 0,2 a 0,5. Tato úroveň udrží odpovědi relevantní a podle scénáře, ale zároveň umožní přirozenou variabilitu.

Model

Zde vybíráte model. Najdete zde všechny podporované modely Gemini od Googlu. Podporujeme všechny nejnovější modely Gemini:

• Gemini 2.0 Flash Experimental – Pokročilý, nízkolatenční model navržený pro agenty. Nabízí nové funkce jako nativní využití nástrojů, tvorbu obrázků a generování řeči. Podívejte se, jak si nejpokročilejší Google model vedl při rutinních úlohách v našem testování.
• Gemini 1.5 Flash – Lehký multimodální model optimalizovaný pro rychlost a efektivitu, schopný zpracovávat audio, obrázky, video i textové vstupy, s kontextovým oknem až 1 048 576 tokenů. Více informací zde.
• Gemini 1.5 Flash-8B – Menší, rychlejší a cenově úspornější varianta modelu 1.5 Flash, nabízí podobné multimodální možnosti s o 50 % nižší cenou a 2x vyšším limitem požadavků než 1.5 Flash. Jak kvalitní je výstup nejslabšího modelu? Zjistíte zde.
• Gemini 1.5 Pro – Středně velký multimodální model optimalizovaný pro širokou škálu úloh vyžadujících uvažování, schopný zpracovat velké objemy dat včetně dlouhých audio a video vstupů, s limitem vstupních tokenů 2 097 152. Podívejte se na ukázky výstupů.

Jak přidat LLM Gemini do vašeho toku

Všimnete si, že všechny LLM komponenty mají pouze výstupní konektor. Vstup přes komponentu neprochází, protože ta pouze reprezentuje model, zatímco vlastní generování probíhá v AI agentech a generátorech.

Konektor LLM je vždy fialový. Vstupní konektor LLM najdete u každé komponenty, která využívá AI pro generování textu nebo zpracování dat. Možnosti uvidíte kliknutím na konektor:

To vám umožňuje vytvořit nejrůznější nástroje. Podívejme se na komponentu v akci. Zde je jednoduchý tok AI agenta-chatbota, který používá Gemini 2.0 Flash Experimental k generování odpovědí. Můžete si jej představit jako základního Gemini chatbota.

Tento jednoduchý tok chatbota obsahuje:

• Vstup chatu: Reprezentuje zprávu, kterou uživatel odešle do chatu.
• Historie chatu: Zajistí, že si chatbot pamatuje a bere v úvahu minulé odpovědi.
• Výstup chatu: Reprezentuje konečnou odpověď chatbota.
• AI agent: Autonomní AI agent, který generuje odpovědi.
• LLM Gemini: Spojení s modely pro generování textu od Googlu.