LLM Gemini

Čo je komponent LLM Gemini?

Komponent LLM Gemini prepája modely Gemini od Google s vaším tokom. Hoci sa skutočná mágia odohráva v Generátoroch a Agentochn, LLM komponenty vám umožňujú ovládať použitý model. Všetky komponenty majú predvolene ChatGPT-4. Tento komponent môžete pripojiť, ak si želáte zmeniť model alebo získať nad ním väčšiu kontrolu.

Pamätajte, že pripojenie LLM komponentu je voliteľné. Všetky komponenty, ktoré používajú LLM, majú predvolený model ChatGPT-4o. LLM komponenty vám umožňujú zmeniť model a ovládať jeho nastavenia.

Nastavenia komponentu LLM Gemini

Max Tokens

Tokeny predstavujú jednotlivé jednotky textu, ktoré model spracúva a generuje. Použitie tokenov sa líši podľa modelov a jeden token môže predstavovať slovo, podslovo alebo dokonca jeden znak. Modely sú zvyčajne oceňované podľa miliónov tokenov.

Nastavenie maximálneho počtu tokenov obmedzuje celkový počet tokenov, ktoré možno spracovať v jednej interakcii alebo požiadavke, čo zaručuje, že odpovede budú v rozumných medziach. Predvolený limit je 4 000 tokenov, čo je optimálna veľkosť na sumarizáciu dokumentov a viacerých zdrojov na vytvorenie odpovede.

Teplota

Teplota riadi rozmanitosť odpovedí v rozsahu od 0 do 1.

Teplota 0,1 spôsobí, že odpovede budú veľmi vecné, no môžu byť opakujúce sa a neúplné.

Vysoká teplota 1 umožňuje maximálnu kreativitu v odpovediach, no zvyšuje riziko nerelevantných či dokonca halucinačných odpovedí.

Napríklad odporúčaná teplota pre chatbot zákazníckej podpory je medzi 0,2 a 0,5. Táto úroveň by mala udržať odpovede relevantné a podľa scenára, pričom umožní prirodzenú variabilitu odpovedí.

Model

Toto je výber modelu. Nájdete tu všetky podporované modely Gemini od Google. Podporujeme všetky najnovšie Gemini modely:

• Gemini 2.0 Flash Experimental – Pokročilý model s nízkou latenciou navrhnutý pre agentov. Ponúka nové možnosti ako natívne použitie nástrojov, tvorbu obrázkov a generovanie reči. Pozrite sa, ako si najpokročilejší model od Google poradil s rutinnými úlohami v našom testovaní.
• Gemini 1.5 Flash – Ľahký multimodálny model optimalizovaný na rýchlosť a efektivitu, dokáže spracovať zvuk, obrázky, video aj textové vstupy s kontextovým oknom až 1 048 576 tokenov. Viac informácií tu.
• Gemini 1.5 Flash-8B – Menšia, rýchlejšia a cenovo efektívnejšia varianta modelu 1.5 Flash, ponúka podobné multimodálne možnosti s o 50 % nižšou cenou a 2x vyššími limitmi než 1.5 Flash. Ako dobrý je výstup najjednoduchšieho modelu? Zistite tu.
• Gemini 1.5 Pro – Stredne veľký multimodálny model optimalizovaný pre širokú škálu úloh vyžadujúcich uvažovanie, dokáže spracovať veľké množstvo dát vrátane dlhých zvukových a video vstupov, s limitom vstupných tokenov 2 097 152. Pozrite si ukážky výstupov.

Ako pridať LLM Gemini do svojho toku

Všimnete si, že všetky LLM komponenty majú len výstupný konektor. Vstup cez komponent neprechádza, pretože komponent predstavuje len model, zatiaľ čo samotné generovanie prebieha v AI Agentoch a Generátoroch.

LLM konektor je vždy fialový. Vstupný LLM konektor nájdete na každom komponente, ktorý na generovanie textu alebo spracovanie dát používa AI. Možnosti uvidíte po kliknutí na konektor:

To vám umožňuje vytvoriť rôzne typy nástrojov. Pozrime sa na komponent v akcii. Tu je jednoduchý AI Agent chatbot Flow, ktorý využíva Gemini 2.0 Flash Experimental na generovanie odpovedí. Môžete si ho predstaviť ako základný Gemini chatbot.

Tento jednoduchý Chatbot Flow obsahuje:

• Vstup z chatu: Predstavuje správu, ktorú používateľ odošle v chate.
• História chatu: Zabezpečuje, že chatbot si pamätá a zohľadňuje predchádzajúce odpovede.
• Výstup z chatu: Predstavuje finálnu odpoveď chatbota.
• AI Agent: Autonómny AI agent, ktorý generuje odpovede.
• LLM Gemini: Prepojenie s modelmi na generovanie textu od Google.