LLM Gemini

Ce este componenta LLM Gemini?

Componenta LLM Gemini conectează modelele Gemini de la Google la fluxul tău. În timp ce Generatorii și Agenții sunt locul unde se întâmplă magia propriu-zisă, componentele LLM îți permit să controlezi modelul folosit. Toate componentele vin cu ChatGPT-4 implicit. Poți conecta această componentă dacă dorești să schimbi modelul sau să ai mai mult control asupra acestuia.

Ține minte că conectarea unei componente LLM este opțională. Toate componentele care folosesc un LLM vin cu ChatGPT-4o ca opțiune implicită. Componentele LLM îți permit să schimbi modelul și să controlezi setările acestuia.

Setări pentru componenta LLM Gemini

Max Tokens

Tokenii reprezintă unități individuale de text pe care modelul le procesează și generează. Utilizarea tokenilor variază în funcție de model, iar un token poate fi orice, de la cuvinte sau sub-cuvinte până la un singur caracter. Modelele sunt de obicei taxate la milioane de tokeni.

Setarea max tokens limitează numărul total de tokeni care pot fi procesați într-o singură interacțiune sau solicitare, asigurând că răspunsurile sunt generate în limite rezonabile. Limita implicită este de 4.000 de tokeni, dimensiunea optimă pentru a rezuma documente și surse multiple pentru a genera un răspuns.

Temperature

Temperature controlează variabilitatea răspunsurilor, variind de la 0 la 1.

O temperatură de 0.1 va face răspunsurile foarte la obiect, dar potențial repetitive și deficitare.

O temperatură ridicată de 1 permite creativitate maximă în răspunsuri, dar creează riscul unor răspunsuri irelevante sau chiar halucinatorii.

De exemplu, temperatura recomandată pentru un bot de asistență clienți este între 0.2 și 0.5. Acest nivel ar trebui să păstreze răspunsurile relevante și la subiect, permițând în același timp o variație naturală a răspunsurilor.

Model

Acesta este selectorul de model. Aici vei găsi toate modelele Gemini suportate de Google. Susținem toate modelele Gemini de ultimă generație:

• Gemini 2.0 Flash Experimental – Un model avansat, low-latency, conceput pentru agenți. Dispune de capabilități noi, precum folosire nativă de instrumente, creare de imagini și generare vocală. Vezi cum a gestionat cel mai avansat model Google sarcinile de rutină în testările noastre.
• Gemini 1.5 Flash – Un model multimodal, ușor, optimizat pentru viteză și eficiență, capabil să proceseze audio, imagini, video și text, cu o fereastră de context de până la 1.048.576 tokeni. Află mai multe aici.
• Gemini 1.5 Flash-8B – O variantă mai mică, mai rapidă și mai economică a modelului 1.5 Flash, oferind capabilități multimodale similare, cu un preț cu 50% mai mic și limite de rată de două ori mai mari față de 1.5 Flash. Cât de bun e rezultatul celui mai slab model? Află aici.
• Gemini 1.5 Pro – Un model multimodal de dimensiuni medii, optimizat pentru o gamă largă de sarcini de raționament, capabil să proceseze cantități mari de date, inclusiv audio și video extins, cu un prag de input de 2.097.152 tokeni. Vezi exemple de output.

Cum adaugi LLM Gemini în fluxul tău

Vei observa că toate componentele LLM au doar un output handle. Inputul nu trece prin componentă, deoarece aceasta doar reprezintă modelul, în timp ce generarea efectivă are loc în AI Agenți și Generatoare.

Handle-ul LLM este întotdeauna mov. Input handle-ul LLM se găsește pe orice componentă care folosește AI pentru a genera text sau a procesa date. Poți vedea opțiunile făcând clic pe handle:

Aceasta îți permite să creezi tot felul de instrumente. Să vedem componenta în acțiune. Iată un flux simplu de chatbot AI Agent care folosește Gemini 2.0 Flash Experimental pentru a genera răspunsuri. Poți să îl privești ca pe un chatbot Gemini de bază.

Acest flux simplu de chatbot include:

• Input chat: Reprezintă mesajul trimis de utilizator în chat.
• Istoric chat: Asigură că chatbot-ul poate reține și lua în considerare răspunsurile anterioare.
• Output chat: Reprezintă răspunsul final al chatbot-ului.
• AI Agent: Un agent AI autonom care generează răspunsuri.
• LLM Gemini: Conexiunea către modelele de generare text ale Google.