LLM Gemini

Hva er LLM Gemini-komponenten?

LLM Gemini-komponenten kobler Gemini-modellene fra Google til flowen din. Mens Generatorer og Agenter er der selve magien skjer, lar LLM-komponenter deg kontrollere hvilken modell som brukes. Alle komponenter leveres med ChatGPT-4 som standard. Du kan koble til denne komponenten hvis du ønsker å endre modellen eller få mer kontroll over den.

Husk at det er valgfritt å koble til en LLM-komponent. Alle komponenter som bruker en LLM, leveres med ChatGPT-4o som standard. LLM-komponentene lar deg endre modell og kontrollere modellinnstillinger.

LLM Gemini-komponentinnstillinger

Max Tokens

Tokens representerer de individuelle enhetene av tekst som modellen prosesserer og genererer. Token-bruken varierer mellom modeller, og en enkelt token kan være alt fra ord eller delord til ett enkelt tegn. Modellene prises vanligvis i millioner av tokens.

Max tokens-innstillingen begrenser det totale antallet tokens som kan behandles i en enkelt interaksjon eller forespørsel, og sikrer at svarene genereres innenfor rimelige rammer. Standardgrensen er 4 000 tokens, som er den optimale størrelsen for å oppsummere dokumenter og flere kilder for å generere et svar.

Temperature

Temperature styrer variasjonen i svarene, og varierer fra 0 til 1.

En temperatur på 0,1 gjør svarene svært presise, men potensielt repeterende og mangelfulle.

En høy temperatur på 1 gir maksimal kreativitet i svarene, men øker risikoen for irrelevante eller til og med hallusinatoriske svar.

For eksempel anbefales en temperatur for en kundeservicebot på mellom 0,2 og 0,5. Dette nivået holder svarene relevante og tilpasset manus, samtidig som det gir mulighet for naturlig variasjon.

Modell

Dette er modellvelgeren. Her finner du alle støttede Gemini-modeller fra Google. Vi støtter alle de nyeste Gemini-modellene:

• Gemini 2.0 Flash Experimental – En avansert modell med lav ventetid, designet for agenter. Den har nye muligheter som innebygd verktøybruk, bildeoppretting og talegenerering. Se hvordan den mest avanserte Google-modellen håndterte rutineoppgaver i vår testing.
• Gemini 1.5 Flash – En lett, multimodal modell optimalisert for hastighet og effektivitet, som kan behandle lyd-, bilde-, video- og tekstinnspill, med et kontekstvindu på opptil 1 048 576 tokens. Les mer her.
• Gemini 1.5 Flash-8B – En mindre, raskere og mer kostnadseffektiv variant av 1.5 Flash-modellen, med lignende multimodale evner, 50 % lavere pris og 2x høyere ratetaks enn 1.5 Flash. Hvor god er utdataene fra den svakeste modellen? Finn ut her.
• Gemini 1.5 Pro – En mellomstor multimodal modell optimalisert for et bredt spekter av resonnementoppgaver, som kan behandle store mengder data, inkludert utvidede lyd- og videoinndata, med et inputtoken-tak på 2 097 152. Se eksempler på utdata.

Slik legger du til LLM Gemini i flowen din

Du vil merke at alle LLM-komponenter bare har et utgangshåndtak. Inndata går ikke gjennom komponenten, da den kun representerer modellen, mens selve genereringen skjer i AI-agenter og generatorer.

LLM-håndtaket er alltid lilla. LLM-inngangshåndtaket finnes på enhver komponent som bruker AI for å generere tekst eller behandle data. Du kan se alternativene ved å klikke på håndtaket:

Dette lar deg lage alle slags verktøy. La oss se komponenten i aksjon. Her er en enkel AI Agent chatbot-flow som bruker Gemini 2.0 Flash Experimental for å generere svar. Du kan tenke på det som en grunnleggende Gemini-chatbot.

Denne enkle Chatbot-flowen inkluderer:

• Chat-inndata: Representerer meldingen en bruker sender i chatten.
• Chat-historikk: Sikrer at chatboten kan huske og ta hensyn til tidligere svar.
• Chat-utdata: Representerer chatbotens endelige svar.
• AI-agent: En autonom AI-agent som genererer svar.
• LLM Gemini: Koblingen til Googles tekstgenereringsmodeller.