LLM Gemini

Hvad er LLM Gemini-komponenten?

LLM Gemini-komponenten forbinder Gemini-modellerne fra Google til dit flow. Selvom Generatorer og Agenter er der, hvor magien sker, giver LLM-komponenter dig mulighed for at styre, hvilken model der bruges. Alle komponenter kommer med ChatGPT-4 som standard. Du kan tilkoble denne komponent, hvis du ønsker at ændre modellen eller få mere kontrol over den.

Husk, at tilkobling af en LLM-komponent er valgfrit. Alle komponenter, der bruger en LLM, kommer med ChatGPT-4o som standard. LLM-komponenterne giver dig mulighed for at ændre modellen og styre modelindstillingerne.

LLM Gemini-komponentindstillinger

Max Tokens

Tokens repræsenterer de enkelte tekstdele, som modellen behandler og genererer. Tokenforbrug varierer mellem modeller, og en enkelt token kan være alt fra ord eller dele af ord til et enkelt tegn. Modeller prissættes normalt pr. million tokens.

Indstillingen for max tokens begrænser det samlede antal tokens, der kan behandles i en enkelt interaktion eller forespørgsel, og sikrer, at svarene genereres inden for rimelige grænser. Standardgrænsen er 4.000 tokens, hvilket er den optimale størrelse til at opsummere dokumenter og flere kilder for at generere et svar.

Temperatur

Temperatur styrer variationen i svarene og går fra 0 til 1.

En temperatur på 0,1 vil gøre svarene meget præcise, men potentielt gentagende og mangelfulde.

En høj temperatur på 1 tillader maksimal kreativitet i svarene, men øger risikoen for irrelevante eller endda hallucinerede svar.

For eksempel er den anbefalede temperatur for en kundeservicebot mellem 0,2 og 0,5. Dette niveau bør holde svarene relevante og til manuskriptet, samtidig med at der gives plads til naturlig variation.

Model

Dette er modelvælgeren. Her finder du alle de understøttede Gemini-modeller fra Google. Vi understøtter alle de nyeste Gemini-modeller:

• Gemini 2.0 Flash Experimental – En avanceret model med lav latenstid, designet til agenter. Den har nye funktioner såsom indbygget værktøjsbrug, billedskabelse og talegenerering. Se, hvor godt den mest avancerede Google-model klarede rutineopgaver i vores test.
• Gemini 1.5 Flash – En letvægts, multimodal model optimeret til hastighed og effektivitet, der kan behandle lyd, billeder, video og tekstinput, med et kontekstvindue på op til 1.048.576 tokens. Læs mere her.
• Gemini 1.5 Flash-8B – En mindre, hurtigere og mere omkostningseffektiv variant af 1.5 Flash-modellen, der tilbyder lignende multimodale funktioner med 50% lavere pris og 2x højere ratelimits end 1.5 Flash. Hvor god er outputtet fra den svageste model? Find ud af det her.
• Gemini 1.5 Pro – En mellemstor multimodal model optimeret til en bred vifte af ræsonnementopgaver, der kan behandle store datamængder, herunder udvidet lyd- og videoinput, med en input token-grænse på 2.097.152. Se output-eksempler.

Sådan tilføjes LLM Gemini til dit flow

Du vil bemærke, at alle LLM-komponenter kun har et output-håndtag. Input går ikke gennem komponenten, da den kun repræsenterer modellen, mens selve genereringen sker i AI-agenter og generatorer.

LLM-håndtaget er altid lilla. LLM-inputhåndtaget findes på enhver komponent, der bruger AI til at generere tekst eller behandle data. Du kan se mulighederne ved at klikke på håndtaget:

Dette giver dig mulighed for at skabe alle slags værktøjer. Lad os se komponenten i aktion. Her er et simpelt AI Agent chatbot-flow, der bruger Gemini 2.0 Flash Experimental til at generere svar. Du kan tænke på det som en basal Gemini-chatbot.

Dette simple Chatbot-flow inkluderer:

• Chat input: Repræsenterer beskeden, en bruger sender i chatten.
• Chat-historik: Sikrer, at chatbotten kan huske og tage tidligere svar i betragtning.
• Chat output: Repræsenterer chatbotens endelige svar.
• AI Agent: En autonom AI-agent, der genererer svar.
• LLM Gemini: Forbindelsen til Googles tekstgenereringsmodeller.