LLM Meta AI

Hva er LLM Meta AI-komponenten?

LLM Meta AI-komponenten kobler Claude-familien av modeller til din Flow. Mens Generatorer og Agenter er der den faktiske magien skjer, lar LLM-komponentene deg kontrollere hvilken modell som brukes. Alle komponentene leveres med ChatGPT-4 som standard. Du kan koble til denne komponenten hvis du ønsker å bytte modell eller få mer kontroll over den.

Husk at det er valgfritt å koble til en LLM-komponent. Alle komponenter som bruker en LLM kommer med ChatGPT-4o som standard. LLM-komponentene lar deg bytte modell og kontrollere modellinnstillinger.

LLM Meta AI-komponentinnstillinger

Maks tokens

Tokens representerer de individuelle enhetene av tekst som modellen prosesserer og genererer. Token-bruk varierer mellom modellene, og en enkelt token kan være alt fra et ord eller del-ord til et enkelt tegn. Modeller prises vanligvis i millioner av tokens.

Innstillingen maks tokens begrenser det totale antallet tokens som kan behandles i en enkelt interaksjon eller forespørsel, slik at svarene genereres innenfor rimelige grenser. Standardgrensen er 4 000 tokens, som er optimal størrelse for å oppsummere dokumenter og flere kilder for å generere et svar.

Temperatur

Temperatur styrer variasjonen i svarene og går fra 0 til 1.

En temperatur på 0,1 gir svært presise, men potensielt repeterende og mangelfulle svar.

En høy temperatur på 1 tillater maksimal kreativitet i svarene, men øker risikoen for irrelevante eller til og med hallusinerende svar.

For eksempel anbefales en temperatur mellom 0,2 og 0,5 for en kundeservicebot. Dette nivået holder svarene relevante og til manus, samtidig som det gir naturlig variasjon.

Modell

Dette er modellvelgeren. Her finner du alle de støttede modellene fra Meta AI. Vi støtter Metas open source lette Llama-modeller. Disse modellene er designet for effektiv bruk på enheter og i kantmiljøer:

• Llama 3.2 1B – 1B-modellen inneholder omtrent 1,23 milliarder parametere, med en kontekstlengde på opptil 128 000 tokens. Modellen er optimalisert for oppgaver som oppsummering, instruksjonsfølging og omskriving, noe som gjør dem egnet for bruk på mobil og innebygde enheter. Les mer om denne modellen og hvordan den “tenker” i denne artikkelen.
• Llama 3.2. 3B – 3B-modellen har omtrent 3,21 milliarder parametere med en kontekstlengde på opptil 128 000 tokens. Les mer om hvordan denne modellen håndterer ulike oppgaver.

Hvordan legge til LLM Meta AI i din Flow

Du vil legge merke til at alle LLM-komponenter kun har en utgangshåndtak. Input går ikke gjennom komponenten, siden den kun representerer modellen, mens selve genereringen skjer i AI-agenter og generatorer.

LLM-håndtaket er alltid lilla. LLM-inngangshåndtaket finnes på enhver komponent som bruker AI til å generere tekst eller behandle data. Du kan se valgene ved å klikke på håndtaket:

Dette lar deg lage alle slags verktøy. La oss se komponenten i bruk. Her er en enkel AI-agent chatbot-flow som bruker Meta AIs Llama 3.2 1B til å generere svar. Du kan tenke på det som en grunnleggende Llama-chatbot.

Denne enkle chatbot-flowen inkluderer:

• Chat input: Representerer meldingen en bruker sender i chatten.
• Chat history: Sørger for at chatboten kan huske og ta hensyn til tidligere svar.
• Chat output: Representerer chatbotens endelige svar.
• AI Agent: En autonom AI-agent som genererer svar.
• LLM Meta AI: Tilkoblingen til Metas tekstgenereringsmodeller.