LLM xAI

Hva er LLM xAI-komponenten?

LLM xAI-komponenten kobler Grok-modellen til flowen din. Mens Generatorer og Agenter er der selve magien skjer, lar LLM-komponentene deg styre hvilken modell som brukes. Alle komponenter kommer med ChatGPT-4 som standard. Du kan koble til denne komponenten hvis du ønsker å endre modellen eller få mer kontroll over den.

Husk at det er valgfritt å koble til en LLM-komponent. Alle komponenter som bruker LLM har ChatGPT-4o som standard. LLM-komponentene lar deg endre modell og styre modellinnstillinger.

LLM xAI-komponentinnstillinger

Maks tokens

Tokens representerer de individuelle enhetene av tekst som modellen prosesserer og genererer. Token-bruken varierer mellom modeller, og én token kan være alt fra ord eller delord til ett enkelt tegn. Modeller prises vanligvis i millioner av tokens.

Innstillingen for maks tokens begrenser det totale antallet tokens som kan behandles i én enkelt interaksjon eller forespørsel, slik at svarene genereres innenfor rimelige rammer. Standardgrensen er 4 000 tokens, noe som er optimal størrelse for å oppsummere dokumenter og flere kilder for å generere et svar.

Temperatur

Temperatur styrer variasjonen i svarene, med et område fra 0 til 1.

En temperatur på 0,1 vil gjøre svarene svært presise, men potensielt repeterende og mangelfulle.

En høy temperatur på 1 gir maksimal kreativitet i svarene, men øker risikoen for irrelevante eller til og med hallusinerende svar.

For eksempel er anbefalt temperatur for en kundeservicebot mellom 0,2 og 0,5. Dette nivået gir relevante svar som følger manus, men tillater naturlig variasjon.

Modell

Dette er modellvelgeren. Her finner du alle støttede modeller fra xAI-leverandøren. xAI sin flaggskip tekstmodell heter Grok. Foreløpig støtter vi kun grok-beta-modellen, siden det er den eneste som er lansert for offentlig API-bruk.

Vil du lære mer om Grok-beta og se hvordan den sammenlignes med andre modeller? Sjekk ut denne artikkelen.

Hvordan legge til LLM xAI i flowen din

Du vil merke at alle LLM-komponenter kun har et output-håndtak. Input går ikke gjennom komponenten, da den kun representerer modellen, mens selve genereringen skjer i AI-agenter og generatorer.

LLM-håndtaket er alltid lilla. LLM input-håndtaket finner du på enhver komponent som bruker AI for å generere tekst eller behandle data. Du kan se valgene ved å klikke på håndtaket:

Dette lar deg lage alle mulige verktøy. La oss se komponenten i aksjon. Her er en enkel AI Agent chatbot-flow som bruker xAI sin grok-beta til å generere svar. Du kan tenke på det som en grunnleggende xAI-chatbot.

Denne enkle Chatbot-flowen inkluderer:

• Chat-input: Representerer meldingen en bruker sender i chatten.
• Chat-historikk: Sørger for at chatboten kan huske og ta hensyn til tidligere svar.
• Chat-output: Representerer chatbotens endelige svar.
• AI Agent: En autonom AI-agent som genererer svar.
• LLM xAI: Tilkoblingen til xAI sine tekstgenereringsmodeller.