LLM xAI

Vad är LLM xAI-komponenten?

LLM xAI-komponenten ansluter Grok-modellen till ditt flöde. Även om Generatorer och Agenter är där själva magin sker, låter LLM-komponenter dig styra vilken modell som används. Alla komponenter kommer med ChatGPT-4 som standard. Du kan ansluta den här komponenten om du vill byta modell eller få mer kontroll över den.

Kom ihåg att det är valfritt att ansluta en LLM-komponent. Alla komponenter som använder en LLM kommer med ChatGPT-4o som standard. LLM-komponenterna låter dig byta modell och styra modellens inställningar.

Inställningar för LLM xAI-komponent

Max Tokens

Tokens representerar de individuella enheterna av text som modellen bearbetar och genererar. Tokenanvändningen varierar mellan modeller, och en token kan vara allt från ord eller delord till ett enskilt tecken. Modeller prissätts vanligtvis per miljoner tokens.

Max tokens-inställningen begränsar det totala antalet tokens som kan bearbetas i en enskild interaktion eller begäran, vilket säkerställer att svaren genereras inom rimliga ramar. Standardgränsen är 4 000 tokens, vilket är en optimal storlek för att sammanfatta dokument och flera källor för att generera ett svar.

Temperatur

Temperatur styr variationen i svaren, och sträcker sig från 0 till 1.

En temperatur på 0,1 gör svaren mycket raka men potentiellt repetitiva och otillräckliga.

En hög temperatur på 1 tillåter maximal kreativitet i svaren men innebär en risk för irrelevanta eller till och med hallucinerande svar.

Till exempel rekommenderas en temperatur för en kundtjänstbot på mellan 0,2 och 0,5. Denna nivå håller svaren relevanta och till manus men möjliggör naturliga variationer.

Modell

Detta är modellväljaren. Här hittar du alla modeller från xAI-leverantören som stöds. xAI:s flaggskeppsmodell för text heter Grok. För närvarande stöder vi endast grok-beta-modellen, då det är den enda som släppts för publik API-användning.

Vill du veta mer om Grok-beta och se hur den jämförs med andra modeller? Läs den här artikeln.

Så lägger du till LLM xAI i ditt flöde

Du kommer märka att alla LLM-komponenter endast har ett utgångshandtag. Indata passerar inte genom komponenten, då den endast representerar modellen, medan själva genereringen sker i AI-agenter och generatorer.

LLM-handtaget är alltid lila. LLM-indatahandtaget finns på alla komponenter som använder AI för att generera text eller bearbeta data. Du kan se alternativen genom att klicka på handtaget:

Detta gör att du kan skapa alla möjliga verktyg. Låt oss se komponenten i praktiken. Här är ett enkelt AI-agent chatbot-flöde som använder xAI:s grok-beta för att generera svar. Du kan se det som en grundläggande xAI-chatbot.

Detta enkla chatbot-flöde innehåller:

• Chattinmatning: Representerar meddelandet som en användare skickar i chatten.
• Chatthistorik: Säkerställer att chatboten kan komma ihåg och ta hänsyn till tidigare svar.
• Chattutmatning: Representerar chatbotens slutgiltiga svar.
• AI-agent: En autonom AI-agent som genererar svar.
• LLM xAI: Anslutningen till xAI:s textgenereringsmodeller.