LLM Meta AI

Vad är LLM Meta AI-komponenten?

LLM Meta AI-komponenten ansluter Claude-familjen av modeller till ditt Flow. Medan generatorer och agenter är där den faktiska magin sker, låter LLM-komponenter dig styra vilken modell som används. Alla komponenter har ChatGPT-4 som standard. Du kan ansluta denna komponent om du vill byta modell eller få mer kontroll över den.

Kom ihåg att det är valfritt att ansluta en LLM-komponent. Alla komponenter som använder en LLM har ChatGPT-4o som standard. LLM-komponenterna gör det möjligt att byta modell och styra modellinställningar.

Inställningar för LLM Meta AI-komponenten

Maxantal tecken

Tecken (tokens) representerar de individuella enheterna av text som modellen behandlar och genererar. Antalet tecken varierar mellan modeller, och ett tecken kan vara allt från ord eller delord till enstaka tecken. Modeller prissätts vanligen i miljoner tecken.

Inställningen för maxantal tecken begränsar det totala antalet tecken som kan behandlas i en enskild interaktion eller förfrågan, vilket säkerställer att svaren genereras inom rimliga gränser. Standardgränsen är 4 000 tecken, vilket är optimalt för att sammanfatta dokument och flera källor för att generera ett svar.

Temperatur

Temperaturen styr variationen i svaren, från 0 till 1.

En temperatur på 0,1 gör svaren mycket koncisa men potentiellt repetitiva och bristfälliga.

En hög temperatur på 1 möjliggör maximal kreativitet i svaren men innebär också en risk för irrelevanta eller till och med hallucinerade svar.

Till exempel är den rekommenderade temperaturen för en kundservicebot mellan 0,2 och 0,5. Den nivån håller svaren relevanta och enligt manus men tillåter naturlig variation.

Modell

Detta är modellväljaren. Här hittar du alla modeller från Meta AI som stöds. Vi stöder Metas öppen källkod och lättviktiga Llama-modeller. Dessa modeller är designade för effektiv drift på enheter och i edge-miljöer:

• Llama 3.2 1B – 1B-modellen innehåller cirka 1,23 miljarder parametrar, med ett kontextfönster på upp till 128 000 tecken. Modellen är optimerad för uppgifter som sammanfattning, instruktionstolkning och omformulering, vilket gör den lämplig för mobila och inbyggda applikationer. Läs mer om denna modell och hur den fungerar i denna artikel.
• Llama 3.2. 3B – 3B-modellen har cirka 3,21 miljarder parametrar och ett kontextfönster på upp till 128 000 tecken. Läs mer om hur denna modell hanterar olika uppgifter.

Hur lägger man till LLM Meta AI i ditt Flow

Du kommer att märka att alla LLM-komponenter endast har ett utgångshandtag. Inmatning passerar inte genom komponenten, eftersom den endast representerar modellen, medan själva genereringen sker i AI-agenter och generatorer.

LLM-handtaget är alltid lila. LLM-inmatningshandtaget finns på alla komponenter som använder AI för att generera text eller behandla data. Du ser alternativen genom att klicka på handtaget:

Detta gör att du kan skapa alla möjliga typer av verktyg. Låt oss se komponenten i aktion. Här är ett enkelt AI Agent chatbot-flow som använder Meta AI:s Llama 3.2 1B för att generera svar. Du kan tänka på det som en grundläggande Llama-chatbot.

Detta enkla chatbot-flow består av:

• Chatinmatning: Representerar meddelandet en användare skickar i chatten.
• Chathistorik: Gör att chatboten kan minnas och ta hänsyn till tidigare svar.
• Chatutmatning: Representerar chatbotens slutgiltiga svar.
• AI-agent: En autonom AI-agent som genererar svar.
• LLM Meta AI: Anslutningen till Metas textgenereringsmodeller.