Vad är LLM Mistral-komponenten?

LLM Mistral-komponenten kopplar Mistral-modellerna till ditt flöde. Medan Generatorer och Agenter är där den faktiska magin sker, låter LLM-komponenter dig styra vilken modell som används. Alla komponenter har ChatGPT-4 som standard. Du kan koppla denna komponent om du vill byta modell eller få mer kontroll över den.

Kom ihåg att det är valfritt att koppla en LLM-komponent. Alla komponenter som använder en LLM har ChatGPT-4o som standard. LLM-komponenterna låter dig byta modell och styra modellinställningar.

Inställningar för LLM Mistral-komponenten

Max antal tokens

Tokens representerar de enskilda enheterna av text som modellen bearbetar och genererar. Token-användning varierar mellan modeller, och en enskild token kan vara allt från ord eller delord till ett enda tecken. Modeller prissätts vanligtvis i miljoner tokens.

Inställningen för max tokens begränsar det totala antalet tokens som kan bearbetas i en enskild interaktion eller begäran, vilket säkerställer att svaren genereras inom rimliga ramar. Standardgränsen är 4 000 tokens, vilket är en optimal storlek för att sammanfatta dokument och flera källor för att generera ett svar.

Temperatur

Temperatur styr variationen i svaren och går från 0 till 1.

En temperatur på 0,1 gör svaren mycket raka men potentiellt repetitiva och bristfälliga.

En hög temperatur på 1 tillåter maximal kreativitet i svaren men ökar risken för irrelevanta eller till och med hallucinerade svar.

Till exempel rekommenderas en temperatur mellan 0,2 och 0,5 för en kundtjänstbot. Denna nivå bör hålla svaren relevanta och enligt manus, samtidigt som den tillåter en naturlig variation i svaren.

Modell

Detta är modellväljaren. Här hittar du alla stödda modeller från Mistral. Vi stöder för närvarande följande modeller:

• Mistral 7B – En språkmodell med 7,3 miljarder parametrar som använder transformer-arkitektur, släppt under Apache 2.0-licensen. Trots att det är ett mindre projekt överträffar den ofta Metas Llama 2-modell. Se hur bra den presterade i våra tester.
• Mistral 8x7B (Mixtral) – Denna modell använder en sparse mixture of experts-arkitektur, bestående av åtta distinkta grupper av “experter” och totalt 46,7 miljarder parametrar. Varje token använder upp till 12,9 miljarder parametrar, vilket ger prestanda som matchar eller överträffar LLaMA 2 70B och GPT-3.5 i de flesta tester. Se exempel på utdata.
• Mistral Large – En högpresterande språkmodell med 123 miljarder parametrar och en kontextlängd på 128 000 tokens. Den är flytande på flera språk, inklusive programmeringsspråk, och uppvisar konkurrenskraftig prestanda med modeller som LLaMA 3.1 405B, särskilt i programmeringsrelaterade uppgifter. Läs mer här.

Så här lägger du till LLM Mistral i ditt flöde

Du kommer att märka att alla LLM-komponenter endast har ett utgångshandtag. Inmatning passerar inte genom komponenten, eftersom den endast representerar modellen, medan själva genereringen sker i AI-agenter och generatorer.

LLM-handtaget är alltid lila. LLM-inmatningshandtaget finns på alla komponenter som använder AI för att generera text eller bearbeta data. Du kan se alternativen genom att klicka på handtaget:

Detta låter dig skapa alla möjliga verktyg. Låt oss se komponenten i aktion. Här är ett enkelt AI Agent-chattbotflöde som använder Mistral 7B-modellen för att generera svar. Du kan se det som en grundläggande Mistral-chattbot.

Detta enkla chattbot-flöde inkluderar:

• Chattinmatning: Representerar meddelandet en användare skickar i chatten.
• Chatthistorik: Säkerställer att chattboten kan minnas och ta hänsyn till tidigare svar.
• Chattutmatning: Representerar chattbotens slutliga svar.
• AI-agent: En autonom AI-agent som genererar svar.
• LLM Mistral: Kopplingen till Mistrals textgenereringsmodeller.