Vad är LLM Open AI-komponenten?

LLM OpenAI-komponenten kopplar ChatGPT-modeller till ditt flöde. Medan Generatorer och Agenter är där själva magin sker, låter LLM-komponenter dig styra vilken modell som används. Alla komponenter har ChatGPT-4 som standard. Du kan koppla denna komponent om du vill byta modell eller få mer kontroll över den.

Inställningar för LLM OpenAI-komponenten

Modellnamn

Detta är modellväljaren. Här hittar du alla OpenAI-modeller som FlowHunt stöder. ChatGPT erbjuder en komplett lista med modeller med olika kapacitet och prisnivåer. Att till exempel använda den mindre avancerade och äldre GPT-3.5 kostar mindre än att använda den senaste 4o, men kvaliteten och hastigheten på utdata blir sämre.

OpenAI-modeller tillgängliga i FlowHunt:

• GPT-4o – OpenAI:s senaste och mest populära modell. En multimodal modell som kan bearbeta text, bilder och ljud samt söka på webben. Läs mer här.
• GPT-4o Mini – En mindre, kostnadseffektiv version av GPT-4o som ger förbättrad prestanda jämfört med GPT-3.5 Turbo, med ett 128K kontextfönster och över 60% kostnadsreduktion. Se hur den hanterar uppgifter.
• o1 Mini – En förenklad version av o1-modellen, designad för komplexa resonemangsuppgifter och erbjuder en balans mellan prestanda och effektivitet. Se hur den presterade i våra tester.
• o1 Preview – En avancerad modell med förbättrade resonemangsförmågor, utmärker sig i komplex problemlösning, särskilt inom kodning och vetenskapligt resonemang, tillgänglig som förhandsversion. Se hur den tänker och hanterar uppgifter.
• gpt-4-vision-preview – Förhandsmodell som accepterar både text- och bildindata, stöder funktioner som JSON-läge och parallell funktionsanrop, vilket förbättrar multimodala interaktioner. Läs mer här.
• GPT-3.5 Turbo – En äldre version av GPT, utmärkt för enklare uppgifter utan att bli dyr. Se våra AI Agent-tester för att jämföra mot nyare modeller.

När du väljer rätt modell för uppgiften, överväg vilken kvalitet och hastighet som krävs. Äldre modeller är bra för att spara pengar på enkla massuppgifter och chatt. Om du genererar innehåll eller söker på webben rekommenderar vi att du väljer en nyare, mer förfinad modell.

Max antal tokens

Tokens representerar de individuella enheterna av text som modellen bearbetar och genererar. Tokenanvändningen varierar mellan modeller, och en enskild token kan vara allt från ord eller delord till ett enda tecken. Modeller prissätts vanligtvis i miljoner tokens.

Inställningen för max antal tokens begränsar det totala antalet tokens som kan bearbetas i en enskild interaktion eller begäran, vilket säkerställer att svaren genereras inom rimliga gränser. Standardgränsen är 4 000 tokens, vilket är en optimal storlek för att sammanfatta dokument och flera källor för att generera ett svar.

Temperatur

Temperaturen styr variationen i svaren och sträcker sig från 0 till 1.

En temperatur på 0,1 gör svaren mycket rakt på sak men kan bli upprepande och bristfälliga.

En hög temperatur på 1 ger maximal kreativitet i svaren men innebär risk för irrelevanta eller till och med hallucinerade svar.

Till exempel rekommenderas en temperatur mellan 0,2 och 0,5 för en kundtjänstbot. Denna nivå bör hålla svaren relevanta och enligt manus men ändå tillåta en naturlig variation i svaren.

Hur lägger man till LLM OpenAI i ditt flöde?

Du kommer märka att alla LLM-komponenter endast har ett utdatahandtag. Indata går inte genom komponenten, eftersom den endast representerar modellen medan själva genereringen sker i AI Agenter och Generatorer.

LLM-handtaget är alltid lila. LLM-indatahandtaget finns på alla komponenter som använder AI för att generera text eller bearbeta data. Du kan se alternativen genom att klicka på handtaget:

Detta gör det möjligt att skapa alla möjliga verktyg. Låt oss se komponenten i praktiken. Här är ett enkelt chattbotflöde med Agent-drivning som använder o1 Preview för att generera svar. Du kan se det som en grundläggande ChatGPT-chattbot.

Detta enkla chattbotflöde inkluderar:

• Chatindata: Representerar meddelandet som en användare skickar i chatten.
• Chatthistorik: Säkerställer att chattboten kan minnas och ta hänsyn till tidigare svar.
• Chatutdata: Representerar chattbotens slutliga svar.
• AI Agent: En autonom AI-agent som genererar svar.
• LLM OpenAI: Kopplingen till OpenAI:s textgenereringsmodeller.