Hvad er LLM Open AI-komponenten?

LLM OpenAI-komponenten forbinder ChatGPT-modeller til dit flow. Selvom det er Generatorerne og Agenterne, hvor den egentlige magi sker, giver LLM-komponenterne dig mulighed for at styre, hvilken model der bruges. Alle komponenter kommer som standard med ChatGPT-4. Du kan forbinde denne komponent, hvis du ønsker at ændre modellen eller få mere kontrol over den.

Indstillinger for LLM OpenAI-komponent

Modelnavn

Dette er modelvælgeren. Her finder du alle OpenAI-modeller, som FlowHunt understøtter. ChatGPT tilbyder en komplet liste over modeller med forskellige egenskaber og priser. For eksempel vil det være billigere at bruge den mindre avancerede og ældre GPT-3.5 end den nyeste 4o, men kvaliteten og hastigheden af outputtet vil lide under det.

OpenAI-modeller tilgængelige i FlowHunt:

• GPT-4o – OpenAI’s nyeste og mest populære model. En multimodal model, der kan behandle tekst, billeder og lyd samt søge på nettet. Læs mere her.
• GPT-4o Mini – En mindre, omkostningseffektiv version af GPT-4o, der leverer forbedret ydeevne i forhold til GPT-3.5 Turbo, med et 128K kontekstvindue og over 60% omkostningsreduktion. Se hvordan den klarer opgaver.
• o1 Mini – En strømlinet version af o1-modellen, designet til komplekse ræsonnementopgaver, som tilbyder en balance mellem ydeevne og effektivitet. Se hvordan den klarede sig i vores test.
• o1 Preview – En avanceret model med forbedrede ræsonnementsevner, der excellerer i komplekse problemløsningsopgaver, især inden for kodning og videnskabeligt ræsonnement, tilgængelig i forhåndsvisning. Se hvordan den tænker og løser opgaver.
• gpt-4-vision-preview – Forhåndsvisningsmodel, der accepterer både tekst og billedinput, understøtter funktioner som JSON-tilstand og parallel funktionkald, hvilket forbedrer multimodale interaktioner. Læs mere her.
• GPT-3.5 Turbo – En ældre version af GPT, god til simple opgaver uden at sprænge budgettet. Se vores AI Agent-test for at sammenligne med nyere modeller.

Når du vælger den rigtige model til opgaven, bør du tage højde for den kvalitet og hastighed, opgaven kræver. Ældre modeller er gode til at spare penge på simple masseopgaver og chat. Hvis du genererer indhold eller søger på nettet, anbefaler vi en nyere, mere raffineret model.

Maksimalt antal tokens

Tokens repræsenterer de individuelle tekst-enheder, modellen behandler og genererer. Tokenforbrug varierer mellem modeller, og et enkelt token kan være alt fra ord eller underord til et enkelt tegn. Modeller prissættes som regel pr. millioner tokens.

Indstillingen for maksimalt antal tokens begrænser det samlede antal tokens, der kan behandles i en enkelt interaktion eller forespørgsel, så svarene genereres inden for rimelige rammer. Standardgrænsen er 4.000 tokens, hvilket er den optimale størrelse til at opsummere dokumenter og flere kilder for at generere et svar.

Temperatur

Temperatur styrer variationen i svarene og spænder fra 0 til 1.

En temperatur på 0,1 gør svarene meget præcise, men potentielt gentagende og mangelfulde.

En høj temperatur på 1 giver maksimal kreativitet i svarene, men øger risikoen for irrelevante eller endda hallucinerede svar.

For eksempel anbefales en temperatur mellem 0,2 og 0,5 til en kundeservicebot. Dette niveau holder svarene relevante og inden for manuskriptet, men tillader en naturlig variation i svarene.

Sådan tilføjer du LLM OpenAI til dit flow

Du vil bemærke, at alle LLM-komponenter kun har et output-håndtag. Input går ikke gennem komponenten, da den kun repræsenterer modellen, mens selve genereringen sker i AI-agenter og Generatorer.

LLM-håndtaget er altid lilla. LLM-inputhåndtaget findes på enhver komponent, der bruger AI til at generere tekst eller behandle data. Du kan se mulighederne ved at klikke på håndtaget:

Dette giver dig mulighed for at skabe alle mulige værktøjer. Lad os se komponenten i aktion. Her er et simpelt Agent-drevet chatbot-flow, der bruger o1 Preview til at generere svar. Du kan tænke på det som en grundlæggende ChatGPT-chatbot.

Dette simple Chatbot Flow indeholder:

• Chat input: Repræsenterer beskeden, en bruger sender i chatten.
• Chat history: Sikrer, at chatbotten kan huske og tage højde for tidligere svar.
• Chat output: Repræsenterer chatbotens endelige svar.
• AI Agent: En autonom AI-agent, der genererer svar.
• LLM OpenAI: Forbindelsen til OpenAI’s tekstgenereringsmodeller.