Hva er LLM Open AI-komponenten?

LLM OpenAI-komponenten kobler ChatGPT-modeller til din flow. Selv om det er i Generatorer og Agenter den faktiske magien skjer, lar LLM-komponentene deg kontrollere hvilken modell som brukes. Alle komponenter kommer med ChatGPT-4 som standard. Du kan koble til denne komponenten hvis du ønsker å endre modellen eller få mer kontroll over den.

LLM OpenAI-komponentinnstillinger

Modellnavn

Dette er modellvelgeren. Her finner du alle OpenAI-modellene FlowHunt støtter. ChatGPT tilbyr en full liste med modeller med ulike evner og priser. For eksempel vil bruk av den mindre avanserte og eldre GPT-3.5 koste mindre enn å bruke den nyeste 4o, men kvaliteten og hastigheten på utdataene vil lide.

OpenAI-modeller tilgjengelig i FlowHunt:

• GPT-4o – OpenAIs nyeste og mest populære modell. En multimodal modell som kan prosessere tekst, bilder og lyd og søke på nettet. Les mer her.
• GPT-4o Mini – En mindre, kostnadseffektiv versjon av GPT-4o, som gir forbedret ytelse over GPT-3.5 Turbo, med et 128K kontektstvindu og over 60 % kostnadsreduksjon. Se hvordan den håndterer oppgaver.
• o1 Mini – En strømlinjeformet versjon av o1-modellen, designet for komplekse resonnement-oppgaver, som gir en balanse mellom ytelse og effektivitet. Se hvordan den klarte seg i vår testing.
• o1 Preview – En avansert modell med forbedrede resonnementsevner, spesielt flink til komplekse problemløsningsoppgaver, særlig innen koding og vitenskapelig resonnement, tilgjengelig i forhåndsvisning. Se hvordan den tenker og løser oppgaver.
• gpt-4-vision-preview – Forhåndsvisningsmodell som tar både tekst- og bildeinput, med støtte for funksjoner som JSON-modus og parallell funksjonskalling, noe som forbedrer multimodale interaksjonsmuligheter. Finn ut mer her.
• GPT-3.5 Turbo – En eldre versjon av GPT, flott for enkle oppgaver uten å sprenge budsjettet. Se vår AI Agent-testing for å sammenligne den med nyere modeller.

Når du velger riktig modell for oppgaven, bør du vurdere kvaliteten og hastigheten oppgaven krever. Eldre modeller er gode for å spare penger på enkle masseoppgaver og chatting. Hvis du genererer innhold eller søker på nettet, foreslår vi at du velger en nyere, mer raffinert modell.

Maks antall tokens

Tokens representerer de individuelle enhetene av tekst som modellen prosesserer og genererer. Tokenbruk varierer mellom modeller, og én token kan være alt fra et ord eller delord til ett enkelt tegn. Modeller prises vanligvis i millioner av tokens.

Innstillingen for maks tokens begrenser det totale antallet tokens som kan prosesseres i én enkelt interaksjon eller forespørsel, og sikrer at svarene genereres innenfor rimelige rammer. Standardgrensen er 4 000 tokens, som er optimal størrelse for å oppsummere dokumenter og flere kilder for å generere et svar.

Temperatur

Temperatur styrer variasjonen i svar, og går fra 0 til 1.

En temperatur på 0,1 vil gjøre svarene veldig presise, men potensielt repeterende og mangelfulle.

En høy temperatur på 1 gir maksimal kreativitet i svar, men øker risikoen for irrelevante eller til og med hallusinerte svar.

For eksempel er anbefalt temperatur for en kundeservicebot mellom 0,2 og 0,5. Dette nivået bør holde svarene relevante og til manus, samtidig som det gir rom for naturlig variasjon i svar.

Hvordan legge til LLM OpenAI i din flow

Du vil merke at alle LLM-komponenter kun har et utdata-håndtak. Input går ikke gjennom komponenten, da den kun representerer modellen, mens selve genereringen skjer i AI Agents og Generatorer.

LLM-håndtaket er alltid lilla. LLM-input-håndtaket finnes på enhver komponent som bruker AI for å generere tekst eller behandle data. Du kan se alternativene ved å klikke på håndtaket:

Dette lar deg lage alle slags verktøy. La oss se komponenten i aksjon. Her er en enkel agentdrevet chatbot-flow som bruker o1 Preview for å generere svar. Du kan tenke på det som en grunnleggende ChatGPT-chatbot.

Denne enkle Chatbot Flow inkluderer:

• Chat-input: Representerer meldingen en bruker sender i chatten.
• Chat-historikk: Sikrer at chatboten kan huske og ta hensyn til tidligere svar.
• Chat-output: Representerer chatbotens endelige svar.
• AI Agent: En autonom AI-agent som genererer svar.
• LLM OpenAI: Koblingen til OpenAIs tekstgenereringsmodeller.