LLM OpenAI

Mikä on LLM Open AI -komponentti?

LLM OpenAI -komponentti yhdistää ChatGPT-mallit työnkulkuusi. Vaikka varsinaiset Generaattorit ja Agentit tekevät varsinaisen taian, LLM-komponentit mahdollistavat käytettävän mallin hallinnan. Kaikki komponentit sisältävät oletuksena ChatGPT-4:n. Voit liittää tämän komponentin, jos haluat vaihtaa mallia tai saada tarkempaa hallintaa.

LLM OpenAI -komponentin asetukset

Mallin nimi

Tässä valitaan malli. Löydät tästä kaikki OpenAI-mallit, joita FlowHunt tukee. ChatGPT tarjoaa listan erilaisista malleista, joilla on erilaiset ominaisuudet ja hintatasot. Esimerkiksi vähemmän edistynyt ja vanhempi GPT-3.5 maksaa vähemmän kuin uusin 4o, mutta laatu ja nopeus kärsivät.

OpenAI-mallit, jotka ovat käytettävissä FlowHuntissa:

• GPT-4o – OpenAI:n uusin ja suosituin malli. Monimodaalinen malli, joka kykenee käsittelemään tekstiä, kuvia ja ääntä sekä hakemaan tietoa verkosta. Lue lisää täältä.
• GPT-4o Mini – Pienempi ja kustannustehokas versio GPT-4o:sta, tarjoaa paremman suorituskyvyn kuin GPT-3.5 Turbo, 128K konteksti-ikkunalla ja yli 60 % kustannussäästöllä. Katso, miten se suoriutuu tehtävistä.
• o1 Mini – Yksinkertaistettu versio o1-mallista, suunniteltu monimutkaisiin päättelytehtäviin ja tarjoaa tasapainon suorituskyvyn ja tehokkuuden välillä. Katso, miten se pärjäsi testeissämme.
• o1 Preview – Kehittynyt malli, jossa on parannetut päättelykyvyt ja joka loistaa monimutkaisessa ongelmanratkaisussa, erityisesti koodauksessa ja tieteellisessä päättelyssä, saatavilla esikatseluna. Katso, miten se ajattelee ja hoitaa tehtäviä.
• gpt-4-vision-preview – Esikatselumalli, joka hyväksyy sekä teksti- että kuvasyötteitä ja tukee ominaisuuksia, kuten JSON-tila ja rinnakkaiset toimintokutsut, parantaen multimodaalista vuorovaikutusta. Lue lisää täältä.
• GPT-3.5 Turbo – GPT:n aiempi versio, joka sopii hyvin yksinkertaisiin tehtäviin säästäen samalla kustannuksissa. Katso tekoälyagenttitestimme vertaillaksesi sitä uudempiin malleihin.

Kun valitset oikeaa mallia tehtävääsi varten, mieti tarvittavaa laatua ja nopeutta. Vanhemmat mallit sopivat hyvin yksinkertaisiin, massatehtäviin ja keskusteluun, kun haluat säästää rahaa. Sisällöntuotantoon tai verkkohaun tekoon suosittelemme uudempaa ja hiotumpaa mallia.

Max Tokens

Tokenit tarkoittavat yksittäisiä tekstin osia, joita malli käsittelee ja tuottaa. Tokenien käyttö vaihtelee malleittain, ja yksi token voi olla sana, osasana tai yksittäinen merkki. Mallit yleensä hinnoitellaan miljoonien tokenien mukaan.

Max tokens -asetus rajaa tokenien enimmäismäärää, joka voidaan käsitellä yhdessä vuorovaikutuksessa tai pyynnössä – näin varmistetaan, että vastaukset pysyvät kohtuullisissa rajoissa. Oletusarvoinen raja on 4 000 tokenia, mikä on optimi koko dokumenttien ja useiden lähteiden yhteenvedon tekemiseen.

Temperature

Temperature eli lämpötila ohjaa vastausten vaihtelevuutta, välillä 0–1.

Arvo 0.1 tekee vastauksista hyvin ytimekkäitä, mutta mahdollisesti toisteisia ja vajavaisia.

Korkea arvo 1 sallii vastauksiin mahdollisimman paljon luovuutta, mutta lisää myös riskiä epäolennaisiin tai harhaisiin vastauksiin.

Esimerkiksi asiakaspalvelubotille suositeltu lämpötila on välillä 0.2–0.5. Tällä tasolla vastaukset pysyvät olennaisina ja käsikirjoituksen mukaisina, mutta luonnollisella vaihtelulla.

Kuinka lisätä LLM OpenAI työnkulkuusi

Huomaat, että kaikissa LLM-komponenteissa on vain lähtökahva. Syöte ei kulje komponentin läpi, koska se edustaa vain mallia – varsinainen generointi tapahtuu AI-agenteissa ja generaattoreissa.

LLM-kahva on aina violetti. LLM-syötekahva löytyy kaikista komponenteista, jotka käyttävät tekoälyä tekstin tuottamiseen tai datan käsittelyyn. Näet vaihtoehdot klikkaamalla kahvaa:

Näin voit luoda monenlaisia työkaluja. Katsotaanpa komponenttia käytännössä. Tässä on yksinkertainen agenttipohjainen chatbot-työnkulku, jossa o1 Preview tuottaa vastauksia. Voit ajatella sitä perus-ChatGPT-chatbottina.

Tämä yksinkertainen chatbot-työnkulku sisältää:

• Chat input: Edustaa viestiä, jonka käyttäjä lähettää chatissa.
• Chat history: Varmistaa, että chatbot muistaa ja ottaa huomioon aiemmat vastaukset.
• Chat output: Edustaa chatbotin lopullista vastausta.
• AI Agent: Autonominen tekoälyagentti, joka tuottaa vastauksia.
• LLM OpenAI: Yhteys OpenAI:n tekstinluontimalleihin.