Mikä on LLM Mistral -komponentti?
LLM Mistral -komponentti yhdistää Mistral-mallit flow’husi. Vaikka varsinaiset Generaattorit ja Agentit tekevät varsinaisen taian, LLM-komponenttien avulla voit hallita käytettävää mallia. Kaikissa komponenteissa on oletuksena ChatGPT-4. Voit liittää tämän komponentin, jos haluat vaihtaa mallia tai saada siihen enemmän hallintaa.
Muista, että LLM-komponentin liittäminen on vapaaehtoista. Kaikissa komponenteissa, jotka käyttävät LLM:ää, on oletuksena ChatGPT-4o. LLM-komponenttien avulla voit vaihtaa mallia ja säätää mallin asetuksia.
LLM Mistral -komponentin asetukset
Max Tokens
Tokenit ovat yksittäisiä tekstin osia, joita malli käsittelee ja tuottaa. Tokenien käyttö vaihtelee mallista riippuen, ja yksi token voi olla sana, osasana tai yksittäinen merkki. Mallien hinnoittelu perustuu usein miljooniin tokeneihin.
Max tokens -asetus rajoittaa kerralla prosessoitavien tokenien kokonaismäärää, mikä varmistaa, että vastaukset pysyvät kohtuullisen kokoisina. Oletusraja on 4 000 tokenia, mikä on optimaalinen määrä esimerkiksi dokumenttien ja useiden lähteiden tiivistämiseen vastauksen muodostamiseksi.
Temperature
Temperature eli lämpötila säätelee vastausten vaihtelevuutta, arvovälillä 0–1.
0,1:n lämpötila tekee vastauksista hyvin ytimekkäitä, mutta ne voivat olla toisteisia ja vajavaisia.
Korkea lämpötila, 1, mahdollistaa maksimaalisen luovuuden vastauksissa, mutta lisää epäolennaisten tai jopa harhaisten vastausten riskiä.
Asiakaspalvelubotille suositeltu lämpötila on välillä 0,2–0,5. Tällöin vastaukset pysyvät olennaisina ja käsikirjoituksen mukaisina, mutta mahdollistavat luonnollisen vaihtelun.
Malli
Tämä on mallinvalitsin. Täältä löydät kaikki tuetut Mistral-mallit. Tuemme tällä hetkellä seuraavia malleja:
- Mistral 7B – 7,3 miljardin parametrin kielimalli, joka hyödyntää transformer-arkkitehtuuria ja on julkaistu Apache 2.0 -lisenssillä. Vaikka kyseessä on pienempi projekti, se päihittää säännöllisesti Metan Llama 2 -mallin. Katso, miten se pärjäsi testeissämme.
- Mistral 8x7B (Mixtral) – Tämä malli hyödyntää sparse mixture of experts -arkkitehtuuria, jossa on kahdeksan erillistä “asiantuntijaryhmää” ja yhteensä 46,7 miljardia parametria. Jokainen token hyödyntää jopa 12,9 miljardia parametria, ja suorituskyky vastaa tai ylittää LLaMA 2 70B:n ja GPT-3.5:n useimmissa testeissä. Katso esimerkkituloksia.
- Mistral Large – Tehokas kielimalli, jossa on 123 miljardia parametria ja 128 000 tokenin kontekstipituus. Se hallitsee useita kieliä, mukaan lukien ohjelmointikielet, ja kilpailee suorituskyvyssä esimerkiksi LLaMA 3.1 405B:n kanssa, erityisesti ohjelmointitehtävissä. Lue lisää täältä.
Näin lisäät LLM Mistralin flow’husi
Huomaat, että kaikissa LLM-komponenteissa on vain lähtevä liitäntä. Syöte ei kulje komponentin läpi, sillä se edustaa vain mallia, kun taas varsinainen generointi tapahtuu AI-agenteissa ja generaattoreissa.
LLM-liitäntä on aina violetti. LLM-tuloliitäntä löytyy kaikista komponenteista, jotka käyttävät tekoälyä tekstin tuottamiseen tai datan käsittelyyn. Näet vaihtoehdot klikkaamalla liitäntää:
Tämän avulla voit rakentaa erilaisia työkaluja. Katsotaanpa komponenttia käytännössä. Tässä on yksinkertainen AI Agent -chatbot-flow, joka käyttää Mistral 7B -mallia vastausten tuottamiseen. Voit ajatella sitä perus-Mistral-chatbottina.
Tämä yksinkertainen chatbot-flow sisältää:
- Chat input: Edustaa käyttäjän lähettämää viestiä chatissa.
- Chat history: Varmistaa, että chatbot muistaa ja ottaa huomioon aiemmat vastaukset.
- Chat output: Edustaa chatbotin lopullista vastausta.
- AI Agent: Autonominen tekoälyagentti, joka generoi vastaukset.
- LLM Mistral: Yhteys Mistralin tekstigenerointimalleihin.
