Mikä on LLM Meta AI -komponentti?
LLM Meta AI -komponentti yhdistää Claude-malliperheen Flowhun. Vaikka generointia ja agentteja käytetään varsinaiseen tekoälytyöhön, LLM-komponentit antavat sinun hallita käytettävää mallia. Kaikissa komponenteissa on oletuksena ChatGPT-4. Voit liittää tämän komponentin, jos haluat vaihtaa mallia tai saada siihen lisää hallintaa.
Muista, että LLM-komponentin liittäminen on vapaaehtoista. Kaikissa LLM:ää käyttävissä komponenteissa on oletuksena ChatGPT-4o. LLM-komponentit mahdollistavat mallin vaihdon ja malliasetusten säätämisen.
LLM Meta AI -komponentin asetukset
Maksimitokenit
Tokenit edustavat tekstin yksittäisiä yksiköitä, joita malli käsittelee ja tuottaa. Tokenien käyttö vaihtelee malleittain, ja yksi token voi olla sana, osasana tai jopa yksittäinen merkki. Mallien hinnoittelu perustuu yleensä miljooniin tokeneihin.
Maksimitokeniasetus rajoittaa kerralla käsiteltävien tokenien kokonaismäärää, varmistaen että vastaukset pysyvät kohtuullisissa rajoissa. Oletusraja on 4 000 tokenia, mikä on optimaalinen koko dokumenttien ja useiden lähteiden tiivistämiseen vastauksen luontia varten.
Lämpötila
Lämpötila ohjaa vastausten vaihtelevuutta, välillä 0–1.
Lämpötila 0,1 tekee vastauksista hyvin ytimekkäitä, mutta mahdollisesti toisteisia ja puutteellisia.
Korkea lämpötila 1 mahdollistaa maksimaalisen luovuuden, mutta lisää epäolennaisten tai jopa harhaisten vastausten riskiä.
Esimerkiksi asiakaspalvelubotin suositeltu lämpötila on välillä 0,2–0,5. Tämä taso pitää vastaukset asiallisina ja käsikirjoituksen mukaisina, mutta sallii luonnollisen vaihtelun vastauksissa.
Malli
Tässä valitaan käytettävä malli. Täältä löydät kaikki tuetut Meta AI -mallit. Tuemme Metan avoimen lähdekoodin kevyitä Llama-malleja. Nämä mallit on suunniteltu tehokkaaseen laite- ja reunalaskentaan:
- Llama 3.2 1B – 1B-mallissa on noin 1,23 miljardia parametria ja kontekstipituus jopa 128 000 tokenia. Malli on optimoitu tehtäviin kuten tiivistäminen, ohjeiden seuraaminen ja uudelleenkirjoitus, joten se sopii mobiili- ja sulautettuihin laitteisiin. Lue lisää tästä mallista ja sen toiminnasta tästä artikkelista.
- Llama 3.2. 3B – 3B-mallissa on noin 3,21 miljardia parametria ja kontekstipituus jopa 128 000 tokenia. Lue lisää, miten tämä malli suoriutuu erilaisista tehtävistä.
Näin lisäät LLM Meta AI:n työnkulkuun
Huomaat, että kaikissa LLM-komponenteissa on vain ulostulokahva. Syöte ei kulje komponentin läpi, sillä komponentti edustaa vain mallia ja varsinainen generointi tapahtuu AI-agenteissa ja generaattoreissa.
LLM-kahva on aina violetti. LLM-syötekahva löytyy kaikista komponenteista, jotka käyttävät tekoälyä tekstin tuottamiseen tai datan käsittelyyn. Vaihtoehdot näet klikkaamalla kahvaa:
Tämä mahdollistaa erilaisten työkalujen rakentamisen. Katsotaanpa komponenttia toiminnassa. Tässä on yksinkertainen AI Agent -chatbotin työnkulku, joka käyttää Meta AI:n Llama 3.2 1B -mallia vastausten tuottamiseen. Voit ajatella sitä perustason Llama-chatbottina.
Tämä yksinkertainen chatbotin työnkulku sisältää:
- Chat input: Edustaa käyttäjän chatissa lähettämää viestiä.
- Chat history: Mahdollistaa chatbotin muistavan ja huomioivan aiemmat vastaukset.
- Chat output: Edustaa chatbotin lopullista vastausta.
- AI Agent: Autonominen tekoälyagentti, joka tuottaa vastaukset.
- LLM Meta AI: Yhteys Metan tekstintuottomalleihin.
