LLM Mistral

Co je komponenta LLM Mistral?

Komponenta LLM Mistral propojuje modely Mistral s vaším tokem. Zatímco Generátory a Agenti jsou místem, kde se odehrává skutečné kouzlo, LLM komponenty vám umožňují řídit použitý model. Všechny komponenty mají ve výchozím nastavení ChatGPT-4. Pokud si přejete model změnit nebo získat nad ním větší kontrolu, můžete připojit tuto komponentu.

Pamatujte, že připojení LLM komponenty je volitelné. Všechny komponenty využívající LLM mají jako výchozí model ChatGPT-4o. LLM komponenty umožňují změnit model a nastavit jeho parametry.

Nastavení komponenty LLM Mistral

Max Tokenů

Tokeny představují jednotlivé jednotky textu, které model zpracovává a generuje. Využití tokenů se mezi modely liší a jeden token může znamenat slovo, část slova nebo jeden znak. Modely jsou obvykle účtovány v milionech tokenů.

Nastavení max tokenů omezuje celkový počet tokenů, které lze zpracovat během jedné interakce nebo požadavku, a zajišťuje, že odpovědi budou generovány v rozumných mezích. Výchozí limit je 4 000 tokenů, což je optimální velikost například pro sumarizaci dokumentů nebo více zdrojů pro vytvoření odpovědi.

Teplota

Teplota určuje variabilitu odpovědí a pohybuje se od 0 do 1.

Teplota 0,1 zajistí, že odpovědi budou velmi věcné, ale mohou být opakující se a méně bohaté.

Vysoká teplota 1 umožňuje maximální kreativitu v odpovědích, ale zvyšuje riziko irelevantních nebo dokonce halucinačních výstupů.

Doporučená teplota pro chatboty zákaznické podpory je například mezi 0,2 a 0,5. Tato úroveň udrží odpovědi relevantní a podle scénáře, ale umožní přirozenou variabilitu.

Model

Zde vybíráte konkrétní model. Najdete zde všechny podporované modely Mistral. Aktuálně podporujeme tyto modely:

• Mistral 7B – Jazykový model s 7,3 miliardami parametrů využívající architekturu transformers, vydaný pod licencí Apache 2.0. Přestože se jedná o menší projekt, běžně překonává model Meta Llama 2. Podívejte se, jak si vedl v našem testování.
• Mistral 8x7B (Mixtral) – Tento model využívá architekturu sparse mixture of experts a zahrnuje osm samostatných skupin „expertů“ o celkovém počtu 46,7 miliardy parametrů. Každý token využívá až 12,9 miliardy parametrů, což poskytuje výkon srovnatelný nebo lepší než LLaMA 2 70B a GPT-3.5 ve většině benchmarků. Podívejte se na příklady výstupů.
• Mistral Large – Vysoce výkonný jazykový model se 123 miliardami parametrů a kontextovou délkou 128 000 tokenů. Ovládá několik jazyků včetně programovacích a dosahuje konkurenceschopných výsledků s modely jako LLaMA 3.1 405B, zejména u programovacích úloh. Zjistěte více zde.

Jak přidat LLM Mistral do vašeho toku

Všimnete si, že všechny LLM komponenty mají pouze výstupní konektor. Vstup přes komponentu neprochází, protože reprezentuje pouze model, zatímco generování probíhá v AI Agentech a Generátorech.

Konektor LLM je vždy fialový. Vstupní konektor LLM najdete na každé komponentě, která využívá AI pro generování textu nebo zpracování dat. Možnosti zobrazíte kliknutím na konektor:

To vám umožní vytvářet různé nástroje. Podívejme se na komponentu v akci. Zde je jednoduchý tok AI Agenta, který využívá model Mistral 7B k vygenerování odpovědí. Můžete si to představit jako základní Mistral chatbot.

Tento jednoduchý Chatbot Flow zahrnuje:

• Vstup do chatu: představuje zprávu, kterou uživatel odešle v chatu.
• Historii chatu: zajišťuje, že si chatbot pamatuje a zohledňuje předchozí odpovědi.
• Výstup chatu: reprezentuje finální odpověď chatbota.
• AI Agenta: autonomní AI agent generující odpovědi.
• LLM Mistral: propojení s textovými modely Mistral.