LLM Mistral

Ce este componenta LLM Mistral?

Componenta LLM Mistral conectează modelele Mistral la fluxul tău. Deși Generatoarele și Agenții sunt locul unde are loc magia propriu-zisă, componentele LLM îți permit să controlezi modelul folosit. Toate componentele vin implicit cu ChatGPT-4. Poți conecta această componentă dacă vrei să schimbi modelul sau să ai mai mult control asupra acestuia.

Ține minte că conectarea unei componente LLM este opțională. Toate componentele care folosesc un LLM vin cu ChatGPT-4o ca implicit. Componentele LLM îți permit să schimbi modelul și să controlezi setările acestuia.

Setări pentru componenta LLM Mistral

Număr maxim de tokeni

Tokenii reprezintă unități individuale de text pe care modelul le procesează și generează. Utilizarea tokenilor diferă în funcție de model, iar un token poate fi orice, de la un cuvânt sau subcuvânt la un singur caracter. Modelele sunt de obicei tarifate la milioane de tokeni.

Setarea numărului maxim de tokeni limitează totalul tokenilor ce pot fi procesați într-o singură interacțiune sau cerere, asigurând că răspunsurile sunt generate în limite rezonabile. Limita implicită este de 4.000 tokeni, optimă pentru sumarizarea documentelor și a mai multor surse pentru generarea unui răspuns.

Temperatură

Temperatura controlează variabilitatea răspunsurilor, variind de la 0 la 1.

O temperatură de 0.1 va face răspunsurile foarte la obiect, dar potențial repetitive și lipsite de conținut.

O temperatură ridicată de 1 permite creativitate maximă în răspunsuri, dar crește riscul de răspunsuri irelevante sau chiar halucinatorii.

De exemplu, temperatura recomandată pentru un chatbot de asistență clienți este între 0.2 și 0.5. Acest nivel menține răspunsurile relevante și la subiect, permițând totodată o variație naturală a acestora.

Model

Aceasta este secțiunea de selecție a modelului. Aici vei găsi toate modelele Mistral suportate. În prezent, suportăm următoarele modele:

• Mistral 7B – Un model lingvistic cu 7,3 miliarde de parametri, bazat pe arhitectura transformers, lansat sub licență Apache 2.0. Deși este un proiect mai mic, depășește constant modelul Llama 2 de la Meta. Vezi cât de bine s-a comportat în testele noastre.
• Mistral 8x7B (Mixtral) – Acest model utilizează o arhitectură de tip mixture of experts, cu opt grupuri distincte de „experți”, totalizând 46,7 miliarde de parametri. Fiecare token folosește până la 12,9 miliarde de parametri, oferind performanță comparabilă sau superioară LLaMA 2 70B și GPT-3.5 în majoritatea testelor. Vezi exemple de rezultate.
• Mistral Large – Un model lingvistic de înaltă performanță, cu 123 miliarde de parametri și o lungime a contextului de 128.000 tokeni. Este fluent în mai multe limbi, inclusiv limbaje de programare, și demonstrează performanță competitivă cu modele ca LLaMA 3.1 405B, în special în sarcini legate de programare. Află mai multe aici.

Cum adaugi LLM Mistral în fluxul tău

Vei observa că toate componentele LLM au doar un handle de ieșire. Input-ul nu trece prin componentă, deoarece aceasta reprezintă doar modelul, în timp ce generarea efectivă are loc în Agenții AI și Generatoare.

Handle-ul LLM este întotdeauna mov. Handle-ul de input LLM se găsește pe orice componentă care folosește AI pentru a genera text sau a procesa date. Poți vedea opțiunile făcând click pe handle:

Acest lucru îți permite să creezi tot felul de instrumente. Să vedem componenta în acțiune. Iată un flux simplu de chatbot AI Agent care folosește modelul Mistral 7B pentru a genera răspunsuri. Îl poți considera un chatbot Mistral de bază.

Acest flux Chatbot simplu include:

• Intrare chat: Reprezintă mesajul trimis de utilizator în chat.
• Istoric chat: Asigură că chatbot-ul poate ține minte și lua în considerare răspunsurile anterioare.
• Ieșire chat: Reprezintă răspunsul final al chatbot-ului.
• Agent AI: Un agent AI autonom care generează răspunsuri.
• LLM Mistral: Conexiunea către modelele Mistral de generare text.