Hvad er LLM Mistral-komponenten?

LLM Mistral-komponenten forbinder Mistral-modellerne til dit flow. Selvom det er Generatorer og Agenter, hvor selve magien sker, lader LLM-komponenterne dig styre, hvilken model der bruges. Alle komponenter leveres som standard med ChatGPT-4. Du kan forbinde denne komponent, hvis du ønsker at ændre modellen eller få mere kontrol over den.

Husk, at det er valgfrit at forbinde en LLM-komponent. Alle komponenter, der bruger LLM, leveres med ChatGPT-4o som standard. LLM-komponenter lader dig ændre modellen og styre modelindstillinger.

LLM Mistral-komponentindstillinger

Maksimalt antal tokens

Tokens repræsenterer de enkelte tekst-enheder, som modellen bearbejder og genererer. Token-forbruget varierer mellem modeller, og et enkelt token kan være alt fra ord eller dele af ord til ét enkelt tegn. Modeller prissættes typisk pr. million tokens.

Indstillingen for maksimalt antal tokens begrænser det samlede antal tokens, der kan behandles i en enkelt interaktion eller forespørgsel, så svarene genereres inden for rimelige rammer. Standardgrænsen er 4.000 tokens, hvilket er en optimal størrelse til at opsummere dokumenter og flere kilder for at generere et svar.

Temperatur

Temperatur styrer variationen i svarene og spænder fra 0 til 1.

En temperatur på 0,1 gør svarene meget præcise, men potentielt gentagende og mangelfulde.

En høj temperatur på 1 muliggør maksimal kreativitet i svarene, men øger risikoen for irrelevante eller endda hallucinerede svar.

For eksempel er den anbefalede temperatur for en kundeservicebot mellem 0,2 og 0,5. Dette niveau holder svarene relevante og til manuskriptet, mens der stadig er plads til naturlig variation.

Model

Dette er modelvælgeren. Her finder du alle understøttede modeller fra Mistral. Vi understøtter i øjeblikket følgende modeller:

• Mistral 7B – En sprogmodel med 7,3 milliarder parametre, der benytter transformers-arkitektur og er udgivet under Apache 2.0-licensen. Selvom det er et mindre projekt, overgår den ofte Metas Llama 2-model. Se, hvordan den klarede sig i vores test.
• Mistral 8x7B (Mixtral) – Denne model bruger en “sparse mixture of experts”-arkitektur, bestående af otte forskellige grupper af “eksperter” med i alt 46,7 milliarder parametre. Hvert token bruger op til 12,9 milliarder parametre, hvilket giver en ydeevne, der matcher eller overgår LLaMA 2 70B og GPT-3.5 på de fleste benchmarks. Se output-eksempler.
• Mistral Large – En højtydende sprogmodel med 123 milliarder parametre og en kontekstudvidelse på 128.000 tokens. Den er flydende på flere sprog, inklusiv programmeringssprog, og viser konkurrencedygtig ydelse med modeller som LLaMA 3.1 405B, især til programmeringsopgaver. Læs mere her.

Sådan tilføjer du LLM Mistral til dit flow

Du vil bemærke, at alle LLM-komponenter kun har et output-håndtag. Input går ikke igennem komponenten, da den kun repræsenterer modellen, mens selve genereringen sker i AI-agenter og Generatorer.

LLM-håndtaget er altid lilla. LLM-inputhåndtaget findes på alle komponenter, der bruger AI til at generere tekst eller behandle data. Du kan se mulighederne ved at klikke på håndtaget:

Dette gør det muligt at skabe alle slags værktøjer. Lad os se komponenten i aktion. Her er et simpelt AI-agent chatbot-flow, der bruger Mistral 7B-modellen til at generere svar. Du kan tænke på det som en grundlæggende Mistral-chatbot.

Dette simple chatbot-flow inkluderer:

• Chat input: Repræsenterer beskeden, en bruger sender i chatten.
• Chat history: Sikrer, at chatbotten kan huske og tage højde for tidligere svar.
• Chat output: Repræsenterer chatbot’ens endelige svar.
• AI Agent: En autonom AI-agent, der genererer svar.
• LLM Mistral: Forbindelsen til Mistrals tekstgenereringsmodeller.