LLM Meta AI

Hvad er LLM Meta AI-komponenten?

LLM Meta AI-komponenten forbinder Claude-familien af modeller til dit Flow. Selvom Generatorer og Agenter er der, hvor magien sker, giver LLM-komponenter dig mulighed for at styre den anvendte model. Alle komponenter leveres med ChatGPT-4 som standard. Du kan forbinde denne komponent, hvis du ønsker at ændre modellen eller få mere kontrol over den.

Husk, at det er valgfrit at forbinde en LLM-komponent. Alle komponenter, der bruger en LLM, leveres med ChatGPT-4o som standard. LLM-komponenterne giver dig mulighed for at ændre modellen og styre modelindstillinger.

Indstillinger for LLM Meta AI-komponenten

Maks. tokens

Tokens repræsenterer de individuelle enheder af tekst, som modellen behandler og genererer. Tokenforbrug varierer mellem modeller, og en enkelt token kan være alt fra ord eller delord til et enkelt tegn. Modeller afregnes normalt i millioner af tokens.

Indstillingen for maks. tokens begrænser det samlede antal tokens, der kan behandles i en enkelt interaktion eller anmodning, hvilket sikrer, at svarene genereres inden for rimelige grænser. Standardgrænsen er 4.000 tokens, hvilket er den optimale størrelse til at opsummere dokumenter og flere kilder for at generere et svar.

Temperatur

Temperatur styrer variationen i svarene og spænder fra 0 til 1.

En temperatur på 0,1 gør svarene meget præcise, men potentielt gentagende og mangelfulde.

En høj temperatur på 1 giver maksimal kreativitet i svarene, men indebærer risiko for irrelevante eller endda hallucinerende svar.

For eksempel anbefales en temperatur mellem 0,2 og 0,5 til en kundeservicebot. Dette niveau holder svarene relevante og til manuskriptet, samtidig med at der er mulighed for naturlig variation.

Model

Dette er modelvælgeren. Her finder du alle de understøttede modeller fra Meta AI. Vi understøtter Metas open source, letvægts Llama-modeller. Disse modeller er designet til effektiv on-device og edge deployment:

• Llama 3.2 1B – 1B-modellen indeholder cirka 1,23 milliarder parametre med en kontekstdybde på op til 128.000 tokens. Modellen er optimeret til opgaver som opsummering, instruktion og omskrivning, hvilket gør dem velegnede til mobile og indlejrede applikationer. Læs mere om denne model og dens tankegang i denne artikel.
• Llama 3.2. 3B – 3B-modellen har omkring 3,21 milliarder parametre med en kontekstdybde på op til 128.000 tokens. Læs mere om, hvordan denne model håndterer forskellige opgaver.

Sådan tilføjer du LLM Meta AI til dit Flow

Du vil bemærke, at alle LLM-komponenter kun har et output-handle. Input går ikke gennem komponenten, da den kun repræsenterer modellen, mens selve genereringen sker i AI-agenter og generatorer.

LLM-handlet er altid lilla. LLM-input-handlet findes på enhver komponent, der bruger AI til at generere tekst eller behandle data. Du kan se mulighederne ved at klikke på handlet:

Dette giver dig mulighed for at skabe alle mulige værktøjer. Lad os se komponenten i aktion. Her er et simpelt AI Agent chatbot Flow, der bruger Meta AI’s Llama 3.2 1B til at generere svar. Du kan tænke på det som en grundlæggende Llama-chatbot.

Dette simple Chatbot Flow inkluderer:

• Chat input: Repræsenterer beskeden, en bruger sender i chatten.
• Chat history: Sikrer, at chatbotten kan huske og tage højde for tidligere svar.
• Chat output: Repræsenterer chatbot’ens endelige svar.
• AI Agent: En autonom AI-agent, der genererer svar.
• LLM Meta AI: Forbindelsen til Metas tekstgenereringsmodeller.