Hvad er LLM xAI-komponenten?
LLM xAI-komponenten forbinder Grok-modellen til dit flow. Selvom det er Generatorer og Agenter, hvor den egentlige magi sker, giver LLM-komponenter dig mulighed for at styre, hvilken model der bruges. Alle komponenter kommer som standard med ChatGPT-4. Du kan forbinde denne komponent, hvis du ønsker at skifte model eller få mere kontrol over den.
Husk, at det er valgfrit at forbinde en LLM-komponent. Alle komponenter, der bruger en LLM, kommer med ChatGPT-4o som standard. LLM-komponenterne giver dig mulighed for at ændre modellen og styre modellens indstillinger.
Indstillinger for LLM xAI-komponenten
Max Tokens
Tokens repræsenterer de individuelle enheder af tekst, som modellen behandler og genererer. Tokenforbruget varierer mellem modeller, og et enkelt token kan være alt fra ord eller delord til ét enkelt tegn. Modeller prissættes som regel pr. million tokens.
Indstillingen for maksimale tokens begrænser det samlede antal tokens, der kan behandles i én interaktion eller forespørgsel, så svarene genereres inden for rimelige rammer. Standardgrænsen er 4.000 tokens, hvilket er den optimale størrelse til at opsummere dokumenter og flere kilder for at generere et svar.
Temperatur
Temperatur styrer variationen i svarene og spænder fra 0 til 1.
En temperatur på 0,1 gør svarene meget præcise, men potentielt gentagende og mangelfulde.
En høj temperatur på 1 tillader maksimal kreativitet i svarene, men indebærer risiko for irrelevante eller endda hallucinatoriske svar.
For eksempel anbefales en temperatur på mellem 0,2 og 0,5 til en kundeservicebot. Dette niveau holder svarene relevante og til manuskriptet, men giver stadig naturlig variation i svarene.
Model
Dette er modelvælgeren. Her finder du alle de understøttede modeller fra xAI-udbyderen. xAI’s flagskibstekstmodel hedder Grok. I øjeblikket understøtter vi kun grok-beta-modellen, da det er den eneste, der er frigivet til offentlig API-brug.
Vil du vide mere om Grok-beta og se, hvordan den klarer sig i forhold til andre modeller? Læs denne artikel.
Sådan tilføjer du LLM xAI til dit flow
Du vil lægge mærke til, at alle LLM-komponenter kun har et output-håndtag. Input går ikke gennem komponenten, da den kun repræsenterer modellen, mens selve genereringen sker i AI-agenter og generatorer.
LLM-håndtaget er altid lilla. LLM-input-håndtaget findes på alle komponenter, der bruger AI til at generere tekst eller behandle data. Du kan se mulighederne ved at klikke på håndtaget:
Dette giver dig mulighed for at skabe alle slags værktøjer. Lad os se komponenten i aktion. Her er et simpelt AI Agent chatbot-flow, der bruger xAI’s grok-beta til at generere svar. Du kan betragte det som en grundlæggende xAI-chatbot.
Dette enkle Chatbot Flow indeholder:
- Chatinput: Repræsenterer beskeden, en bruger sender i chatten.
- Chathistorik: Sikrer, at chatbotten kan huske og tage tidligere svar i betragtning.
- Chatoutput: Repræsenterer chatbot’ens endelige svar.
- AI Agent: En autonom AI-agent, der genererer svar.
- LLM xAI: Forbindelsen til xAI’s tekstgenereringsmodeller.
