LLM Meta AI

Co je komponenta LLM Meta AI?

Komponenta LLM Meta AI propojuje rodinu modelů Claude s vaším Flow. Zatímco generátory a agenti jsou místem, kde se odehrává skutečná magie, LLM komponenty vám umožňují ovládat použitý model. Všechny komponenty mají ve výchozím nastavení ChatGPT-4. Tuto komponentu můžete připojit, pokud si přejete změnit model nebo získat nad ním větší kontrolu.

Pamatujte, že připojení LLM komponenty je volitelné. Všechny komponenty, které využívají LLM, mají ve výchozím nastavení ChatGPT-4o. LLM komponenty vám umožňují změnit model a ovládat jeho nastavení.

Nastavení komponenty LLM Meta AI

Maximální počet tokenů

Tokeny představují jednotlivé jednotky textu, které model zpracovává a generuje. Využití tokenů se liší podle modelů a jeden token může být slovo, část slova nebo i jeden znak. Modely jsou obvykle účtovány v milionech tokenů.

Nastavení maximálního počtu tokenů omezuje celkový počet tokenů, které lze zpracovat v jedné interakci nebo požadavku, což zajišťuje, že odpovědi jsou generovány v rozumných mezích. Výchozí limit je 4 000 tokenů, což je optimální velikost pro sumarizaci dokumentů a více zdrojů za účelem vytvoření odpovědi.

Teplota

Teplota ovlivňuje variabilitu odpovědí v rozmezí od 0 do 1.

Teplota 0,1 způsobí, že odpovědi budou velmi věcné, ale mohou být opakující se a méně kvalitní.

Vysoká teplota 1 umožňuje maximální kreativitu odpovědí, avšak s rizikem nerelevantních nebo dokonce halucinačních odpovědí.

Například doporučená teplota pro chatbot zákaznické podpory je mezi 0,2 a 0,5. Tato úroveň by měla udržet odpovědi relevantní a podle scénáře, ale zároveň umožnit přirozenou variabilitu odpovědí.

Model

Toto je výběr modelu. Najdete zde všechny podporované modely od Meta AI. Podporujeme open-source lehké Llama modely od Meta. Tyto modely jsou navrženy pro efektivní nasazení na zařízení a na okraji sítě:

• Llama 3.2 1B – Model 1B obsahuje přibližně 1,23 miliardy parametrů s kontextovou délkou až 128 000 tokenů. Model je optimalizován pro úkoly jako sumarizace, následování instrukcí a přeformulování, což je činí vhodnými pro mobilní a vestavěné aplikace. Více o tomto modelu a jeho fungování se dočtete v tomto článku.
• Llama 3.2. 3B – Model 3B má přibližně 3,21 miliardy parametrů s kontextovou délkou až 128 000 tokenů. Více o tom, jak tento model zvládá různé úkoly, najdete zde.

Jak přidat LLM Meta AI do vašeho Flow

Všimnete si, že všechny LLM komponenty mají pouze výstupní konektor. Vstup neprochází komponentou, protože reprezentuje pouze model, zatímco samotné generování probíhá v AI agentech a generátorech.

Konektor LLM je vždy fialový. Vstupní konektor LLM najdete na každé komponentě, která používá AI k generování textu nebo zpracování dat. Možnosti zobrazíte kliknutím na konektor:

To vám umožní tvořit nejrůznější nástroje. Podívejme se na komponentu v akci. Zde je jednoduchý AI Agent chatbot Flow, který využívá Llama 3.2 1B od Meta AI k generování odpovědí. Můžete si ho představit jako základní Llama chatbot.

Tento jednoduchý Chatbot Flow obsahuje:

• Chat input: Reprezentuje zprávu, kterou uživatel odešle do chatu.
• Chat history: Zajišťuje, že si chatbot pamatuje a zohledňuje předchozí odpovědi.
• Chat output: Reprezentuje finální odpověď chatbota.
• AI Agent: Autonomní AI agent, který generuje odpovědi.
• LLM Meta AI: Propojení s modely pro generování textu od Meta.