LLM OpenAI

Co je komponenta LLM OpenAI?

Komponenta LLM OpenAI propojuje modely ChatGPT s vaším tokem. Zatímco samotné generování probíhá v Generátorech a Agentech, LLM komponenty umožňují ovládat, jaký model se použije. Všechny komponenty mají ve výchozím nastavení ChatGPT-4. Tuto komponentu můžete připojit, pokud chcete model změnit nebo získat větší kontrolu nad jeho nastavením.

Nastavení komponenty LLM OpenAI

Název modelu

Jedná se o výběr modelu. Zde najdete všechny OpenAI modely podporované ve FlowHunt. ChatGPT nabízí kompletní seznam modelů s různými schopnostmi a cenami. Například použití méně pokročilého a staršího GPT-3.5 bude levnější než využití nejnovějšího 4o, ale kvalita i rychlost výstupu budou nižší.

OpenAI modely dostupné ve FlowHunt:

• GPT-4o – Nejnovější a nejoblíbenější model OpenAI. Multimodální model schopný zpracovávat text, obrázky, zvuk a vyhledávat na webu. Více informací zde.
• GPT-4o Mini – Menší a úspornější verze GPT-4o, která nabízí lepší výkon než GPT-3.5 Turbo, 128k kontextové okno a více než 60% úsporu nákladů. Podívejte se, jak si vede v úkolech.
• o1 Mini – Zjednodušená verze modelu o1, navržená pro komplexní úlohy vyžadující logiku, nabízí vyváženost mezi výkonem a efektivitou. Viz naše testování.
• o1 Preview – Pokročilý model s vylepšenými schopnostmi v oblasti složitého řešení problémů, zejména v kódování a vědeckém uvažování, dostupný v preview verzi. Podívejte se, jak přemýšlí a řeší úkoly.
• gpt-4-vision-preview – Preview model, který přijímá textové i obrazové vstupy a podporuje například JSON mód a paralelní volání funkcí pro lepší multimodální interakci. Více zde.
• GPT-3.5 Turbo – Starší verze GPT, vhodná pro jednoduché úkoly a levný provoz. Srovnejte v našem testování AI Agentů s novějšími modely.

Při výběru správného modelu zvažte požadovanou kvalitu i rychlost. Starší modely jsou ideální pro úsporu peněz u jednoduchých úloh a chatu. Pokud generujete obsah nebo vyhledáváte, doporučujeme využít novější a propracovanější model.

Max Tokenů

Tokeny jsou jednotlivé jednotky textu, které model zpracovává a generuje. Spotřeba tokenů se liší podle modelu; jeden token může být slovo, část slova nebo i jeden znak. Modely jsou obvykle účtovány v milionech tokenů.

Nastavení max tokenů omezuje celkový počet tokenů zpracovaných v jedné interakci nebo požadavku, což zajišťuje, že odpovědi budou v rozumných mezích. Výchozí limit je 4 000 tokenů, což je optimální pro shrnutí dokumentů a několika zdrojů pro vytvoření odpovědi.

Teplota

Teplota určuje variabilitu odpovědí v rozsahu od 0 do 1.

Teplota 0,1 způsobí, že odpovědi budou velmi věcné, ale mohou být opakující se a strohé.

Vysoká teplota 1 umožňuje maximální kreativitu odpovědí, ale zvyšuje riziko nerelevantních nebo dokonce halucinačních výsledků.

Například doporučená teplota pro zákaznického chatbota je mezi 0,2 a 0,5. Tato úroveň udrží odpovědi relevantní a dle scénáře, ale zároveň umožní jejich přirozenou variabilitu.

Jak přidat LLM OpenAI do svého Flow

Všimnete si, že všechny LLM komponenty mají pouze výstupní spojku. Vstup přes komponentu neprochází, protože pouze reprezentuje model, zatímco samotné generování probíhá v AI Agentech a Generátorech.

Spojka LLM je vždy fialová. Vstupní spojku LLM najdete na každé komponentě, která využívá AI ke generování textu nebo zpracování dat. Možnosti zobrazíte kliknutím na spojku:

Díky tomu můžete vytvářet různé nástroje. Podívejme se na komponentu v praxi. Zde je jednoduchý chatbot Flow poháněný Agentem, využívající o1 Preview pro generování odpovědí. Můžete si to představit jako základní ChatGPT chatbot.

Tento jednoduchý chatbot Flow obsahuje:

• Vstup z chatu: Reprezentuje zprávu, kterou uživatel pošle do chatu.
• Historie chatu: Zajišťuje, že si chatbot pamatuje a zohlední předchozí odpovědi.
• Výstup z chatu: Reprezentuje finální odpověď chatbota.
• AI Agent: Autonomní AI agent, který generuje odpovědi.
• LLM OpenAI: Propojení s modely pro generování textu od OpenAI.