Ce este componenta LLM OpenAI?

Componenta LLM OpenAI conectează modelele ChatGPT la fluxul tău. Deși Generatorii și Agenții sunt locul unde are loc magia propriu-zisă, componentele LLM îți permit să controlezi modelul utilizat. Toate componentele vin implicit cu ChatGPT-4. Poți conecta această componentă dacă dorești să schimbi modelul sau să ai mai mult control asupra acestuia.

Setările componentei LLM OpenAI

Numele modelului

Aceasta este secțiunea de selecție a modelului. Aici vei găsi toate modelele OpenAI pe care FlowHunt le suportă. ChatGPT oferă o listă completă de modele cu abilități și prețuri diferite. De exemplu, folosirea modelului mai vechi și mai puțin avansat GPT-3.5 va costa mai puțin decât folosirea celui mai nou 4o, însă calitatea și viteza ieșirii vor avea de suferit.

Modele OpenAI disponibile în FlowHunt:

• GPT-4o – Cel mai nou și popular model al OpenAI. Un model multimodal capabil să proceseze text, imagini și audio și să caute pe web. Află mai multe aici.
• GPT-4o Mini – O versiune mai mică și mai economică a GPT-4o, oferind performanțe îmbunătățite față de GPT-3.5 Turbo, cu o fereastră de context de 128K și o reducere a costurilor de peste 60%. Vezi cum se descurcă la sarcini.
• o1 Mini – O variantă optimizată a modelului o1, concepută pentru sarcini de raționament complex, oferind un echilibru între performanță și eficiență. Vezi rezultatele din testările noastre.
• o1 Preview – Un model avansat cu abilități sporite de raționament, excelent în rezolvarea problemelor complexe, în special în programare și raționament științific, disponibil în variantă de previzualizare. Vezi cum gândește și rezolvă sarcini.
• gpt-4-vision-preview – Model de previzualizare ce acceptă atât text, cât și imagini, suportând funcții precum modul JSON și apeluri de funcții paralele, îmbunătățind capabilitățile de interacțiune multimodală. Află mai multe aici.
• GPT-3.5 Turbo – O versiune veche a GPT, excelentă pentru sarcini simple fără costuri mari. Vezi testările noastre AI Agent pentru a-l compara cu modelele noi.

Când alegi modelul potrivit pentru o sarcină, ia în calcul calitatea și viteza de care ai nevoie. Modelele mai vechi sunt ideale pentru economisirea banilor la sarcini simple de volum sau chat. Dacă generezi conținut sau cauți informații pe web, îți recomandăm să alegi un model mai nou, mai rafinat.

Max Tokens

Tokenii reprezintă unități individuale de text pe care modelul le procesează și generează. Utilizarea tokenilor variază în funcție de model, iar un token poate fi orice, de la cuvinte sau subcuvinte la un singur caracter. Modelele sunt de obicei tarifate la milioane de tokeni.

Setarea Max tokens limitează numărul total de tokeni ce pot fi procesați într-o singură interacțiune sau cerere, asigurând că răspunsurile sunt generate în limite rezonabile. Limita implicită este de 4.000 de tokeni, dimensiunea optimă pentru a rezuma documente și mai multe surse pentru generarea unui răspuns.

Temperature

Temperature controlează variabilitatea răspunsurilor, variind de la 0 la 1.

O temperatură de 0.1 va face răspunsurile foarte la obiect, dar potențial repetitive și sărace.

O temperatură ridicată de 1 permite creativitate maximă în răspunsuri, dar crește riscul de răspunsuri irelevante sau chiar halucinații.

De exemplu, temperatura recomandată pentru un chatbot de suport clienți este între 0.2 și 0.5. Acest nivel menține răspunsurile relevante și în concordanță cu scriptul, permițând totodată variații naturale.

Cum adaugi LLM OpenAI în fluxul tău

Vei observa că toate componentele LLM au doar un handle de ieșire. Inputul nu trece prin componentă, deoarece reprezintă doar modelul, iar generarea propriu-zisă are loc în Agenții AI și Generatoare.

Handlul LLM este întotdeauna mov. Handlul de input LLM se găsește pe orice componentă care folosește AI pentru a genera text sau a procesa date. Poți vedea opțiunile făcând click pe handle:

Aceasta îți permite să creezi tot felul de unelte. Să vedem componenta în acțiune. Iată un flux simplu de chatbot alimentat de Agent, folosind o1 Preview pentru a genera răspunsuri. Îl poți considera un chatbot de bază ChatGPT.

Acest flux simplu de Chatbot include:

• Input de chat: Reprezintă mesajul trimis de utilizator în chat.
• Istoric chat: Asigură că chatbot-ul își poate aminti și lua în calcul răspunsurile anterioare.
• Output chat: Reprezintă răspunsul final al chatbot-ului.
• AI Agent: Un agent AI autonom care generează răspunsuri.
• LLM OpenAI: Conexiunea la modelele de generare de text ale OpenAI.