LLM OpenAI

Czym jest komponent LLM OpenAI?

Komponent LLM OpenAI łączy modele ChatGPT z Twoim flow. Chociaż to Generatory i Agenci są miejscem, gdzie dzieje się właściwa magia, komponenty LLM pozwalają kontrolować, jaki model jest używany. Wszystkie komponenty domyślnie korzystają z ChatGPT-4. Możesz podłączyć ten komponent, jeśli chcesz zmienić model lub mieć nad nim większą kontrolę.

Ustawienia komponentu LLM OpenAI

Nazwa modelu

To jest selektor modelu. Tutaj znajdziesz wszystkie modele OpenAI obsługiwane przez FlowHunt. ChatGPT oferuje pełną listę modeli o różnych możliwościach i cenach. Na przykład, używanie mniej zaawansowanego i starszego GPT-3.5 będzie kosztować mniej niż najnowszego 4o, ale jakość i szybkość wyników będą niższe.

Modele OpenAI dostępne w FlowHunt:

• GPT-4o – Najnowszy i najpopularniejszy model OpenAI. Model multimodalny zdolny do przetwarzania tekstu, obrazów, dźwięku oraz przeszukiwania internetu. Dowiedz się więcej tutaj.
• GPT-4o Mini – Mniejsza, tańsza wersja GPT-4o, oferująca lepszą wydajność niż GPT-3.5 Turbo, z oknem kontekstowym 128K i ponad 60% redukcją kosztów. Zobacz, jak radzi sobie z zadaniami.
• o1 Mini – Odchudzona wersja modelu o1, zaprojektowana do złożonych zadań wymagających rozumowania, oferuje równowagę między wydajnością a efektywnością. Sprawdź, jak wypadł w naszych testach.
• o1 Preview – Zaawansowany model o ulepszonych możliwościach rozumowania, doskonały w rozwiązywaniu złożonych problemów, szczególnie w kodowaniu i rozumowaniu naukowym, dostępny jako wersja preview. Zobacz, jak myśli i radzi sobie z zadaniami.
• gpt-4-vision-preview – Model preview akceptujący wejście tekstowe i obrazowe, obsługujący tryb JSON i równoległe wywoływanie funkcji, co zwiększa możliwości multimodalnej interakcji. Dowiedz się więcej tutaj.
• GPT-3.5 Turbo – Starsza wersja GPT, świetna do prostych zadań przy niskim koszcie. Zobacz nasze testy agenta AI i porównaj ją z nowszymi modelami.

Wybierając właściwy model do zadania, weź pod uwagę wymaganą jakość i szybkość. Starsze modele świetnie sprawdzają się przy prostych, masowych zadaniach i czacie, pozwalając zaoszczędzić. Jeśli generujesz treści lub przeszukujesz internet, sugerujemy wybrać nowszy, bardziej dopracowany model.

Maksymalna liczba tokenów

Tokeny to pojedyncze jednostki tekstu, które model przetwarza i generuje. Zużycie tokenów zależy od modelu, a pojedynczy token może być słowem, pod-słowem lub pojedynczym znakiem. Modele są zazwyczaj wyceniane za miliony tokenów.

Ustawienie maksymalnej liczby tokenów ogranicza całkowitą liczbę tokenów, które mogą być przetworzone w jednej interakcji lub zapytaniu, zapewniając, że odpowiedzi mieszczą się w rozsądnych granicach. Domyślny limit to 4000 tokenów, co jest optymalną wielkością do podsumowywania dokumentów i wielu źródeł, aby wygenerować odpowiedź.

Temperatura

Temperatura kontroluje zmienność odpowiedzi, w zakresie od 0 do 1.

Temperatura 0,1 sprawi, że odpowiedzi będą bardzo rzeczowe, ale mogą być powtarzalne i mało rozbudowane.

Wysoka temperatura 1 pozwala na maksymalną kreatywność odpowiedzi, ale niesie ryzyko odpowiedzi nie na temat lub nawet “halucynacji”.

Na przykład zalecana temperatura dla chatbota obsługującego klientów to między 0,2 a 0,5. Ten poziom utrzymuje odpowiedzi zgodne z tematem i scenariuszem, ale pozwala na naturalną zmienność.

Jak dodać LLM OpenAI do swojego flow

Zauważysz, że wszystkie komponenty LLM mają tylko uchwyt wyjściowy. Wejście nie przechodzi przez komponent, ponieważ reprezentuje on tylko model, a faktyczna generacja zachodzi w Agentach AI i Generatorach.

Uchwyt LLM jest zawsze fioletowy. Uchwyt wejściowy LLM znajdziesz na każdym komponencie, który używa AI do generowania tekstu lub przetwarzania danych. Opcje zobaczysz po kliknięciu uchwytu:

To pozwala tworzyć różne narzędzia. Zobaczmy komponent w akcji. Oto prosty flow chatbota napędzanego Agentem z użyciem o1 Preview do generowania odpowiedzi. Możesz potraktować to jako podstawowego chatbota ChatGPT.

Ten prosty flow chatbota obejmuje:

• Wejście z czatu: Reprezentuje wiadomość wysłaną przez użytkownika.
• Historia czatu: Zapewnia, że chatbot pamięta i uwzględnia wcześniejsze odpowiedzi.
• Wyjście z czatu: Reprezentuje ostateczną odpowiedź chatbota.
• AI Agent: Autonomiczny agent AI, który generuje odpowiedzi.
• LLM OpenAI: Połączenie z modelami generowania tekstu OpenAI.