Komponentenbeschreibung
So funktioniert die LLM OpenAI-Komponente
Was ist die LLM OpenAI-Komponente?
Die LLM OpenAI-Komponente verbindet ChatGPT-Modelle mit Ihrem Flow. Während die Generatoren und Agenten für die eigentliche Magie sorgen, ermöglichen LLM-Komponenten Ihnen die Kontrolle über das verwendete Modell. Alle Komponenten kommen standardmäßig mit ChatGPT-4. Sie können diese Komponente verbinden, wenn Sie das Modell wechseln oder mehr Kontrolle darüber gewinnen möchten.
Einstellungen der LLM OpenAI-Komponente
Modellname
Dies ist der Modell-Auswähler. Hier finden Sie alle OpenAI-Modelle, die FlowHunt unterstützt. ChatGPT bietet eine vollständige Liste unterschiedlich leistungsfähiger und unterschiedlich bepreister Modelle. Zum Beispiel kostet die Verwendung des weniger fortschrittlichen und älteren GPT-3.5 weniger als die des neuesten 4o, aber Qualität und Geschwindigkeit der Ausgabe leiden darunter.
In FlowHunt verfügbare OpenAI-Modelle:
- GPT-4o – OpenAIs neuestes und beliebtestes Modell. Ein multimodales Modell, das Text, Bilder und Audio verarbeiten sowie im Web suchen kann. Mehr dazu hier.
- GPT-4o Mini – Eine kleinere, kosteneffiziente Version von GPT-4o, die eine verbesserte Leistung gegenüber GPT-3.5 Turbo mit einem 128K-Kontextfenster und über 60% Kostenersparnis bietet. Sehen Sie hier, wie es Aufgaben bewältigt.
- o1 Mini – Eine schlanke Version des o1-Modells, konzipiert für komplexe Denkaufgaben und ein Gleichgewicht zwischen Leistung und Effizienz. Sehen Sie, wie es sich in unseren Tests geschlagen hat.
- o1 Preview – Ein fortschrittliches Modell mit erweiterten Denkfähigkeiten, das sich besonders bei komplexen Problemstellungen, insbesondere im Programmieren und wissenschaftlichen Denken, auszeichnet – verfügbar als Vorschau. Sehen Sie, wie es denkt und Aufgaben bearbeitet.
- gpt-4-vision-preview – Vorschau-Modell, das sowohl Text- als auch Bildeingaben akzeptiert und Funktionen wie JSON-Modus und parallele Funktionsaufrufe unterstützt, um multimodale Interaktionen zu verbessern. Mehr dazu hier.
- GPT-3.5 Turbo – Eine Legacy-Version von GPT, ideal für einfache Aufgaben zu geringen Kosten. Sehen Sie in unserem KI-Agenten-Test, wie es im Vergleich zu neueren Modellen abschneidet.
Berücksichtigen Sie bei der Wahl des richtigen Modells für Ihre Aufgabe die erforderliche Qualität und Geschwindigkeit. Ältere Modelle eignen sich hervorragend, um bei einfachen Massentasks und im Chat Geld zu sparen. Wenn Sie Inhalte generieren oder im Web suchen, empfehlen wir ein neueres, ausgereifteres Modell.
Maximale Tokenanzahl
Tokens sind die einzelnen Texteinheiten, die das Modell verarbeitet und generiert. Der Tokenverbrauch variiert je nach Modell, und ein Token kann von ganzen Wörtern oder Teilwörtern bis zu einzelnen Zeichen reichen. Modelle werden üblicherweise nach Millionen von Tokens abgerechnet.
Die Einstellung für die maximale Tokenanzahl begrenzt die Gesamtzahl der Tokens, die in einer einzelnen Interaktion oder Anfrage verarbeitet werden können, und stellt sicher, dass die Antworten in einem vernünftigen Rahmen bleiben. Der Standardwert ist 4.000 Tokens – optimal für die Zusammenfassung von Dokumenten und mehrerer Quellen zur Generierung einer Antwort.
Temperatur
Die Temperatur steuert die Variabilität der Antworten und reicht von 0 bis 1.
Eine Temperatur von 0,1 sorgt für sehr präzise, aber möglicherweise sich wiederholende und wenig abwechslungsreiche Antworten.
Eine hohe Temperatur von 1 erlaubt maximale Kreativität bei den Antworten, birgt jedoch das Risiko von irrelevanten oder sogar halluzinatorischen Ausgaben.
Zum Beispiel wird für einen Kundenservice-Bot eine Temperatur zwischen 0,2 und 0,5 empfohlen. Dieser Bereich hält die Antworten relevant und am Skript, lässt aber eine natürliche Variation in den Antworten zu.
Wie füge ich LLM OpenAI zu meinem Flow hinzu?
Sie werden feststellen, dass alle LLM-Komponenten nur einen Output-Handle besitzen. Eingaben werden nicht durch die Komponente geleitet, da sie lediglich das Modell repräsentiert, während die eigentliche Generierung in KI-Agenten und Generatoren stattfindet.
Der LLM-Handle ist immer lila. Den LLM-Input-Handle finden Sie an jeder Komponente, die KI zur Textgenerierung oder Datenverarbeitung verwendet. Sie sehen die Optionen, wenn Sie auf den Handle klicken:
Damit können Sie alle Arten von Tools erstellen. Sehen wir uns die Komponente in Aktion an. Hier folgt ein einfacher, Agent-basierter Chatbot-Flow, der o1 Preview zur Antwortgenerierung verwendet. Sie können sich das als einen grundlegenden ChatGPT-Chatbot vorstellen.
Dieser einfache Chatbot-Flow beinhaltet:
- Chat-Eingabe: Stellt die Nachricht dar, die ein Nutzer im Chat sendet.
- Chatverlauf: Stellt sicher, dass der Chatbot sich an frühere Antworten erinnern und sie berücksichtigen kann.
- Chat-Ausgabe: Stellt die endgültige Antwort des Chatbots dar.
- KI-Agent: Ein autonomer KI-Agent, der die Antworten generiert.
- LLM OpenAI: Die Verbindung zu OpenAIs Textgenerierungsmodellen.
Beispiele für Flow-Vorlagen mit der LLM OpenAI-Komponente
Um Ihnen den schnellen Einstieg zu erleichtern, haben wir mehrere Beispiel-Flow-Vorlagen vorbereitet, die zeigen, wie die LLM OpenAI-Komponente effektiv genutzt wird. Diese Vorlagen präsentieren verschiedene Anwendungsfälle und Best Practices und erleichtern Ihnen das Verständnis und die Implementierung der Komponente in Ihren eigenen Projekten.
Häufig gestellte Fragen
- Was sind LLMs?
Large Language Models sind Arten von KI, die darauf trainiert wurden, menschenähnlichen Text zu verarbeiten, zu verstehen und zu generieren. Ein bekanntes Beispiel ist ChatGPT, das auf nahezu jede Anfrage ausführlich antworten kann.
- Kann ich ein LLM direkt mit dem Chat Output verbinden?
Nein, die LLM-Komponente ist nur eine Repräsentation des KI-Modells. Sie ändert das Modell, das der Generator verwendet. Das Standard-LLM im Generator ist ChatGPT-4o.
- Welche LLMs sind in Flows verfügbar?
Derzeit ist nur die OpenAI-Komponente verfügbar. In Zukunft planen wir, weitere hinzuzufügen.
- Muss ich ein LLM zu meinem Flow hinzufügen?
Nein, Flows sind eine vielseitige Funktion mit vielen Anwendungsfällen – auch ohne LLM. Sie fügen ein LLM hinzu, wenn Sie einen konversationellen Chatbot bauen möchten, der frei Textantworten generiert.
- Generiert die LLM OpenAI-Komponente die Antwort?
Nicht wirklich. Die Komponente repräsentiert nur das Modell und erstellt Regeln, denen es folgen soll. Die Generator-Komponente verbindet es mit der Eingabe und führt die Anfrage durch das LLM, um eine Ausgabe zu erstellen.
Bereit, Ihre eigene KI zu bauen?
Intelligente Chatbots und KI-Tools unter einem Dach. Verbinden Sie intuitive Bausteine, um Ihre Ideen in automatisierte Flows zu verwandeln.
Mehr erfahren
