LLM xAIコンポーネントとは？
LLM xAIコンポーネントは、Grokモデルをあなたのフローに接続します。実際の生成や処理はジェネレーターやエージェントで行われますが、LLMコンポーネントによって使用するモデルを制御できます。すべてのコンポーネントはデフォルトでChatGPT-4を搭載しています。モデルを変更したい場合や、より細かくコントロールしたい場合は、このコンポーネントを接続してください。
LLMコンポーネントの接続はオプションであることを忘れないでください。LLMを使うすべてのコンポーネントはデフォルトでChatGPT-4oが設定されています。LLMコンポーネントを使えば、モデルの変更やモデル設定のコントロールが可能です。
LLM xAIコンポーネントの設定
最大トークン数
トークンは、モデルが処理・生成するテキストの最小単位です。モデルごとにトークンの扱いは異なり、1トークンは単語やサブワード、1文字の場合もあります。モデルの利用料金は通常、数百万トークン単位で設定されています。
最大トークン数の設定は、1回のやりとりやリクエストで処理できるトークンの合計数を制限し、応答が適切な範囲で生成されるようにします。デフォルトの制限は4,000トークンで、ドキュメントや複数の情報源を要約して回答を作成するのに最適なサイズです。
温度
温度は、応答の多様性を0から1の間で制御します。
0.1の温度では、非常に簡潔ですが、繰り返しや不十分な回答になる可能性があります。
1の高い温度では、最大限にクリエイティブな応答が得られますが、無関係な内容や幻覚的な回答になるリスクがあります。
例えば、カスタマーサポート用のボットには0.2～0.5の温度が推奨されます。この範囲なら、回答はスクリプト通りでありながら自然なバリエーションが生まれます。
モデル
ここでモデルを選択します。xAIプロバイダーが提供するすべての対応モデルが表示されます。xAIの主力テキストモデルはGrokです。現在サポートしているのはgrok-betaモデルのみで、これはパブリックAPIとして公開されている唯一のモデルです。
Grok-betaの詳細や他モデルとの比較について知りたい方は、こちらの記事をご覧ください。
LLM xAIをフローに追加する方法
すべてのLLMコンポーネントには出力ハンドルのみがあることに気付きます。入力はこのコンポーネントを通過せず、モデルを表すだけで、実際の生成はAIエージェントやジェネレーターが担当します。
LLMハンドルは常に紫色です。LLM入力ハンドルは、テキスト生成やデータ処理をAIで行うすべてのコンポーネントにあります。ハンドルをクリックすると、選択肢が表示されます。
これにより、さまざまなツールを自由に作成できます。実際にコンポーネントを使ってみましょう。下図は、xAIのgrok-betaを使って応答を生成しているシンプルなAIエージェント型チャットボットフローの例です。基本的なxAIチャットボットと考えることができます。
このシンプルなチャットボットフローは以下を含みます：
- チャット入力: ユーザーがチャットで送信するメッセージを表します。
- チャット履歴: チャットボットが過去の応答を記憶し、考慮できるようにします。
- チャット出力: チャットボットの最終的な応答を表します。
- AIエージェント: 応答を生成する自律型AIエージェントです。
- LLM xAI: xAIのテキスト生成モデルへの接続です。
