LLM Mistral

LLM Mistralコンポーネントとは？

LLM Mistralコンポーネントは、Mistralモデルをフローに接続します。実際の生成や処理は「ジェネレーター」と「エージェント」で行われますが、LLMコンポーネントでは使用するモデルを制御できます。すべてのコンポーネントはデフォルトでChatGPT-4を使用します。モデルを変更したい場合や詳細な制御が必要な場合、このコンポーネントを接続できます。

LLMコンポーネントの接続は任意であることにご注意ください。LLMを使用する全てのコンポーネントは、デフォルトでChatGPT-4oが設定されています。LLMコンポーネントによって、モデルの変更や設定の調整が可能になります。

LLM Mistralコンポーネントの設定

最大トークン数（Max Tokens）

トークンとは、モデルが処理・生成するテキストの単位です。トークンの扱いはモデルによって異なり、単語や部分語、文字1つの場合もあります。モデルの利用料金は通常、100万トークン単位で計算されます。

最大トークン数設定は、1回のインタラクションやリクエストで処理できるトークンの上限を定めます。これにより、生成される応答が適切な範囲に収まります。デフォルトでは4,000トークンで、文書や複数ソースの要約に最適なサイズです。

温度（Temperature）

温度は応答の多様性を制御します。0から1までの範囲で設定します。

0.1の低い温度では、応答は非常に簡潔ですが、繰り返しや内容の乏しさが生じやすくなります。

1の高い温度では、最大限に創造的な回答が得られますが、無関係な応答や幻覚的な出力のリスクも高まります。

たとえば、カスタマーサービス用ボットの推奨温度は0.2〜0.5です。この範囲は、内容がスクリプトに沿いつつも自然なバリエーションを保つのに適しています。

モデル（Model）

ここではモデルの選択ができます。Mistralの対応モデルがすべて表示されます。現在サポートしているモデルは以下のとおりです：

• Mistral 7B – 7.3億パラメータのトランスフォーマーアーキテクチャ言語モデルで、Apache 2.0ライセンスのもと提供されています。小規模ながらMetaのLlama 2モデルを上回る性能を示すことも多いです。当社のテスト結果もご覧ください。
• Mistral 8x7B（Mixtral） – 8つの「エキスパート」グループからなるスパースMixture of Expertsアーキテクチャを採用し、総パラメータは467億。各トークンは最大で12.9億パラメータを利用し、多くのベンチマークでLLaMA 2 70BやGPT-3.5に匹敵または上回る性能を発揮します。出力例もご覧いただけます。
• Mistral Large – 1,230億パラメータと128,000トークンのコンテキスト長を持つ高性能言語モデル。複数言語（プログラミング言語含む）に対応し、特にプログラミング関連タスクでLLaMA 3.1 405Bなどと競合する性能を示します。詳細はこちら。

LLM Mistralをフローに追加する方法

すべてのLLMコンポーネントは出力ハンドルのみを持つことに気づくでしょう。入力はこのコンポーネントを通過せず、モデルの表現のみを担い、実際の生成処理はAIエージェントやジェネレーターで行われます。

LLMハンドルは常に紫色です。LLM入力ハンドルは、AIでテキスト生成やデータ処理を行うコンポーネントすべてにあります。ハンドルをクリックするとオプションが表示されます：

これにより、さまざまなツールを自在に作成することができます。実際のコンポーネント動作例を見てみましょう。下記はMistral 7Bモデルを用いたシンプルなAIエージェントチャットボットフローです。基本的なMistralチャットボットとしてイメージできます。

このシンプルなチャットボットフローは以下で構成されています：

• チャット入力：ユーザーが送信するメッセージを扱います。
• チャット履歴：チャットボットが過去の応答を記憶・反映できるようにします。
• チャット出力：チャットボットの最終的な応答を表します。
• AIエージェント：自律的に応答を生成するAIエージェント。
• LLM Mistral：Mistralのテキスト生成モデルとの接続部分。