LLM Mistral

什么是 LLM Mistral 组件？

LLM Mistral 组件将 Mistral 模型连接到您的流程中。虽然生成器和智能体是实际实现 AI 魔法的地方，LLM 组件则让您可以控制所用的模型。所有组件默认集成 ChatGPT-4。若您想更换模型或获得更多控制权，可以连接此组件。

请注意，连接 LLM 组件是可选的。所有使用 LLM 的组件默认集成 ChatGPT-4o。LLM 组件让您可以更换模型并控制模型参数。

LLM Mistral 组件设置

最大 Tokens

Token 表示模型处理和生成文本的最小单元。不同模型的 token 使用方式不同，一个 token 可能是单词、子词，甚至单个字符。模型通常以百万 token 计费。

最大 tokens 设置限制单次交互或请求中可处理的 token 总数，确保回复在合理范围内生成。默认上限为 4,000 tokens，这也是总结文档和多来源内容以生成答案的理想大小。

Temperature

Temperature 控制回答的多样性，取值范围0 到 1。

0.1 的 temperature 会让回答非常简明，但可能重复且缺乏变化。

1 的高 temperature 则让回答具有极大创造力，但也可能出现无关甚至幻觉性的内容。

例如，客服机器人推荐的 temperature 是0.2 到 0.5 之间。这个水平可以让回答既相关且符合脚本，同时保留自然的表达变化。

模型

这是模型选择器。您可以在这里看到所有支持的 Mistral 模型。目前我们支持如下模型：

• Mistral 7B – 一个拥有 73 亿参数的语言模型，采用 transformers 架构，并以 Apache 2.0 协议发布。尽管体量较小，其表现经常优于 Meta 的 Llama 2 模型。查看我们的测试结果。
• Mistral 8x7B (Mixtral) – 该模型采用稀疏专家混合架构，由八组“专家”组成，共 467 亿参数。每个 token 最多使用 129 亿参数，在大多数基准上表现可媲美或超越 LLaMA 2 70B 和 GPT-3.5。查看示例输出。
• Mistral Large – 一款高性能语言模型，拥有 1230 亿参数，支持 128,000 tokens 的上下文长度。它不仅精通多种语言（包括编程语言），在编程相关任务上表现与 LLaMA 3.1 405B 等模型相当。点击了解更多。

如何将 LLM Mistral 添加到您的流程

您会注意到所有 LLM 组件只有输出端口。输入不会通过该组件，因为它仅代表模型，实际的生成发生在 AI 智能体和生成器中。

LLM 端口始终为紫色。在任何使用 AI 生成文本或处理数据的组件上都能找到 LLM 输入端口。点击端口可查看选项：

这让您可以创建各种工具。让我们看看该组件的实际应用。以下是使用 Mistral 7B 生成回复的简单 AI Agent 聊天机器人流程。您可以将其视为基础的 Mistral 聊天机器人。

这个简单的聊天机器人流程包括：

• 聊天输入：代表用户在聊天中发送的消息。
• 聊天历史：确保聊天机器人能记住并考虑以往回复。
• 聊天输出：代表聊天机器人的最终回复。
• AI Agent：自动化的 AI 智能体，负责生成回复。
• LLM Mistral：与 Mistral 文本生成模型的连接。