LLM Meta AI

什么是 LLM Meta AI 组件？

LLM Meta AI 组件将 Claude 系列模型连接到您的 Flow。虽然实际的生成和智能在生成器和智能体中实现，但 LLM 组件让您能够控制所使用的模型。所有组件默认集成 ChatGPT-4。若需要更换模型或获得更多控制权限，可连接此组件。

请注意，连接 LLM 组件是可选的。所有使用 LLM 的组件默认集成 ChatGPT-4o。LLM 组件允许您切换模型并控制模型参数。

LLM Meta AI 组件设置

最大 Token 数

Token 代表模型处理和生成的最小文本单元。不同模型对 token 的定义各异，一个 token 可能是单词、子词，甚至一个字符。模型通常以百万 token 为计价单位。

最大 token 数设置限制每次交互或请求能处理的 token 总量，确保回复不会超过合理范围。默认限制为 4,000 token，这对于文档摘要和多来源内容生成答案来说是最优大小。

温度（Temperature）

温度控制回答的多样性，范围为0 到 1。

温度为0.1时，回复会非常简洁，但可能较为重复或不够丰富。

温度为1时，回答的创造性达到最大，但可能出现无关甚至虚假的内容。

例如，客服机器人建议的温度区间为0.2 到 0.5，这样既能保证答案相关、符合脚本，也能有自然的变化。

模型

这是模型选择器。您可以在此找到所有支持的 Meta AI 模型。我们支持 Meta 开源轻量级 Llama 系列。这些模型专为高效的本地和边缘设备部署而设计：

• Llama 3.2 1B —— 1B 模型包含约 12.3 亿参数，支持最长 128,000 token 的上下文。该模型优化于摘要、指令跟随和改写等任务，适用于移动端和嵌入式设备应用。更多模型细节及其原理请参见相关介绍。
• Llama 3.2 3B —— 3B 模型包含约 32.1 亿参数，支持最长 128,000 token 的上下文。了解该模型如何处理多种任务。

如何将 LLM Meta AI 添加到您的流程

您会注意到，所有 LLM 组件只有输出端口。输入不会经过该组件，因为它仅代表模型，实际的生成在 AI Agent 和 Generator 中完成。

LLM 端口总是紫色的。LLM 输入端口会出现在任何使用 AI 生成文本或处理数据的组件上。点击端口即可查看可选模型：

这让您可以构建各种工具。让我们看看组件的实际应用。以下是一个简单的 AI Agent 聊天机器人流程，利用 Meta AI 的 Llama 3.2 1B 生成回复。您可以将其视为基础的 Llama 聊天机器人。

此简单聊天机器人流程包含：

• 聊天输入：表示用户在聊天中发送的消息。
• 聊天历史：让机器人能记住并参考之前的回复。
• 聊天输出：表示机器人的最终回应。
• AI Agent：生成回复的自主 AI 智能体。
• LLM Meta AI：连接 Meta 文本生成模型。