Thành phần LLM Meta AI là gì?

Thành phần LLM Meta AI kết nối dòng mô hình Claude vào Flow của bạn. Trong khi các bộ Sinh và Tác nhân là nơi phép màu thực sự diễn ra, các thành phần LLM cho phép bạn kiểm soát mô hình được sử dụng. Tất cả thành phần đều đi kèm ChatGPT-4 mặc định. Bạn có thể kết nối thành phần này nếu muốn thay đổi mô hình hoặc kiểm soát nhiều hơn.

Lưu ý rằng việc kết nối một thành phần LLM là không bắt buộc. Tất cả thành phần sử dụng LLM đều đi kèm ChatGPT-4o mặc định. Các thành phần LLM cho phép bạn thay đổi mô hình và kiểm soát các thiết lập mô hình.

Thiết lập Thành phần LLM Meta AI

Token tối đa

Token đại diện cho những đơn vị văn bản riêng lẻ mà mô hình xử lý và sinh ra. Việc sử dụng token phụ thuộc vào từng mô hình, và một token có thể là từ, cụm từ, hoặc chỉ một ký tự. Các mô hình thường được tính phí theo hàng triệu token.

Thiết lập token tối đa sẽ giới hạn tổng số token có thể xử lý trong một phiên tương tác hoặc yêu cầu, đảm bảo phản hồi được tạo ra trong phạm vi hợp lý. Giới hạn mặc định là 4.000 token, kích thước tối ưu để tóm tắt tài liệu và nhiều nguồn nhằm tạo ra câu trả lời.

Nhiệt độ

Nhiệt độ kiểm soát mức độ đa dạng của câu trả lời, dao động từ 0 đến 1.

Nhiệt độ 0.1 sẽ khiến phản hồi rất ngắn gọn nhưng có thể lặp lại và thiếu sáng tạo.

Nhiệt độ cao 1 cho phép mức sáng tạo tối đa trong câu trả lời nhưng có thể tạo ra những phản hồi không liên quan hoặc thậm chí “ảo giác”.

Ví dụ, mức nhiệt độ được khuyến nghị cho chatbot chăm sóc khách hàng là từ 0.2 đến 0.5. Mức này sẽ giữ cho câu trả lời phù hợp và sát kịch bản, đồng thời vẫn đảm bảo sự tự nhiên.

Mô hình

Đây là bộ chọn mô hình. Bạn sẽ tìm thấy tất cả các mô hình được hỗ trợ từ Meta AI tại đây. Chúng tôi hỗ trợ các mô hình Llama nhẹ, mã nguồn mở của Meta. Những mô hình này được thiết kế cho hiệu quả trên thiết bị và triển khai biên:

• Llama 3.2 1B – Mô hình 1B có khoảng 1,23 tỷ tham số, với độ dài ngữ cảnh lên đến 128.000 token. Mô hình này được tối ưu cho các tác vụ như tóm tắt, làm theo hướng dẫn và viết lại, thích hợp với các ứng dụng trên thiết bị di động và nhúng. Tìm hiểu thêm về mô hình này và cách nó hoạt động trong bài viết này.
• Llama 3.2 3B – Mô hình 3B có khoảng 3,21 tỷ tham số với độ dài ngữ cảnh lên đến 128.000 token. Tìm hiểu thêm về cách mô hình này xử lý các tác vụ khác nhau.

Cách thêm LLM Meta AI vào Flow của bạn

Bạn sẽ thấy rằng tất cả thành phần LLM chỉ có một đầu ra. Dữ liệu đầu vào không đi qua thành phần này, vì nó chỉ đại diện cho mô hình, còn việc sinh thực tế diễn ra ở các Tác nhân AI và Bộ sinh.

Đầu nối LLM luôn có màu tím. Đầu nối đầu vào LLM nằm trên mọi thành phần sử dụng AI để sinh văn bản hoặc xử lý dữ liệu. Bạn có thể xem các tùy chọn bằng cách nhấp vào đầu nối:

Điều này cho phép bạn tạo ra đủ loại công cụ. Hãy cùng xem thành phần này hoạt động. Đây là một Flow chatbot Tác nhân AI đơn giản sử dụng Llama 3.2 1B của Meta AI để sinh phản hồi. Bạn có thể coi nó như một chatbot Llama cơ bản.

Flow Chatbot đơn giản này bao gồm:

• Đầu vào chat: Đại diện cho tin nhắn mà người dùng gửi trong chat.
• Lịch sử chat: Đảm bảo chatbot có thể ghi nhớ và xét đến các phản hồi trước đó.
• Đầu ra chat: Đại diện cho phản hồi cuối cùng của chatbot.
• Tác nhân AI: Một tác nhân AI tự động sinh phản hồi.
• LLM Meta AI: Kết nối với các mô hình sinh văn bản của Meta.