Thành phần LLM Open AI là gì?

Thành phần LLM OpenAI kết nối các mô hình ChatGPT với flow của bạn. Trong khi Generator và Agent là nơi phép màu thực sự diễn ra, các thành phần LLM cho phép bạn kiểm soát mô hình được sử dụng. Tất cả các thành phần đều có sẵn ChatGPT-4 mặc định. Bạn có thể kết nối thành phần này nếu muốn thay đổi mô hình hoặc kiểm soát nó nhiều hơn.

Cài đặt Thành phần LLM OpenAI

Tên mô hình

Đây là nơi chọn mô hình. Tại đây, bạn sẽ thấy tất cả các mô hình OpenAI mà FlowHunt hỗ trợ. ChatGPT cung cấp danh sách đầy đủ các mô hình với khả năng và mức giá khác nhau. Ví dụ, sử dụng GPT-3.5 cũ và kém mạnh hơn sẽ tiết kiệm chi phí hơn so với 4o mới nhất, nhưng chất lượng và tốc độ đầu ra sẽ bị ảnh hưởng.

Các mô hình OpenAI có sẵn trong FlowHunt:

• GPT-4o – Mô hình mới nhất và phổ biến nhất của OpenAI. Một mô hình đa phương tiện có thể xử lý văn bản, hình ảnh, âm thanh và tìm kiếm web. Tìm hiểu thêm tại đây.
• GPT-4o Mini – Phiên bản nhỏ hơn, tiết kiệm chi phí của GPT-4o, mang lại hiệu suất vượt trội so với GPT-3.5 Turbo, có cửa sổ ngữ cảnh 128K và tiết kiệm hơn 60% chi phí. Xem cách nó xử lý các tác vụ.
• o1 Mini – Phiên bản tinh gọn của mô hình o1, thiết kế cho các tác vụ tư duy phức tạp, cân bằng giữa hiệu suất và hiệu quả. Xem kết quả thử nghiệm của chúng tôi.
• o1 Preview – Mô hình tiên tiến với khả năng tư duy nâng cao, nổi bật trong việc giải quyết vấn đề phức tạp, đặc biệt là về lập trình và tư duy khoa học, hiện có ở dạng preview. Xem cách nó tư duy và xử lý tác vụ.
• gpt-4-vision-preview – Mô hình preview chấp nhận cả đầu vào văn bản và hình ảnh, hỗ trợ các tính năng như chế độ JSON và gọi hàm song song, tăng khả năng tương tác đa phương tiện. Tìm hiểu thêm tại đây.
• GPT-3.5 Turbo – Phiên bản cũ của GPT, phù hợp cho các tác vụ đơn giản mà vẫn tiết kiệm chi phí. Xem thử nghiệm AI Agent của chúng tôi để so sánh với các mô hình mới.

Khi lựa chọn mô hình phù hợp cho tác vụ, hãy cân nhắc chất lượng và tốc độ mà công việc yêu cầu. Các mô hình cũ phù hợp để tiết kiệm chi phí cho các tác vụ hàng loạt đơn giản và trò chuyện. Nếu bạn muốn tạo nội dung hoặc tìm kiếm trên web, chúng tôi khuyên bạn nên chọn mô hình mới, tinh chỉnh hơn.

Số lượng token tối đa

Token đại diện cho các đơn vị văn bản riêng lẻ mà mô hình xử lý và tạo ra. Việc sử dụng token khác nhau tùy theo mô hình, và một token có thể là một từ, một phần của từ hoặc chỉ là một ký tự. Các mô hình thường được tính phí theo hàng triệu token.

Thiết lập số lượng token tối đa sẽ giới hạn tổng số token có thể được xử lý trong một lần tương tác hoặc yêu cầu, đảm bảo câu trả lời được tạo ra trong phạm vi hợp lý. Mặc định là 4.000 token, đây là kích thước tối ưu để tóm tắt tài liệu và nhiều nguồn để tạo ra một câu trả lời.

Nhiệt độ

Nhiệt độ kiểm soát mức độ đa dạng của câu trả lời, nằm từ 0 đến 1.

Nhiệt độ 0.1 sẽ khiến câu trả lời rất ngắn gọn nhưng có thể lặp lại và thiếu sáng tạo.

Nhiệt độ cao 1 cho phép tối đa sự sáng tạo trong câu trả lời nhưng có nguy cơ xuất hiện nội dung không liên quan hoặc thậm chí là “ảo giác”.

Ví dụ, nhiệt độ khuyến nghị cho bot chăm sóc khách hàng là từ 0.2 đến 0.5. Mức này sẽ giúp câu trả lời phù hợp, đúng kịch bản nhưng vẫn tự nhiên với sự đa dạng cần thiết.

Cách thêm LLM OpenAI vào Flow của bạn

Bạn sẽ thấy tất cả các thành phần LLM chỉ có một đầu ra. Đầu vào không đi qua thành phần này, vì nó chỉ đại diện cho mô hình, còn việc tạo ra thực tế diễn ra ở AI Agent và Generator.

Đầu kết nối LLM luôn có màu tím. Đầu vào LLM được tìm thấy trên bất kỳ thành phần nào sử dụng AI để tạo văn bản hoặc xử lý dữ liệu. Bạn có thể xem các tùy chọn bằng cách nhấp vào đầu kết nối:

Điều này cho phép bạn tạo ra nhiều loại công cụ khác nhau. Hãy xem thành phần này hoạt động như thế nào. Đây là một Flow chatbot đơn giản sử dụng Agent với o1 Preview để tạo câu trả lời. Bạn có thể xem nó như một chatbot ChatGPT cơ bản.

Flow Chatbot đơn giản này bao gồm:

• Đầu vào chat: Đại diện cho tin nhắn người dùng gửi trong chat.
• Lịch sử chat: Đảm bảo chatbot có thể nhớ và tính đến các câu trả lời trước.
• Đầu ra chat: Đại diện cho phản hồi cuối cùng của chatbot.
• AI Agent: Tác nhân AI tự động tạo ra câu trả lời.
• LLM OpenAI: Kết nối với các mô hình tạo văn bản của OpenAI.