Mixtral 8x7B

Mixtral 8x7B là mô hình AI thế hệ cũ, được phát triển bởi Mistral và phát hành vào tháng 12 năm 2023. Là mô hình trọng lượng mở, các trọng số đã huấn luyện của nó được công bố công khai — bạn có thể tự lưu trữ, tinh chỉnh trên dữ liệu độc quyền hoặc chạy tại chỗ mà không phụ thuộc vào API. Cửa sổ ngữ cảnh 32K token của nó ngắn hơn so với các mô hình tiên tiến hiện tại, điều này có thể hạn chế hiệu suất trên các tài liệu dài.

Trên Bảng xếp hạng AI FlowHunt, đây là một trong 24 mô hình được theo dõi, được đánh giá trên 1 điểm chuẩn. Điểm số nổi bật: 80,5% trên HumanEval (#2 trên 2).

Mixtral 8x7B được phát hành vào ngày 1 tháng 12 năm 2023 mà không có thông báo trước — Mistral đã đăng một liên kết torrent magnet lên Twitter và để cộng đồng khám phá những gì họ đã xây dựng. Bản phát hành đã giới thiệu kiến trúc mixture-of-experts đến với làng AI trọng lượng mở chính thống: 8 mạng chuyên gia với 7B tham số mỗi mạng, với 2 chuyên gia được kích hoạt trên mỗi token, tạo ra 12,9B tham số hoạt động và 46,7B tổng tham số. Khi ra mắt, nó ngang bằng với GPT-3.5 trên hầu hết các điểm chuẩn trong khi hoàn toàn là trọng lượng mở và có thể chạy trên GPU tiêu dùng. Mixtral 8x7B đã thiết lập hiệu quả khuôn mẫu MoE mà DeepSeek, Qwen, NVIDIA, Meta và các phòng thí nghiệm khác đã áp dụng kể từ đó cho các kiến trúc trọng lượng mở của riêng họ. Đến năm 2026, nó nằm ở bậc Legacy — bị vượt xa đáng kể trên mọi điểm chuẩn — nhưng ý nghĩa lịch sử của nó trong việc dân chủ hóa hiệu suất MoE là rất đáng kể.

Lưu ý: Tiên phong sparse MoE. Ngang lớp GPT-3.5. Kém xa các mô hình tiên tiến năm 2026.