Tìm mô hình AI phù hợp cho công việc của bạn

Câu hỏi thường gặp

Bạn chọn mô hình tốt nhất cho từng mục đích như thế nào?

Mỗi thẻ xếp hạng các mô hình theo một benchmark phù hợp nhất với công việc: DeepSWE cho tác nhân lập trình, Terminal-Bench 4.0 cho tác vụ terminal và tác nhân, Humanity's Last Exam cho suy luận khó, và Artificial Analysis Intelligence Index cho chất lượng tổng thể, mô hình open-weight và các mô hình có trong FlowHunt. Nếu có ít hơn ba mô hình có điểm DeepSWE, thẻ lập trình sẽ chuyển sang SWE-bench Pro và nêu rõ điều đó.

Verified và Self-reported có nghĩa là gì?

Điểm số Verified (đã xác minh) được đo bởi một đơn vị đánh giá độc lập, chẳng hạn như Artificial Analysis, ARC Prize Foundation hoặc bảng xếp hạng DeepSWE, với một thiết lập cố định cho mọi mô hình. Điểm số Self-reported (tự công bố) đến từ nhà phát triển mô hình, trong thẻ mô hình hoặc bài đăng ra mắt của họ. Chỉ điểm số Verified được tính vào xếp hạng. Điểm số Self-reported được hiển thị và đánh dấu nhưng không bao giờ được xếp hạng. Khi có cả hai, trang mô hình hiển thị cả hai.

Tại sao cùng một mô hình lại có hai điểm số khác nhau trên một bài đánh giá?

Các phòng thí nghiệm thường thử nghiệm mô hình của chính họ với thiết lập tùy chỉnh: một harness tác nhân khác, nhiều thời gian suy nghĩ hơn hoặc ngân sách token lớn hơn. Các đơn vị đánh giá độc lập dùng một thiết lập cố định cho mọi mô hình, nên con số của họ dễ so sánh hơn và thường thấp hơn. Chúng tôi xếp hạng theo con số độc lập và giữ con số của phòng thí nghiệm trên trang mô hình.

Artificial Analysis Intelligence Index là gì?

Đây là điểm tổng hợp độc lập từ Artificial Analysis, kết hợp các bài kiểm tra về tác nhân, lập trình, kiến thức và khoa học thành một con số. Chúng tôi dùng phiên bản 4 của chỉ số này. Điểm số của nó không thể so sánh với các phiên bản trước, nên những con số cũ mà bạn có thể đã thấy ở nơi khác sẽ trông cao hơn.

DeepSWE là gì?

DeepSWE là một bộ gồm 113 tác vụ phần mềm dài được viết từ đầu, nên khó có khả năng xuất hiện trong dữ liệu huấn luyện. Mô hình phải xây dựng hoặc thay đổi mã thực, và các bài kiểm tra ẩn quyết định xem nó có hoạt động hay không. Bộ này phân biệt các tác nhân lập trình hiện nay rõ ràng hơn so với SWE-bench Verified, bài mà hầu hết các mô hình tiên tiến đã gần như đạt tối đa.

Tại sao SWE-bench Verified chỉ được giữ lại để tham khảo lịch sử?

Các mô hình tiên tiến hiện giải được gần như toàn bộ 500 vấn đề GitHub của bài này, nên khoảng cách giữa chúng nằm trong phạm vi nhiễu. Chúng tôi vẫn hiển thị nó trong bảng đầy đủ để bạn có thể so sánh với các báo cáo cũ, nhưng nó không còn quyết định bất kỳ xếp hạng nào.

Sự khác biệt giữa mô hình trọng số mở và mô hình đóng là gì?

Các mô hình trọng số mở công bố trọng số đã huấn luyện, nên bạn có thể chạy chúng trên phần cứng của riêng mình, giữ dữ liệu nội bộ và tinh chỉnh chúng. Các mô hình đóng chỉ có sẵn thông qua API hoặc ứng dụng của nhà phát triển. Dùng bộ lọc Open weight để chỉ xem các mô hình trọng số mở.

Bảng xếp hạng này được cập nhật bao lâu một lần?

Chúng tôi cập nhật khi các mô hình lớn được phát hành hoặc khi các đơn vị đánh giá độc lập công bố kết quả mới. Ngày ở đầu trang cho biết lần cập nhật gần nhất, và mỗi trang mô hình đều liệt kê ngày phát hành cùng nguồn của từng điểm số khi có công bố.