Meta logo

Meta

Llama 3.3 70B

EstablishedOpen-weightAvailable in FlowHunt

Llama 3.3 70B là mô hình AI đã được kiểm chứng, vẫn được triển khai rộng rãi trong các hệ thống sản xuất, được phát triển bởi Meta và phát hành vào tháng 12 năm 2024. Là một mô hình trọng lượng mở, các trọng số đã huấn luyện của nó được công bố công khai — bạn có thể tự lưu trữ, tinh chỉnh trên dữ liệu độc quyền hoặc chạy tại chỗ mà không phụ thuộc vào API. Mô hình hỗ trợ cửa sổ ngữ cảnh 128K token, đủ cho hầu hết các tài liệu và ứng dụng đa lượt tương tác.

Trên Bảng xếp hạng AI FlowHunt, đây là một trong 24 mô hình được theo dõi, được đánh giá qua 4 điểm chuẩn. Các điểm số nổi bật: 88,4% trên HumanEval (#1 trên 2); 77,0% trên MATH-500 (#3 trên 4); 68,9% trên MMLU-Pro (#7 trên 8).

Llama 3.3 70B được phát hành vào ngày 6 tháng 12 năm 2024 như một trong những mô hình cuối cùng của dòng Llama 3 của Meta trước khi chuyển đổi kiến trúc sang Llama 4. Là mô hình dense (không phải MoE) với 70B tham số, nó phản ánh triết lý của thế hệ Llama 3 về kiến trúc mở rộng đơn giản: càng nhiều tham số, kết quả càng tốt, cấu trúc minh bạch. Cửa sổ ngữ cảnh 128K cùng với điểm MMLU-Pro và SWE-bench mạnh mẽ đã biến nó thành mô hình tự lưu trữ hàng đầu cho các nhóm có đủ tài nguyên GPU để suy luận dense 70B nhưng không phải hệ thống MoE. Mô hình vẫn phổ biến trong các ngành được quản lý chặt chẽ — chăm sóc sức khỏe, tài chính, pháp lý — nơi tính minh bạch và khả năng kiểm toán của kiến trúc dense, kết hợp với khả năng trọng lượng mở, quan trọng không kém năng lực thô.

Lưu ý: Chất lượng gần 405B với chi phí 70B. Chỉ văn bản. IFEval 92,1%.

Phát hành
Tháng 12 năm 2024
Tham số
70B dense
Ngữ cảnh
128K token
Trọng số
Mở
Cấp
Established
Nhà cung cấp
Meta

Llama 3.3 70B Benchmark Rankings

Rank among all 24 models tracked on this leaderboard. SR = self-reported · 3P / AA / C = independently verified.

BenchmarkScoreRankSourceWhat it measures
GPQA Diamond50.5%13 of 14SRGraduate-level Google-proof science Q&A
MMLU-Pro68.9%7 of 8SRHard knowledge reasoning, 12K questions
MATH-50077.0%3 of 4SRHendrycks math (500 problems)
HumanEval pass@188.4%1 of 2SRPython code generation (saturated at frontier)

Detailed Benchmark Scores

GPQA ◇ SR
50.5%
Graduate-level Google-proof science Q&A
MMLU-P SR
68.9%
Hard knowledge reasoning, 12K questions
MATH SR
77.0%
Hendrycks math (500 problems)
HumEval SR
88.4%
Python code generation (saturated at frontier)

Llama 3.3 70B vs. Established Peers

Head-to-head benchmark comparison with other Established-tier models. Higher is better for all metrics.

BenchmarkLlama 3.3 70BGPT-4oLlama 4 Maverick
GPQA ◇50.5%53.6%69.8%
MMLU-P68.9%72.6%80.5%
MATH77.0%
HumEval88.4%

About Meta

Meta Founded 2004 · Menlo Park, CA
Website →

Meta Platforms (trước đây là Facebook) là một trong những công ty công nghệ lớn nhất thế giới, có trụ sở chính tại Menlo Park, California, và nổi tiếng nhất với Facebook, Instagram, WhatsApp và Threads. Thông qua Meta AI (trước đây là FAIR), công ty đã trở thành nhà xuất bản năng suất nhất của các mô hình ngôn ngữ lớn trọng số mở thông qua dòng Llama. Dòng Llama 4 — Maverick, Scout và Behemoth — được phát hành theo các giấy phép cộng đồng cho phép và vẫn là các mô hình trọng số mở được tải xuống nhiều nhất trên các nền tảng như Hugging Face. Chiến lược AI của Meta khác biệt so với các phòng thí nghiệm lớn khác: thay vì vận hành một API thương mại, Meta phát hành các mô hình một cách công khai cho mục đích nghiên cứu và thương mại, tích hợp các tính năng AI tạo sinh trên các ứng dụng của riêng mình, và đã công khai ủng hộ việc phát hành trọng số mở như là cách tiếp cận dân chủ nhất đối với phát triển AI.

Trường hợp Sử dụng

Nên Dùng Llama 3.3 70B Cho Việc Gì

Lập luận Khoa học & Kỹ thuật
Triển khai Tự lưu trữ & Riêng tư

Strengths & Limitations

Strengths

  • Triển khai tự lưu trữ & riêng tư dữ liệu (trọng lượng mở)
  • Tác vụ ngữ cảnh dài (cửa sổ ngữ cảnh 128K)

Limitations

  • Lập luận khoa học khó dưới mức tiên tiến (50% GPQA — mô hình tiên tiến đạt 90%+)
  • Tụt hậu đáng kể so với các mô hình tiên tiến năm 2026 về lập trình tác nhân và lập luận phức tạp

Xem Toàn bộ Bảng xếp hạng Mô hình AI

Câu hỏi thường gặp

Tìm hiểu thêm

Mô hình Ngôn ngữ Lớn Meta AI (LLaMA)
Mô hình Ngôn ngữ Lớn Meta AI (LLaMA)

Mô hình Ngôn ngữ Lớn Meta AI (LLaMA)

Mô hình Ngôn ngữ Lớn Meta AI (LLaMA) là một mô hình xử lý ngôn ngữ tự nhiên tiên tiến do Meta phát triển. Với số lượng tham số lên đến 65 tỷ, LLaMA xuất sắc tro...

3 phút đọc
AI Language Model +6