常见问题

什么是SWE-bench Verified，它为什么重要？

SWE-bench Verified是一个包含500个人工验证的真实GitHub问题的基准测试。模型会收到一个仓库和一个失败的测试——它们必须生成一个能让测试通过的代码补丁。这是最接近真实软件工程工作的基准测试。截至2026年中，Claude Fable 5以95%领先，其次是GPT-5.5（88.7%）和Claude Opus 4.8（88.6%）。

排行榜上的SR和3P标签是什么意思？

SR表示该分数由模型提供商在其官方模型卡、技术报告或发布博客中自行报告。3P表示该分数由第三方独立测量，例如Artificial Analysis、ARC Prize Foundation或NIST/CAISI。第三方分数在横向对比中更可靠，因为它们使用了标准化的评估条件。

为什么DeepSeek V4-Pro显示两个不同的SWE-bench分数？

DeepSeek V4-Pro在SWE-bench Verified上自报80.6%，但NIST/CAISI独立测量为74.0%——相差6.6个百分点。差异归因于脚手架设置、系统提示构建和Token预算设置。我们在排行榜上同时显示两个数字，以便您自行评估差异。

什么是GPQA Diamond？

GPQA Diamond是一个由领域专家编写的生物学、化学和物理学研究生级别问题基准测试，其设计使得谷歌搜索无法回答这些问题。截至2026年6月，Claude Opus 4.8和GPT-5.5以93.6%并列第一，其次是Qwen 3.7-Max（92.4%）和Claude Opus 4.6（91.3%）。人类博士专家在同一问题上的得分约为65%。

在FlowHunt中，哪个AI模型最适合编程任务？

对于真实GitHub风格的编程（SWE-bench Verified），Claude Fable 5以95%领先，GPT-5.5为88.7%。对于竞技编程（LiveCodeBench），DeepSeek V4-Pro以93.5%领先。对于智能体多语言编程（SWE-bench Pro），Qwen 3.7-Max以60.6%领先。所有标记为'in FlowHunt'的模型均可直接在平台中使用。

什么是ARC-AGI-2，谁领先？

ARC-AGI-2是一个新颖的视觉模式识别任务基准测试，无法通过记忆训练数据来解决，由ARC Prize Foundation独立验证。截至2026年6月，Claude Opus 4.6以69.17%（3P验证）领先，其次是Claude Sonnet 4.6（58.3%）。人类基准约为60%。

什么是Artificial Analysis（AA）智能指数？

Artificial Analysis智能指数是一个独立的综合评分，不由任何提供商自行报告。当前领先者：Claude Opus 4.8（61.4分）、GPT-5.5（60.2分）、Claude Opus 4.7（57.3分）、Qwen 3.7-Max（56.6分）、DeepSeek V4-Pro（52分）。由于这些分数是在相同条件下测量的，因此可以直接比较。

开放权重AI模型和封闭AI模型有什么区别？

开放权重模型发布其训练权重供用户自行托管。封闭模型仅提供API访问。本排行榜上的前沿开放权重模型包括DeepSeek V4-Pro（49B/1.6T MoE）、MiniMax M3、Nemotron 3 Ultra（55B/550B MoE）、Mistral Large 3（41B/675B MoE）以及所有Meta Llama 4变体。开放权重模型提供数据隐私、可定制性，且无需按Token付费。

这个排行榜多久更新一次？

排行榜在新的重要基准测试结果公布或经过独立验证时更新。分数截至2026年6月12日。每个分数都标注有SR（自行报告）或3P（第三方），以便您随时了解来源。每个模型还有独立页面，提供更深入的基准测试细分。