よくある質問

SWE-bench Verifiedとは何ですか？なぜ重要なのでしょうか？

SWE-bench Verifiedは、人間が検証した500件の実際のGitHub課題からなるベンチマークです。モデルにはリポジトリと失敗するテストが与えられ、テストをパスするコードパッチを作成する必要があります。これは現実のソフトウェアエンジニアリング業務に最も近いベンチマークです。2026年半ば現在、Claude Fable 5が95%でトップ、GPT-5.5（88.7%）、Claude Opus 4.8（88.6%）が続いています。

リーダーボードのSRおよび3Pラベルは何を意味しますか？

SRは、モデルの提供元が公式のモデルカード、技術レポート、またはローンチブログで自己報告したスコアを意味します。3Pは、Artificial Analysis、ARC Prize Foundation、NIST/CAISIなどの第三者によって独立して測定されたスコアを意味します。第三者のスコアは標準化された評価条件を使用するため、直接比較においてより信頼性が高くなります。

DeepSeek V4-ProがSWE-benchで2つの異なるスコアを示しているのはなぜですか？

DeepSeek V4-ProはSWE-bench Verifiedで80.6%と自己報告していますが、NIST/CAISIは独立して74.0%と測定しており、6.6ポイントの差があります。この差は、スキャフォールディングの設定、システムプロンプトの構築、トークンバジェットの設定に起因するとされています。リーダーボードでは両方の数値を表示しているため、ご自身で差異を評価いただけます。

GPQA Diamondとは何ですか？

GPQA Diamondは、生物学、化学、物理学における大学院レベルの質問からなるベンチマークで、Google検索では答えられないように専門家によって作成されています。2026年6月現在、Claude Opus 4.8とGPT-5.5が93.6%で同率トップ、続いてQwen 3.7-Max（92.4%）、Claude Opus 4.6（91.3%）となっています。人間の博士号レベルの専門家でも同じ質問に対して約65%のスコアです。

FlowHuntでのコーディングタスクに最適なAIモデルはどれですか？

実際のGitHubスタイルのコーディング（SWE-bench Verified）では、Claude Fable 5が95%でトップ、GPT-5.5が88.7%です。競技プログラミング（LiveCodeBench）では、DeepSeek V4-Proが93.5%でトップです。エージェント型多言語コーディング（SWE-bench Pro）では、Qwen 3.7-Maxが60.6%でトップです。「FlowHunt内」と表示されているモデルはすべてプラットフォームで直接利用可能です。

ARC-AGI-2とは何ですか？誰がトップですか？

ARC-AGI-2は、訓練データの記憶では解けない新しい視覚パターン認識タスクのベンチマークで、ARC Prize Foundationによって独立して検証されています。2026年6月現在、Claude Opus 4.6が69.17%（3P検証済み）でトップ、続いてClaude Sonnet 4.6（58.3%）です。人間のベースラインは約60%です。

Artificial Analysis（AA）インテリジェンス指数とは何ですか？

Artificial Analysisインテリジェンス指数は、いずれの提供元も自己報告していない独立した複合スコアです。現在のリーダー：Claude Opus 4.8（61.4 pts）、GPT-5.5（60.2 pts）、Claude Opus 4.7（57.3 pts）、Qwen 3.7-Max（56.6 pts）、DeepSeek V4-Pro（52 pts）。これらは同一条件下で測定されているため、直接比較が可能です。

オープンウェイトとクローズドAIモデルの違いは何ですか？

オープンウェイトモデルは、学習済みの重みを公開しており、自己ホスティングが可能です。クローズドモデルはAPIのみです。このリーダーボード上のオープンウェイトフロンティアモデルには、DeepSeek V4-Pro（49B/1.6T MoE）、MiniMax M3、Nemotron 3 Ultra（55B/550B MoE）、Mistral Large 3（41B/675B MoE）、およびMeta Llama 4の全バリアントが含まれます。オープンウェイトモデルは、データプライバシー、カスタマイズ、トークンごとのコストが不要といった利点があります。

このリーダーボードはどのくらいの頻度で更新されますか？

リーダーボードは、重要な新しいベンチマーク結果が公開されたり、独立して検証されたりしたときに更新されます。スコアは2026年6月12日時点のものです。すべてのスコアにはSR（自己報告）または3P（第三者）のタグが付けられているため、常に情報源を確認できます。各モデルには、より詳細なベンチマークの内訳を示す専用ページもあります。