자주 묻는 질문

SWE-bench Verified란 무엇이며 왜 중요한가요?

SWE-bench Verified는 사람이 검증한 500개의 실제 GitHub 이슈로 구성된 벤치마크입니다. 모델은 저장소와 실패하는 테스트를 받아 테스트를 통과시키는 코드 패치를 만들어야 합니다. 실제 소프트웨어 엔지니어링 작업에 가장 가까운 벤치마크입니다. 2026년 중반 기준, Claude Fable 5가 95%로 선두를 달리고 있으며, GPT-5.5(88.7%)와 Claude Opus 4.8(88.6%)이 그 뒤를 따릅니다.

리더보드에서 SR과 3P 라벨은 무엇을 의미하나요?

SR은 해당 모델 제공업체가 공식 모델 카드, 기술 보고서 또는 출시 블로그에서 자체 보고한 점수를 의미합니다. 3P는 Artificial Analysis, ARC Prize Foundation, NIST/CAISI와 같은 제3자가 독립적으로 측정한 점수를 의미합니다. 제3자 점수는 표준화된 평가 조건을 사용하므로 직접 비교에 더 신뢰할 수 있습니다.

DeepSeek V4-Pro에 두 개의 다른 SWE-bench 점수가 있는 이유는 무엇인가요?

DeepSeek V4-Pro는 SWE-bench Verified에서 80.6%를 자체 보고했지만, NIST/CAISI가 독립적으로 측정한 결과는 74.0%로 6.6포인트 차이가 있습니다. 이러한 차이는 스캐폴딩 설정, 시스템 프롬프트 구성 및 토큰 예산 설정에 기인합니다. 리더보드에 두 숫자를 모두 표시하여 직접 차이를 평가할 수 있도록 했습니다.

GPQA Diamond란 무엇인가요?

GPQA Diamond는 생물학, 화학, 물리학 분야의 대학원 수준 질문으로 구성된 벤치마크로, Google 검색으로 답을 찾을 수 없도록 도메인 전문가가 작성했습니다. 2026년 6월 기준, Claude Opus 4.8과 GPT-5.5가 93.6%로 동률을 이루고 있으며, Qwen 3.7-Max(92.4%)와 Claude Opus 4.6(91.3%)이 뒤를 잇고 있습니다. 인간 박사급 전문가는 같은 질문에 대해 약 65%의 점수를 받습니다.

FlowHunt에서 코딩 작업에 가장 적합한 AI 모델은 무엇인가요?

실제 GitHub 스타일 코딩(SWE-bench Verified)의 경우 Claude Fable 5가 95%, GPT-5.5가 88.7%로 선두입니다. 경쟁 프로그래밍(LiveCodeBench)의 경우 DeepSeek V4-Pro가 93.5%로 선두입니다. 에이전트 기반 다국어 코딩(SWE-bench Pro)의 경우 Qwen 3.7-Max가 60.6%로 선두입니다. 'in FlowHunt'로 표시된 모든 모델은 플랫폼에서 직접 사용할 수 있습니다.

ARC-AGI-2란 무엇이며 누가 선두인가요?

ARC-AGI-2는 훈련 데이터를 암기하여 해결할 수 없는 새로운 시각적 패턴 인식 작업으로 구성된 벤치마크로, ARC Prize Foundation이 독립적으로 검증했습니다. 2026년 6월 기준, Claude Opus 4.6이 69.17%(3P 검증)로 선두이며, Claude Sonnet 4.6(58.3%)이 뒤를 따릅니다. 인간 기준선은 약 60%입니다.

Artificial Analysis(AA) 인텔리전스 지수란 무엇인가요?

Artificial Analysis 인텔리전스 지수는 제공업체가 자체 보고하지 않은 독립적인 종합 점수입니다. 현재 선두: Claude Opus 4.8(61.4점), GPT-5.5(60.2점), Claude Opus 4.7(57.3점), Qwen 3.7-Max(56.6점), DeepSeek V4-Pro(52점). 이 점수들은 동일한 조건에서 측정되었으므로 직접 비교가 가능합니다.

오픈 웨이트 모델과 폐쇄형 AI 모델의 차이는 무엇인가요?

오픈 웨이트 모델은 자체 호스팅을 위해 학습된 가중치를 공개합니다. 폐쇄형 모델은 API 전용입니다. 이 리더보드의 오픈 웨이트 프론티어 모델로는 DeepSeek V4-Pro(49B/1.6T MoE), MiniMax M3, Nemotron 3 Ultra(55B/550B MoE), Mistral Large 3(41B/675B MoE) 및 모든 Meta Llama 4 변형이 포함됩니다. 오픈 웨이트 모델은 데이터 프라이버시, 맞춤 설정 및 토큰별 비용이 없다는 장점을 제공합니다.

이 리더보드는 얼마나 자주 업데이트되나요?

리더보드는 중요한 새로운 벤치마크 결과가 발표되거나 독립적으로 검증될 때 업데이트됩니다. 점수는 2026년 6월 12일 기준입니다. 모든 점수는 SR(자체 보고) 또는 3P(제3자) 태그가 지정되어 출처를 항상 확인할 수 있습니다. 각 모델은 더 자세한 벤치마크 분석을 제공하는 자체 페이지도 가지고 있습니다.