작업에 맞는 AI 모델 찾기

자주 묻는 질문

사용 사례별 최고의 모델은 어떻게 선정하나요?

각 카드는 작업에 가장 잘 맞는 하나의 벤치마크로 모델 순위를 매깁니다. 코딩 에이전트에는 DeepSWE, 터미널 및 에이전트 작업에는 Terminal-Bench 4.0, 어려운 추론에는 Humanity's Last Exam, 전반적인 품질, 오픈 웨이트 모델, FlowHunt 모델에는 Artificial Analysis Intelligence Index를 사용합니다. DeepSWE 점수가 있는 모델이 세 개 미만이면 코딩 카드는 SWE-bench Pro로 대체하고 그 사실을 표시합니다.

검증됨과 자체 보고는 무엇을 의미하나요?

검증됨 점수는 Artificial Analysis, ARC Prize Foundation, DeepSWE 리더보드 같은 독립 평가 기관이 모든 모델에 하나의 고정된 설정을 적용해 측정한 점수입니다. 자체 보고 점수는 모델 개발사가 모델 카드나 출시 게시글에서 직접 밝힌 점수입니다. 순위에는 검증됨 점수만 반영됩니다. 자체 보고 점수는 표시하고 구분해 보여 줄 뿐, 순위에는 넣지 않습니다. 두 점수가 모두 있으면 모델 페이지에 두 점수를 함께 표시합니다.

같은 모델이 하나의 벤치마크에서 서로 다른 두 가지 점수를 갖는 이유는 무엇인가요?

개발사는 자사 모델을 맞춤 설정으로 테스트하는 경우가 많습니다. 다른 에이전트 하네스, 더 긴 사고 시간, 더 큰 토큰 예산 등이 그 예입니다. 독립 평가 기관은 모든 모델에 하나의 고정된 설정을 사용하므로 점수를 비교하기 쉽고 대체로 더 낮습니다. 순위는 독립 평가 점수를 기준으로 매기고, 개발사가 발표한 점수는 모델 페이지에 함께 남겨 둡니다.

Artificial Analysis Intelligence Index란 무엇인가요?

Artificial Analysis가 에이전트, 코딩, 지식, 과학 테스트를 하나의 숫자로 합쳐 산출하는 독립 종합 점수입니다. 이 리더보드는 지수의 버전 4를 사용합니다. 이전 버전의 점수와는 비교할 수 없으므로, 다른 곳에서 보셨을 수 있는 예전 수치는 더 높게 보일 것입니다.

DeepSWE란 무엇인가요?

DeepSWE는 처음부터 새로 작성한 113개의 긴 소프트웨어 작업 모음이라서 학습 데이터에 포함되었을 가능성이 낮습니다. 모델은 실제 코드를 새로 만들거나 수정해야 하며, 숨겨진 테스트가 성공 여부를 판정합니다. 대부분의 프론티어 모델이 거의 만점에 도달한 SWE-bench Verified보다 오늘날의 코딩 에이전트를 더 뚜렷하게 구분해 줍니다.

SWE-bench Verified를 기록용으로만 유지하는 이유는 무엇인가요?

프론티어 모델이 이제 500개의 GitHub 이슈 거의 전부를 해결하므로, 모델 간 차이가 오차 범위 안에 있습니다. 이전 보고서와 비교할 수 있도록 전체 표에는 계속 표시하지만, 더 이상 어떤 순위도 결정하지 않습니다.

오픈 웨이트 모델과 폐쇄형 모델의 차이는 무엇인가요?

오픈 웨이트 모델은 학습된 가중치를 공개하므로 자체 하드웨어에서 실행하고, 데이터를 내부에 보관하고, 파인튜닝할 수 있습니다. 폐쇄형 모델은 개발사의 API나 앱을 통해서만 사용할 수 있습니다. 오픈 웨이트 필터를 사용하면 오픈 웨이트 모델만 볼 수 있습니다.

이 리더보드는 얼마나 자주 업데이트되나요?

주요 모델이 출시되거나 독립 평가 기관이 새로운 결과를 발표할 때 업데이트합니다. 페이지 상단의 날짜는 마지막 업데이트 시점을 나타내며, 각 모델 페이지에는 출시일과 출처가 공개된 경우 점수별 출처가 기재되어 있습니다.