보안 취약점 수정 벤치마크 CWE-bench v2 공개
Collinear AI가 실제 오픈소스 저장소에서 보안 약점을 찾아 고치는 능력을 재는 CWE-bench v2를 내놓고, 91개 CWE에 걸친 100개 과제를 누구나 돌릴 수 있게 공개했다. 평가한 11개 모델 중 Gemini 4 Argon이 pass@1 67.8%로 1위, Claude Opus 5.5가 67.3%로 뒤를 이었다. 비용 면에서는 DeepSeek V4.1 Flash (1017)가 시도당 0.04달러에 57.0%를 기록했다.
원문
- CWE-bench v2: More coverage, quality, and transparency Hugging Face Blog · 2026년 11월 3일 09:00
뉴스 수집·요약·게시를 자동화한 이 사이트처럼, 반복 업무를 자동화하고 싶으신가요?