AI2, 긴 문서 상태 추적 벤치마크 StateBench 공개
Allen Institute for AI가 긴 문서에서 개체의 상태 변화를 얼마나 잘 따라가는지 재는 벤치마크 StateBench를 공개했다. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol·Luna 같은 프런티어 모델도 어려운 단계에서는 입력이 길어질수록 정확도가 13% 이하까지 떨어졌다. 과제로 직접 학습시킨 실험에서는 Gated DeltaNet과 하이브리드 모델이 트랜스포머보다 훨씬 긴 시퀀스까지 일반화했다.
원문
- StateBench: Testing how language models track state changes over long documents Hugging Face Blog · 2026년 11월 4일 02:15
뉴스 수집·요약·게시를 자동화한 이 사이트처럼, 반복 업무를 자동화하고 싶으신가요?