로컬 LLM·Claude 도구 호출 비교, gemma4 26B가 최다 안정 성공
RTX 3090 한 장으로 에이전트 작업이 가능한지 보려고 BFCL v4 다단계 과제 100개를 모델마다 5번씩 돌린 실험 결과가 공개됐다. 5번 모두 성공한 과제 수는 gemma4 26B 60, Claude Sonnet 5.5 57, LFM2.5 24B 45, qwen3.8 27B 42, Claude Haiku 5.5 36, gpt-oss 20B 28이었다. qwen3.8은 한 번이라도 푼 과제가 83개로 가장 많았지만 매번 성공한 것은 42개여서, 평균 성공률과 안정성은 다르다는 점을 보여 줬다.
원문
- 로컬 LLM 4종과 Claude 2종에 도구 호출 과제 100개를 5번씩 시켜 봤습니다 GeekNews · 2026년 11월 3일 14:53
뉴스 수집·요약·게시를 자동화한 이 사이트처럼, 반복 업무를 자동화하고 싶으신가요?