998달러로 3.8B LLM 처음부터 학습한 개인 프로젝트
개인 프로젝트 little-lm 3.8B가 무작위 초기화부터 653억 토큰을 사전학습해 CORE 0.384를 달성했다. B200 8대에서 43시간 학습하는 데 998달러가 들었다. 초기 실험의 낮은 성능은 Muon 옵티마이저, 사다리꼴 학습률 스케줄, ClimbMix 데이터 등으로 개선했다.
원문
- 998달러로 3.8B LLM을 학습해 CORE 0.384 달성하기 GeekNews · 2026년 10월 30일 11:46
뉴스 수집·요약·게시를 자동화한 이 사이트처럼, 반복 업무를 자동화하고 싶으신가요?