"LLM의 가중치 분석, 숙련 연구자 수준" 반론
GPT-6 Astra가 신경망 가중치를 분석·수정한 사례는 인상적이지만 유능한 인간 ML 연구자도 할 수 있는 작업이라는 반론이 나왔다. 작은 게임 신경망은 입력 채널에 격자 위치와 의미가 드러나 있어 첫 층 가중치 크기만으로도 단서를 얻을 수 있다는 것이다. 0.8B Qwen의 수학 성능 향상도 새 능력을 심었다기보다 32k 토큰 이후 반복에 빠지는 문제를 고친 결과라고 글쓴이는 분석했다.
원문
- LLM은 신경망 가중치를 읽고 쓰는 데 초인적이지 않다 GeekNews · 2026년 11월 5일 05:38
뉴스 수집·요약·게시를 자동화한 이 사이트처럼, 반복 업무를 자동화하고 싶으신가요?