내부 사고와 외부 도구 결합한 효율적인 LLM 'ZGCM-1' 공개
ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search
arXivZGCM-1은 내부 사고와 외부 도구 사용을 결합하는 새로운 패러다임을 기반으로 개발된, 완전히 개방형 7B 규모의 거대 언어 모델입니다.
- 크기 대비 뛰어난 성능을 보여, 복잡한 수학적 추론이나 에이전트 검색 같은 영역에서 훨씬 큰 최신 모델들과도 경쟁력을 입증했습니다.
- 학습 코드, 데이터 레시피, 가중치까지 전 과정이 오픈소스로 공개되어 소규모 자원에서도 최고 수준의 AI 연구 개발을 지원합니다.
- 256K에 달하는 긴 컨텍스트 처리와 마르코프 결정 과정(MDP)을 활용한 고효율 학습 방법론이 핵심 기술로 적용되었습니다.
본 연구에서는 ZGCM-1이라는 완전히 개방형 7B 규모의 기반 모델을 소개합니다. 이 모델은 극도의 데이터, 시스템, 알고리즘 효율성을 바탕으로 처음부터 학습되었으며, 핵심 전제는 단순히 웹 정보를 암기하는 것이 아니라 의도적인 내부 사고와 능동적인 외부 도구 사용을 결합하여 용량의 한계를 극복한다는 것입니다. 256K 컨텍스트를 지원하기 위해 인터리브드 게이티드 슬라이딩-윈도우 및 풀 어텐션 구조, 안정적인 FP8 Muon 옵티마이저 등을 활용한 고효율 학습 방법론을 개발했습니다.
ZGCM-1은 16K, 64K, 그리고 256K에 이르는 컨텍스트 스케일링과 상호작용 추적(interaction traces)을 마르코프 결정 과정(MDP)으로 재정형화하는 과정을 거쳐 학습되었습니다. 광범위한 평가 결과, ZGCM-1-7B는 일반 에서 7B 모델군 내 경쟁력을 보여주었으며, 특히 수학적 추론 및 검색과 같은 까다로운 영역에서는 Qwen3-235B-A22B나 GLM-5.1 같은 최신 모델들과 비교해도 높은 경쟁력을 유지하는 것으로 나타났습니다.
개발 과정 전반에 걸쳐 8가지의 실질적인 경험적 발견(아키텍처 스케일링, SFT 품질 가지치기 등)을 도출했으며, 연구 커뮤니티를 지원하기 위해 모델 를 사전 학습, 중기 학습, 사후 학습 단계별로 공개합니다. 또한 중간 체크포인트, 훈련 코드, 각 단계의 데이터 및 데이터 레시피, W&B 로그까지 모두 로 제공하여 최고 수준의 AI 연구 개발을 촉진할 수 있도록 했습니다.
용어 풀이
- 매개변수
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 오픈소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.