리서치 도구
IFM/K2-Horizon-MoVA-36B-A4B
HFHugging Face
K2-Horizon-MoVA-36B-A4B는 총 360억 개 파라미터를 가지지만, 토큰당 40억 개의 활성 매개변수만 사용하는 MoE(Mixture-of-Experts) 모델입니다.
세 줄 요약
- 적은 활성화 파라미터에도 불구하고, 에이전트 및 추론 벤치마크에서 기존 오픈 소스 모델을 능가하는 '프런티어급' 성능을 입증했습니다.
- 최대 512K 토큰의 긴 문맥 처리 능력을 갖추었으며, 학습 데이터와 코드를 완전히 공개하여 투명성을 높였습니다.
- 단순히 최종 결과물만 제공되는 것이 아니라, 학습 과정 전반의 중간 체크포인트를 공개해 모델 능력 변화를 심층 분석할 수 있습니다.
K2-Horizon-MoVA-36B-A4B는 총 360억 개 파라미터를 가지지만, 토큰당 40억 개의 활성 매개변수만 사용하는 MoE(Mixture-of-Experts) 모델입니다.