개념 예측을 통한 잠재 공간 언어 모델 NCP-ArchPreview
NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
arXivNCP-ArchPreview는 기존의 토큰 단위 예측(NTP)을 넘어, 여러 개의 토큰에 걸쳐 나타나는 추상적인 '개념' 자체를 예측하는 방식(NCP)을 도입한 새로운 잠재 공간 언어 모델입니다.
- 이 모델은 적은 학습 자원만으로도 최고 수준의 성능을 달성했으며, 특히 개념 단위 예측 능력 덕분에 학업 성취도 측정 등 특정 분야에서 큰 개선 효과를 입증했습니다.
- 언어 모델이 단순히 단어를 나열하는 것을 넘어 '개념'이라는 추상적 구조로 언어를 이해하려 시도했다는 점에서, 근본적인 추론 능력과 도메인 적응력을 높이는 중요한 진전을 보여줍니다.
- 잠재 공간(Latent Space)을 활용하여 설계되었으며, 낮은 계산량으로 높은 성능에 근접하고 전이 학습 시에도 경량화된 방식으로 다양한 분야에 적용할 수 있습니다.
NCP-ArchPreview는 기존의 표준 단위 예측(NTP) 방식을 넘어, 여러 개의 토큰에 걸쳐 나타나는 추상적인 '개념' 자체를 예측하는 Next Concept Prediction (NCP)을 도입한 잠재 공간 언어 모델입니다. 이 모델은 제품 된 개념 어휘집으로부터 잠재 공간을 구축하고, NTP와 NCP라는 두 가지 목표를 엔드투엔드로 공동 학습합니다. 이를 통해 명시적이고 도전적인 개념 수준의 목적을 추가하면서도 표준 토큰 단위의 자가 회귀 생성을 유지할 수 있습니다.
이 아키텍처는 8.9B 규모로 확장되었으며, Dolma-3 데이터셋의 5.73T 토큰으로 학습되었습니다. NCP-ArchPreview는 전체 학습 토큰의 51.3%만을 소비하면서도 OLMo-3-7B와 동일한 최종 사전 학습 손실을 달성했습니다. 또한, 다운스트림 매크로 평균에서 OLMo-3-7B 대비 2.45점의 성능 향상을 보였으며, GSM8K에서는 5.99점이라는 주목할 만한 개선을 기록했습니다.
NCP-ArchPreview는 표준 계산량의 85%만을 사용하여 엄격하게 파라미터가 정렬된 8.9B 기준선에 근접하는 학습 손실을 달성합니다. 사전 학습 후에도 학습된 잠재 공간은 높은 가치를 유지하는데, 단지 17M 파라미터의 VQ 모듈만 업데이트하여 도메인 적응을 위한 경량 인터페이스를 만들 수 있으며, 개념 표현을 DFlash2 드래프터에 주입하는 것만으로도 평균 수용 길이가 4.17% 개선되는 효과를 보였습니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 양자화
- 모델 숫자의 정밀도를 낮춰 크기와 메모리 사용을 줄이는 기법. 품질이 조금 떨어질 수 있어요.
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.