모델 뉴스
상태와 행동을 학습하는 대조적 언어 모델(CLM) 공개
Contrastive-LM/CLM-v0.1-8B
Hugging Face상태와 행동 간의 관계를 학습하는 '대조적 언어 모델(CLM)'이 공개되었습니다. 이는 일반적인 텍스트 생성보다 복잡한 의사결정 과정에 특화된 새로운 AI 시스템 원 모델입니다.
세 줄 요약
- 경쟁 모델 대비 압도적인 효율성을 자랑합니다. 상태 기반 추론 및 도구 호출 작업에서 최대 9배 빠른 속도를 보이며, 전문 검증기 역할에서도 최고 수준의 성능을 기록했습니다.
- AI 에이전트가 실제 환경에서 최적의 '다음 행동'을 빠르고 정확하게 선택하도록 지원합니다. 복잡한 작업 자동화 및 워크플로우 설계에 혁신적인 변화를 가져올 잠재력이 큽니다.
- CLM은 주어진 후보군 중 가장 적합한 것을 '점수화'하는 역할만 수행하며, 자유로운 텍스트 생성 기능은 없습니다. 최고의 성능을 위해서는 특정 작업에 대한 미세 조정이 필수적입니다.
Contrastive Language Model(CLM)은 상태와 행동 간의 관계를 연결하도록 훈련된 새로운 시스템 원 모델입니다. CLM-8B는 양방향 InfoNCE 손실 함수를 사용하여 고정된 Qwen3-8B 인코더 위에 두 개의 작은 투영 헤드(상태 헤드 및 행동 헤드)를 추가하여 구성되었습니다.
CLM은 약 6천만 개의 Nemotron Q&A 쌍으로 사전 학습되었으며, 트랙젝토리로 후속 학습을 거쳤습니다. 작업에서 컴퓨터 사용이나 도구 호출 같은 작업에 대해 Jev와 동등한 수준의 성능을 보이며 최대 9배 낮은 지연 시간을 기록했습니다. 또한 상태 및 행동 을 분리하여 캐싱할 수 있어, 약 1천 개의 후보군에서도 Jev보다 13배 빠릅니다.
CLM은 주어진 후보군에 대해 점수를 매기는 역할만 수행하며, 자유로운 텍스트 생성 기능은 없습니다. 사용자는 `CLMClient`를 통해 상태와 질문들을 입력하고, 도메인별 선택지나 감정 수준 등을 분석할 수 있습니다. 다만, 최고 성능의 검증기 결과를 얻으려면 특정 작업에 대한 이 필요하며, 이 체크포인트는 제로샷 기준으로 제공됩니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 제로샷
- 예시를 하나도 주지 않고 바로 과제를 시키는 방식.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.