모델 연구
When Machines Speak: A Unified Generative Framework for Integrating Machine-Native Symbols into Pretrained Large Language Models
ARarXiv
arXiv에 공개된 UniLang은 사전 학습 LLM에 기계 고유 기호를 자연어 토큰과 함께 생성 단위로 다루는 통합 생성 프레임워크를 제안한다.
세 줄 요약
- LLM 어휘와 임베딩 공간을 기계 고유 표현으로 확장해 텍스트와 기호 토큰을 하나의 오토레그레시브 목표 아래 함께 모델링하고 생성한다.
- 기계 고유 표현을 자연어로 바꾸거나 작업별 구조에 의존하지 않고, 사전 학습 LLM이 해당 표현을 직접 다루는 공통 생성 기반을 제시한다.
- 평가 대상은 시퀀스 추천과 법률 판례 예측 두 작업이며, 이 두 작업에서 강한 베이스라인보다 일관되게 좋았다.
arXiv에 공개된 UniLang은 사전 학습 LLM에 기계 고유 기호를 자연어 토큰과 함께 생성 단위로 다루는 통합 생성 프레임워크를 제안한다.