다국어 시스템 1 의사결정 모델 'Laya' 소개
convaiinnovations/laya-multilingual
Hugging FaceConvai Innovations가 100개 이상의 언어를 지원하는 비자율(non-autoregressive) 시스템 1 의사결정 모델인 Laya Multilingual을 공개했습니다. 이 모델은 입력된 상태와 질문에 기반하여 확률적 답변을 단일 순방향 계산으로 제공합니다.
- 기존 영어 전용 모델 대비 다국어 환경에서 월등한 정확도와 속도를 자랑하며, 최대 8,192 토큰까지의 장문 처리 능력을 갖추고 있어 범용성이 뛰어납니다.
- 텍스트 생성 과정 없이 의도 분류만 수행하므로 환각 현상(Hallucination) 위험이 낮아 신뢰도가 높습니다. 복잡한 다국어 고객 문의나 워크플로우 자동화 시스템 구축에 최적입니다.
- 다만, 모델은 아직 보정되지 않아 확률 결과가 과신될 수 있으며, 영어 전용 모델보다 성능 차이가 있을 수 있으므로 자체 데이터 검증이 필수입니다.
convaiinnovations에서 공개한 Laya-multilingual은 비자율(Non-autoregressive) 방식의 System 1 의사결정 모델입니다. 이 모델은 입력된 상태(text, email, ticket, or JSON)와 유형화된 질문을 받아 단일 순방향 계산으로 확률적 답변을 반환합니다. 텍스트를 생성하는 과정이 없어 현상(Hallucination)의 위험이 낮으며, 특히 영어 외의 언어 환경에서 사용하도록 설계되었습니다.
해당 모델은 최대 8,192 까지 처리할 수 있는 장문 컨텍스트 능력을 갖추고 있습니다. 성능 측면에서도 다국어 지원을 통해 우위를 보입니다. 예를 들어, XNLI 테스트에서 영어 전용 체크포인트 대비 'laya-multilingual'이 다른 언어 14개에 대해 더 높은 점수(0.731 vs 0.521)를 기록했습니다. 또한, 전체 51개 언어의 측정 결과에서 macro accuracy는 0.366으로 나타났습니다.
개발 워크플로우 측면에서는 `Router()` 클래스를 사용하여 여러 언어가 혼합된 환경을 처리할 수 있습니다. 이 라우터는 특정 언어에 맞는 체크포인트를 자동으로 선택하며, 서버 환경에서는 미리 로드(preload)하여 요청 시마다 체크포인트를 교체하는 오버헤드를 줄일 수 있습니다. 속도 면에서도 10개의 질문을 처리할 때 영어 전용 모델 대비 약 72.3 ms로 더 빠른 성능을 보여줍니다.
용어 풀이
- 환각
- AI가 사실이 아닌 내용을 그럴듯하게 지어내는 현상.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.