오픈소스 의사결정 모델 'Laya', 상용 서비스와 비교 분석
Laya the open source version of Jev
Hacker NewsLaya는 복잡한 텍스트 생성 대신 구조화된 질문에 즉각적인 확률 예측을 제공하는 비(非)자기회귀 모델로, 시스템 1 방식의 빠른 의사결정을 구현합니다.
- 경쟁 상용 모델 대비 실행 속도가 획기적으로 빠르며, 모든 가중치와 코드를 오픈 소스로 공개하여 비용 부담 없이 사용할 수 있는 것이 핵심 강점입니다.
- 고객 지원 분류, 스팸 필터링, 보안 경고 등 실시간 의사결정이 필요한 다양한 산업 분야에 활용 가능하며, 다국어 라우팅 기능으로 글로벌 대응이 용이합니다.
- 다만, 선택지 항목이 20개를 초과하거나 최고의 정확도를 원할 경우 도메인 특화 학습(Fine-tuning)을 거치는 것이 권장되는 점을 참고해야 합니다.
최신 AI 분야에서는 텍스트를 생성하는 자기회귀(autoregressive) 방식이 아닌, 구조화된 스키마에 대해 빠르고 확률적인 예측을 제공하는 새로운 아키텍처가 주목받고 있습니다. 기존의 (LLM)은 고객 지원 분류나 스팸 필터링과 같은 단순한 반사적 의사결정에는 과도하며, 응답 속도가 느리고 현상이나 부정확한 신뢰도 예측을 할 수 있다는 한계가 지적됩니다. 따라서 30~35밀리초(ms) 내에 빠르고 보정이 가능한 확률 예측이 가능한 모델의 필요성이 대두되었습니다.
이에 대응하여 개발된 Laya는 시스템 1 방식의 즉각적인 의사결정을 목표로 하며, 기반으로 구축되었습니다. Laya는 세 가지 기본 원시 요소(choice, score, noul)를 활용하여 상태(raw text, email 등)에 대한 질문을 단일 순방향 패스(single forward pass)로 평가합니다. 이 모델은 텍스트 생성을 하지 않아 스키마 위반이나 잘못된 JSON 출력이 물리적으로 불가능하며, 모든 와 코드를 Apache 2.0 라이선스로 공개했습니다.
Laya는 다국어 환경을 위해 내장된 라우터를 통해 입력 텍스트의 유니코드 스크립트를 검사하여 적절한 모델을 자동으로 선택합니다. 예를 들어, 영어와 데바나가리/힌디어 같은 비라틴 문자 체계가 감지되면 해당 언어에 최적화된 체크포인트로 라우팅됩니다. 이 과정은 33ms의 순방향 패스 대비 오버헤드가 미미하며, 트래픽이 전환될 때 발생하는 콜드 스왑 지연을 제거합니다.
성능 비교 결과, Laya는 경쟁 모델인 TypeSafe Jev와 여러 에서 성능 우위를 보였습니다. 특히 레이턴시 P50(1개 질문) 기준 32.8ms로 측정되어 Jev 대비 약 7.8배 빠른 실행 속도를 보여주었습니다. 또한, Laya는 구독 비용 없이 자체 호스팅이 가능하며, 다양한 엔터프라이즈 워크플로우에서 높은 정확도와 낮은 보정 오류율(Calibration Error)을 입증했습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 환각
- AI가 사실이 아닌 내용을 그럴듯하게 지어내는 현상.
- 오픈소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.