단일 패스로 구조화된 판단을 내리는 비생성형 의사결정 엔진 Laya
NandhaKishorM/laya
GitHubLaya는 텍스트를 생성하는 대신, 단일 순방향 패스(single forward pass)로 의도, 긴급도 등 구조화된 판단을 내리는 비생성형 의사결정 엔진입니다.
- 100개 이상의 다국어를 지원하며, 요청의 언어와 유형에 따라 최적 모델을 자동으로 선택하는 라우터 기능을 갖춰 높은 효율성을 자랑합니다.
- 고객 문의 분류(Triage), 프롬프트 가드레일 구축, 콘텐츠 안전성 검토 등 복잡한 비즈니스 워크플로우에 활용되어 신뢰도 높은 판단 근거를 제공합니다.
- 특히 서버 환경에서 모델 라우팅 시 사전 로딩(preload)을 적용하면, 언어 전환에 따른 지연 시간을 획기적으로 줄여 최적의 성능을 유지할 수 있습니다.
Laya는 텍스트를 생성하는 대신, 단일 순방향 패스(single forward pass)로 의도, 긴급도 등 구조화된 판단을 내리는 비생성형 의사결정 엔진입니다. 이 시스템은 `choice` (범주 선택), `score` (순서별 평가 점수), `noul` (보정 확률 P(true))과 같은 유형의 질문을 통해 작동합니다. T4 환경에서 측정된 결과에 따르면, 한 질문당 33ms가 소요되며 배치 처리 시에는 질문당 7.2ms로 높은 효율성을 보여줍니다.
Laya는 100개 이상의 다국어를 지원하며, 요청의 언어와 유형을 분석하여 최적화된 모델을 자동으로 선택하는 `Router` 기능을 갖추고 있습니다. 이 엔진은 영어(`laya`), 다국어(`laya-multilingual`), 전용 판단 워크플로우(`laya-typed-decisions`) 등 세 가지 체크포인트를 운영하며, 라우터가 요청별로 적절한 모델을 선택합니다.
이러한 특성 덕분에 Laya는 고객 문의 분류(Triage), 가드레일 구축, 콘텐츠 안전성 검토 등 다양한 비즈니스 워크플로우에 활용됩니다. 특히 서버 환경에서 `preload=True` 옵션을 사용하면 모델 라우팅 시 언어 전환으로 인해 발생하는 지연 시간을 획기적으로 줄여 최적의 성능을 유지할 수 있습니다 (예: 일반 로딩 방식은 4–6초, 사전 로드 방식은 193–464ms).
용어 풀이
- 프롬프트
- AI에게 주는 지시나 질문 글.