개발도구 도구
오픈소스 비자기회귀 의사결정 엔진 DeepOpen 소개
deepopen-com/deepopen
GitHubDeepOpen은 기존 LLM의 토큰 단위 생성을 벗어나, 단일 전방향 패스로 100개 이상의 언어에서 다차원 분류를 수행하는 오픈소스 의사결정 엔진입니다.
세 줄 요약
- 비(非)자기회귀 구조 덕분에 밀리초 단위의 초저지연 성능을 구현하며, 출력 결과가 구조화되어 환각 현상 없이 높은 신뢰도를 보장합니다.
- 분류, 라우팅, 점수 산정 등 구조화된 비즈니스 시나리오에 최적화되었으며, 유료 API 호출 없이 자체 서버 구축이 가능해 비용 효율성이 뛰어납니다.
- Apache 2.0 라이선스로 완전 개방되어 있으며, 공식 깃허브를 통해 다양한 벤치마크와 배포 가이드를 확인하고 바로 테스트할 수 있습니다.
DeepOpen은 Laya를 기반으로 구축된 완전한 의 비(非)자기회귀 System 1 의사결정 엔진입니다. 이 엔진은 (LLM)이 일반적으로 사용하는 단위의 순차적 텍스트 생성 패러다임을 벗어나, 단일 전방향 패스만으로 100개 이상의 언어에 걸친 다차원 분류를 수행하도록 설계되었습니다.
DeepOpen은 전통적인 LLM이 분류, 라우팅, 점수 산정 시 겪는 속도 저하, 높은 배포 비용, 현상 등의 문제점을 해결하는 데 중점을 두었습니다. T4 환경에서 단일 요청당 최대 33ms의 낮은 지연 시간을 달성하며, 엄격한 보상 규칙 RLCD 프레임워크를 통해 훈련되었고, 내장된 스마트 라우터가 수신되는 모든 요청에 대해 최적의 체크포인트를 자동으로 매칭합니다.
사용자는 제공되는 두 가지 주요 의도 분류 벤치마크(Banking77 및 CLINC150)에 대한 완전 재현 가능한 학습 및 평가 파이프라인을 이용할 수 있습니다. 사용자는 해당 디렉터리에서 제공된 벤치마크 스크립트를 직접 실행하여 성능을 검증하거나, 자체 구조화된 시나리오를 위해 로컬 의사결정 서비스로 엔진을 배포할 수 있습니다.
용어 풀이
- 오픈소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 환각
- AI가 사실이 아닌 내용을 그럴듯하게 지어내는 현상.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.
- 강화 학습
- 행동의 결과에 보상을 주면서 더 나은 행동을 익히게 하는 학습 방법.