AI 에이전트의 의사결정 최적화 모델 Jev 소개
kerpopule/hermes-jev-skills
GitHubJev는 텍스트를 생성하지 않는 전용 의사결정 모델로, 에이전트가 복잡한 판단(모델 선택, 정보 필터링 등)을 빠르고 저렴하게 처리하도록 돕습니다.
- 모델 라우팅, 검색 결과 선별, 메모리 요약 등 다양한 기능을 담당하여, 고비용 LLM이 오직 '글쓰기'라는 핵심 작업에만 집중할 수 있게 합니다.
- 민감한 데이터가 포함된 상황에서도 강력한 익명화(Redaction) 기술을 적용하며, API 키 유출 방지 등 최고 수준의 보안성을 제공합니다.
- '섀도우 모드'를 통해 실제 작동 전 위험 없이 시스템 테스트가 가능하며, 에이전트 성능과 비용 효율성을 혁신적으로 높여줍니다.
Jev는 텍스트를 생성하지 않는 전용 의사결정 모델로, 가 복잡한 판단 과정을 빠르고 저렴하게 처리하도록 설계되었습니다. 기존에는 에이전트가 어떤 모델을 사용할지, 377개의 스킬 중 무엇을 로드할지, 검색된 자료 중 어느 부분이 중요한지 등 '판단'에 많은 과 비용을 소모했습니다. Jev는 이러한 판단 작업을 대신 수행하며, 오직 글쓰기(prose)라는 핵심 작업만 고비용 모델에게 맡길 수 있게 합니다.
Jev가 처리하는 주요 기능에는 모델 라우팅, 검색 결과 선별, 메모리 필터링 등이 포함됩니다. 예를 들어, 모델 라우팅은 턴당 약 0.4초의 속도로 어떤 모델이 적절한지 결정하며, 스킬 선택 시에는 377개 스킬 중 필요한 것을 약 2.8초 만에 찾아냅니다. 또한, 메일함 정렬(Mailbox sorting) 기능은 메시지를 '회신 필요', '업데이트' 등으로 분류하고, 각 메시지당 평균 0.44초의 속도로 처리할 수 있습니다.
보안 측면에서 Jev는 민감한 데이터가 외부로 유출되는 것을 막기 위해 강력한 익명화(Redaction) 기술을 적용합니다. 라우팅 시에는 사용자 턴이 전송되더라도 이메일, 전화번호 등은 마스킹되며, 메모리나 검색 결과에서도 자격 증명처럼 보이는 정보는 아예 전송되지 않습니다. 또한 시스템은 '실패 개방(fails open)' 원칙을 따르므로, Jev에 장애가 발생하더라도 에이전트의 작동이 완전히 중단되는 일은 없습니다.
사용자는 실제 환경에서 위험 없이 테스트할 수 있는 '섀도우 모드'를 활용할 수 있습니다. 이 모드를 통해 시스템이 실제로 아무것도 변경하지 않고 의사결정을 내리고 로그로 기록하는 과정을 하루 동안 시뮬레이션하여, 에이전트의 성능과 비용 효율성을 사전에 검증할 수 있습니다.
용어 풀이
- AI 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.