AI 에이전트 토큰 비용 절감 도구 'Caveman' 소개
JuliusBrussee/caveman
GitHubAI 코딩 에이전트가 과도하게 사용하는 토큰 비용 문제를 해결하는 도구 'Caveman'이 공개되었습니다. 이 도구는 에이전트의 답변과 컨텍스트 입력 과정에서 불필요한 토큰을 획기적으로 줄여줍니다.
AI 에이전트가 코딩 작업을 수행할 때 발생하는 과도한 토큰 비용을 줄여 개발 운영 비용을 절감하는 데 도움을 줘요.
- Caveman은 에이전트 출력(답변)을 간결화하는 '스킬', 로그나 테스트 결과 같은 입력 정보를 압축하는 로컬 '프록시', 그리고 개발 코드에 적용할 수 있는 '미들웨어' 세 가지 방식으로 작동합니다.
- 연구 결과, 이 방법을 사용하면 AI 에이전트의 운영 비용을 최대 3배까지 절감하면서도 코드 품질 저하가 없음을 입증하여 높은 실용성을 보여줍니다.
- 최대 효과를 위해서는 현재 사용하는 에이전트와 개발 환경에 맞춰 스킬, 프록시, 미들웨어 중 적절한 조합을 설정하는 것이 중요하며, 일부 기능은 로컬 구동이 필수입니다.
AI 코딩 는 사용자가 작성한 코드 외에도 주변의 서술적인 내용(prose) 때문에 과도하게 많은 을 소비하는 경향이 있습니다. Caveman은 이러한 AI 에이전트가 사용하는 토큰 비용 문제를 해결하기 위해 개발된 도구로, 에이전트가 생성하거나 읽는 과정에서 불필요한 토큰을 획기적으로 줄여줍니다. 사용자의 에이전트는 작성(write)하는 모든 토큰과 읽어들이는(read) 모든 토큰에 대해 비용이 발생하는데, Caveman은 이 두 가지 측면 모두를 공격하여 효율성을 높입니다.
Caveman은 세 가지 방식으로 작동합니다. 첫째, '스킬'은 에이전트가 출력하는 답변의 내용을 간결하게 줄여주는 규칙 파일이며 30개 이상의 에이전트에서 사용할 수 있습니다. 둘째, '프록시'는 로컬 환경에서 실행되어 에이전트가 읽어들이는 컨텍스트 정보(로그, 테스트 결과, JSON, diff 등)를 압축합니다. 셋째, '미들웨어'는 LangChain이나 오픈AI 같은 개발자가 직접 코드로 에이전트를 구축할 때, 호출되는 과정 자체에 적용되어 모델이 받는 입력 결과를 줄여줍니다.
이러한 효율성은 이미 연구와 테스트를 통해 입증되었습니다. Adobe Research의 논문에서는 Caveman 스타일의 출력을 측정하여 AI 에이전트 운영 비용을 1.4배에서 2.4배, 최대 3배까지 절감할 수 있음을 보여주었습니다. 또한 JetBrains는 86개의 실제 코딩 작업을 대상으로 테스트를 진행했으며, 이 과정에서 '품질 측면에서는 측정 가능한 손실이 없다'고 보고했습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
AI 에이전트가 토큰을 과도하게 사용하는 이유는 무엇인가요?
사용자가 작성한 코드 외에도 주변의 서술적인 내용(prose) 때문에 많은 토큰을 소비하는 경향이 있기 때문이에요. Caveman은 에이전트가 생성하거나 읽는 과정에서 불필요한 토큰을 줄여 효율성을 높입니다.
'Caveman'은 어떤 방식으로 작동하나요?
세 가지 방식이 있어요. 첫째, 에이전트가 출력하는 답변 내용을 간결하게 줄여주는 '스킬'입니다. 둘째, 로컬에서 실행되어 에이전트가 읽어들이는 컨텍스트 정보(로그, 테스트 결과 등)를 압축하는 '프록시'예요. 셋째, 개발자가 코드로 구축할 때 호출 과정 자체에 적용되는 '미들웨어'가 있습니다.
비용 절감 효과와 코드 품질 저하 여부는 어떻게 입증되었나요?
Adobe Research의 논문에서는 운영 비용을 최대 3배까지 절감할 수 있음을 보여주었어요. 또한 JetBrains가 진행한 테스트에서도 '품질 측면에서 측정 가능한 손실이 없다'고 보고되어 높은 실용성을 확인했습니다.