다중 턴 코딩 에이전트의 컨텍스트 압축 비용 분석

컨텍스트 압축은 LLM 코딩 에이전트의 토큰 사용량을 줄이는 방법으로 광범위하게 제안되어 왔습니다. 연구진은 실제 다중 턴(multi-turn) 환경에서 컨텍스트 압축 게이트웨이가 실제로 비용을 절감하는지 실증적으로 분석하기 위해, 코딩 에이전트와 최신 LLM 사이에 압축 게이트웨이를 장착했습니다. 이들은 실제 세션의 토큰 청구서를 도구 스키마 필터링, 파일 읽기 및 도구 출력 내용 압축, 그리고 히스토리 요약화라는 세 가지 독립적인 비용 절감 요소로 분해하여 측정했습니다.

분석 결과에 따르면, 각 절감 요소는 근본적으로 다른 비율로 토큰을 절감하는 것으로 나타났습니다. 도구 스키마 필터링은 매 턴마다 고정된 블록(일반적으로 21K~57K 토큰)을 제거하며, 이는 턴 수 N에 대해 선형적이고 재현 가능한 유일한 양의 레버리지입니다. 반면, 내용 압축은 턴당 캐시 가격이 책정된 접두사 중 약 2%만 절감하지만, 이 누적되는 읽기 내용은 이후 턴마다 다시 전송되므로 누적 절감액은 제곱 형태로 증가합니다.

또한, 비파괴적인 게이트웨이는 에이전트가 필요할 때 원래 바이트를 요청하여 가져올 수 있게 하며, 이때의 비용은 곱셈 폭발(multiplicative blowup)이 아닌 고정되고 제한된 수준입니다. 연구진은 특히 단일 환경에서 달성한 높은 압축 성능 벤치마크 결과는 다중 턴 에이전트의 실제 비용 절감 효과와 무관하므로, 이를 근거로 비용 절감을 주장해서는 안 된다고 강조했습니다.