AI 에이전트의 일관성 확보를 위한 '습관 형성' 기법 연구

반복적인 작업 수행 시 AI 에이전트는 일관성이 떨어지고 비효율성을 보이는 문제가 지적되었습니다. 실제로 42가지 작업을 세 번씩 테스트한 결과, 모델에 따라 38%에서 74%의 답변이 불일치하는 것으로 나타났습니다. 또한, 에이전트가 생성하는 출력 중 95.3%에서 97.2%는 시스템이 이미 알고 있는 계획을 재도출하는 데 사용되는 비효율적인 과정으로 확인되었습니다.

이를 해결하기 위해 '스킬 습관 형성(skill habit formation)' 방식이 제안됩니다. 이 방법은 에이전트가 자체 실행 기록에서 후보 스킬을 채굴하며, 이는 기존의 기능을 대체하기보다는 경쟁하는 결정론적 변형입니다. 후보 스킬은 자신이 주장하는 입력 공간 영역을 선언하고, 일반적인 경우는 스크립트로 처리되며 나머지는 추론 단계로 넘어갑니다. 이 과정에는 네 개의 비용 상승 게이트가 존재하며, 중앙 게이트는 후보의 실행 흔적을 보존된 참조와 비교하여 테스트합니다.

실제 텍스트-투-SQL 작업에 적용했을 때, 습관 형성 변형은 반복된 456개의 배포(dispatches) 모두에서 출력을 재현하는 높은 일관성을 보여주었습니다. 이는 기존의 추론 방식들이 각각 11~13개 또는 26개의 질문에서만 재현한 것과 비교됩니다. 또한, 이 방법은 14%에서 56% 적은 토큰을 사용하며 순수하게는 7개부터 53개의 재사용 시점에서 긍정적인 효율성을 보였습니다.

이러한 구조적 개선은 정확도 측면에서도 효과를 입증했습니다. 라우팅과 매개변수 추출을 분리하는 것만으로도 비용의 43%를 지불하고 종단 간(end-to-end) 정확도를 0.888에서 0.952로 높일 수 있었습니다. 다만, 일관성을 확보하는 대신 오류가 발생할 경우 그 패턴이 매우 확실하게 반복된다는 점은 시스템의 감사 가능성(auditable)을 높이는 대가입니다.