에이전트 기반 텍스트-SQL의 모호성 해결 방안 연구
Beyond Correctness: Resolving Underspecification in Agentic Text-to-SQL
arXiv자연어 질의를 SQL로 변환하는 에이전트가 모호성을 처리할 때, 단순히 정확한 결과만 도출하는 것을 넘어선 근본적인 문제점을 지적하고 이를 해결하기 위한 'PlanPool' 시스템을 제안했습니다.
인공지능이 단순히 질문에 대한 답을 내놓는 것을 넘어, 스스로 모호한 부분을 파악하고 신뢰성 있게 해결하는 과정 자체가 중요해요.
- PlanPool은 명확화 과정을 수정 가능한 '질문 풀(Question Pool)'로 관리하여, 에이전트가 세운 모든 질문을 반드시 실행하거나 폐기하도록 강제함으로써 오류를 줄이고 모호성 커버리지를 높입니다.
- 본 연구는 AI 에이전트의 추론 과정에서 단순히 누락된 정보를 '식별'하는 것만으로는 부족하며, 이를 신뢰성 있게 '유지하고 해결'하는 과정 자체가 핵심 역량임을 강조합니다.
- 따라서 에이전트를 설계할 때는 모호성을 발견했을 때 무분별하게 질문을 늘리기보다, 계획 수립과 실행 간의 정교한 제어 메커니즘 구현이 필수적입니다.
기반 텍스트-SQL 시스템은 사용자와 상호작용하며 모호한 질의를 명확히 할 수 있지만, 단순히 정확한 실행 결과가 도출되었다고 해서 에이전트가 근본적인 모호성을 충분히 해결했음을 의미하지는 않습니다. 에이전트는 의도치 않게 검증되지 않은 가정을 사용하여 우연히 의도된 답변과 일치하는 결과를 내놓을 위험이 있습니다.
연구진은 이러한 문제가 '성급한 명확화 종료'에서 비롯된다고 지적하며, 해결책으로 PlanPool이라는 시스템을 제안했습니다. PlanPool은 명확화 계획을 수정 가능한 질문 풀로 외부화하여 관리합니다. 이 방식에서는 모든 계획된 질문이 제출되기 전에 반드시 실제로 질문되거나 폐기되어야 하며, 상호작용 중에 새롭게 발견되는 모호성은 추가할 수 있습니다.
PlanPool은 기존의 제약 없는 방법이나 기반 대안보다 모호성 커버리지를 개선하고 암묵적 실패를 줄이는 것으로 나타났습니다. 본 연구는 에이전트 추론 과정에서 단순히 누락된 정보를 식별하는 것만으로는 충분하지 않으며, 해당 정보를 신뢰성 있게 유지하고 해결하는 것이 핵심 역량임을 강조합니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 프롬프트
- AI에게 주는 지시나 질문 글.
에이전트가 정확한 결과를 내도 모호성을 해결했다고 볼 수 없나요?
단순히 결과가 맞다고 해서 에이전트가 근본적인 모호성까지 충분히 해결했다는 의미는 아니에요. 의도치 않게 검증되지 않은 가정을 사용해서 우연히 원하는 답변과 일치하는 결과를 낼 위험이 있기 때문이에요.
제안된 PlanPool 시스템은 어떻게 작동하나요?
PlanPool은 명확화 계획을 수정 가능한 질문 풀로 외부 관리해요. 이 방식에서는 모든 계획된 질문이 제출되기 전에 반드시 실제로 질문되거나 폐기되어야 하며, 상호작용 중에 새롭게 발견되는 모호성은 추가할 수 있어요.
에이전트에게 가장 중요한 핵심 역량은 무엇인가요?
단순히 빠진 정보를 찾아내는 것만으로는 부족해요. 해당 정보를 신뢰성 있게 유지하고 해결하는 추론 과정 자체가 에이전트의 핵심 역량이 됩니다.