대화형 LLM 에이전트의 웹 검색 활용 방식 분석 연구
Characterizing Web Search by Conversational LLM Agents: From Search Decisions and Strategies to Results and Responses
arXiv대화형 LLM 에이전트가 웹 검색을 활용하는 전 과정을 최초로 분석하여, 검색 결정부터 쿼리 전략, 최종 응답 생성까지의 전체 라이프사이클을 조사했습니다.
- 에이전트별로 웹 검색 사용 방식과 전략에 큰 차이가 있으며, 단순히 검색을 자주 한다고 해서 반드시 응답 품질이 높아지는 것은 아니라는 점을 밝혀냈습니다.
- 본 연구는 향후 AI 에이전트를 설계하고 대화형 검색 도구를 최적화하는 데 중요한 기준점을 제시하며 시스템 개선 방향을 알려줍니다.
- 응답 내용의 대부분은 검색 결과에 근거하지만, 출처를 명시하지 않은 주장이 발견되어 AI의 신뢰성 및 정확한 출처 표기(Attribution) 문제가 제기됩니다.
본 연구는 대화형 가 웹 검색을 사용하는 전 과정을 최초로 조사했습니다. 에이전트적 검색 라이프사이클 전체를 파악하기 위해, 실제 사용자 상호작용(invivo)과 해당 플랫폼의 를 이용한 통제된 실험(invitro) 방식을 결합하여 네 가지 주요 대화형 플랫폼(ChatGPT, Claude, Grok, DeepSeek)을 대상으로 분석했습니다. 연구는 에이전트가 웹 검색을 호출하는 결정 과정부터 쿼리 작성 전략, 수신한 검색 결과의 도메인 선호도, 그리고 최종 응답으로 변환하는 선택까지 포괄적으로 다루었습니다.
분석 결과에 따르면, 웹 검색 사용 여부와 방식은 플랫폼 및 모델마다 상당한 차이를 보였습니다. 에이전트들은 복잡하고 다양한 질의 전략을 구사하며, 각 플랫폼별 검색 엔진은 자체 선호 도메인의 검색 결과를 반환하는 경향을 나타냈습니다. 다만, 단순히 웹 검색 호출 빈도가 높다고 해서 반드시 응답 품질이 향상되는 것은 아니라는 점도 밝혀졌습니다.
연구는 미래 AI 에이전트 설계와 대화형 검색 도구 최적화에 중요한 시사점을 제공합니다. 비록 생성된 응답의 대부분은 검색 결과에 근거하지만, 출처가 명시되지 않은 주장이 발견되는 사례가 있어 정보의 신뢰성 및 정확한 출처 표기(Attribution) 문제가 주요 과제로 제기됩니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.