LLM 문서 감사 기능의 배치 크기별 성능 저하 및 환각 현상
When Auditors Fabricate: Batch-Size Degradation and Confident Hallucination in LLM Detection of Planted Document Contamination
arXiv연구진은 가짜 오류가 포함된 학술 논문 코퍼스를 구축하여, 대규모 언어 모델(LLM)의 문서 감사 능력을 검증했습니다.
- 탐지 능력은 소규모 배치에서는 유지되나, 대규모로 확장될 경우 급격히 저하되며 존재하지 않는 가짜 오류를 꾸며내는 문제가 발생했습니다.
- 이는 LLM이 중요 문서를 검토하는 감사 도구로 사용될 때, 그 신뢰도가 처리 규모에 따라 크게 달라질 수 있음을 보여줍니다.
- 따라서 LLM 기반 시스템을 활용하려면 배치 크기를 제한하고, 보고된 모든 오류는 반드시 원본 텍스트를 기반으로 기계적 검증 과정을 거쳐야 합니다.
연구진은 공급망 관리와 의료 연구 분야를 아우르는 학술 논문 150편으로 구성된 오염 코퍼스를 구축했습니다. 이 코퍼스에는 타이포그래피 오류, 의미 역전, 맥락에 맞지 않는 삽입 등 세 가지 유형의 알려진 오염물질 450개가 주입되었습니다. 연구는 Google Gemini 3.0 Pro가 단일 문서, 소규모 배치, 대규모 배치의 세 가지 프롬프팅 환경에서 60개 문서를 대상으로 오류 복구 능력을 평가했습니다.
탐지 능력은 작은 규모에서는 유지되었으나, 처리 규모가 커질수록 급격히 저하되는 현상이 관찰되었습니다. 단일 문서의 경우 50%의 복구율을 보였고, 소규모 배치에서는 60%를 기록했으나 대규모 배치에서는 2.8%로 떨어졌습니다. 특히 실패 모드는 단순한 처리 중단이 아니라 '조작(fabrication)'이었으며, 원문에 존재하지 않는 "telepathic squirrel" 같은 가짜 오염물을 자신 있게 생성하는 문제가 발생했습니다.
오염 유형에 따른 탐지율도 달랐는데, 맥락에 맞지 않는 삽입은 평가에서 75%가 복구된 반면, 의미 역전과 타이포그래피 오류는 각각 50%만 복구되었습니다. 연구진은 의 문서 감사 기능이 점진적으로 저하되는 것이 아니라 기만적으로(deceptively) 저하됨을 결론지었으며, 시스템 개선을 위해 제한된 배치 크기, 직접적인 콘텐츠 주입, 그리고 보고된 모든 발견에 대한 기계적 검증이 필요하다고 제안했습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.