법률 LLM의 환각: '법적 권한' 실패로 평가해야 한다
Legal LLM Hallucination Should Be Evaluated as Failure of Legal Warrant
arXiv법률 AI 모델의 허위 정보(환각)는 단순한 사실 오류가 아닌, 해당 주장을 뒷받침하는 '법적 권한(Legal Warrant)' 자체가 결여된 실패로 평가해야 한다는 연구 논문입니다.
- 새로운 평가 기준인 '주장-권위 근거'는 특정 법률 주장이 유효하고, 관련 관할권에 적용되며, 최신 상태인지 등 다차원적인 법적 타당성을 종합적으로 검증합니다.
- 기존의 일반적인 LLM 평가는 단순 정확도나 인용 여부만 측정하여, 주장 자체의 '법적 효력'이라는 핵심 위험 요소를 포착하지 못하는 한계가 있습니다.
- 따라서 향후 법률 AI 시스템은 주장의 경계를 명확히 하고 관할권별 권위 온톨로지 구축 등 매우 정교하고 복잡한 데이터 구조를 갖춘 평가 체계가 필수적입니다.
본 논문은 법률 이 생성하는 허위 정보()를 단순한 사실 오류나 인용 누락으로 보기보다, 해당 주장을 뒷받침하는 근거인 '법적 권한(legal warrant)' 자체가 결여된 실패로 평가해야 한다고 주장한다. 여기서 정의하는 '주장-권위 근거(claim-authority warrant)'란 특정 법률 주장이 존재하며, 관련 관할권에 적용되고, 분석 시점에 유효성을 가지며, 시스템이 가진 법적 지위를 갖추어 해당 명제를 뒷받침하는 맥락 의존적인 관계를 의미한다.
법적으로 권한을 갖춘 생성(Warranted legal generation)은 이러한 근거 관계를 바탕으로 답변하거나, 범위를 좁히거나, 경고하거나, 잘못된 전제를 수정하거나, 혹은 아예 침묵하는 등 광범위한 시스템 행동을 포함한다. 기존의 평가 방식으로는 정확도나 인용 존재 여부 같은 일반적인 지표만 측정하여 포착할 수 없는 핵심 위험 요소가 존재한다는 것이 이 연구의 주요 주장이다.
따라서 법률 AI 시스템에 대한 평가는 주장의 경계, 지원 레이블, 혼합 응답 정책 점수, 관할권별 권위 온톨로지 등 매우 정교하고 복잡한 데이터 구조를 갖춘 평가 체계를 구축해야 한다. 이는 해당 LLM의 결과적인 주장들이 실제로 법률적으로 허가되는지를 검증하는 구체적인 연구 의제를 제시한다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 환각
- AI가 사실이 아닌 내용을 그럴듯하게 지어내는 현상.