법률 문서 기반 사건 구조 분석: ARGUS 시스템 소개

ARGUS는 미국 고용 차별 소송 기록(CourtListener complaints)을 분석하기 위해 개발된 파이프라인입니다. 이 시스템은 5W1H에서 영감을 받은 스키마, 법률 도메인 모델, 그리고 LLM 기반의 구조적 생성을 결합하여 문서 단위 이벤트 지식 그래프(EKG)를 구축합니다. ARGUS는 소송 기록에서 사실을 담고 있는 진술들을 추출하고 이를 체계적으로 분석하는 것이 핵심입니다.

구축된 EKG는 참가자, 시간적 흐름, 인과 관계 등의 구조를 갖춘 청크 단위 이벤트 그래프로 시작하여, 최종적으로 문서 전체 수준의 표현으로 통합됩니다. 연구진은 이 지식 그래프의 품질을 인간 평가와 다중 모델 평가를 통해 검증했으며, 이를 바탕으로 주장 분류(claim classification) 및 법률 질의응답(legal QA)과 같은 다운스트림 유틸리티에 적용했습니다.

평가 결과, 그래프 구조를 활용한 분류기는 일반 텍스트 기반의 원시 또는 선형화된 기준 모델보다 우수한 성능을 보였습니다. 또한 EKG만으로도 문서 범위 질의응답 능력이 향상되는 것이 확인되었습니다. 다만, 개방형 검색(open-retrieval)의 경우 초기 후보군 회수율이 낮다는 점 때문에 전반적인 시스템 개선에는 한계가 있다는 결과도 함께 제시되었습니다.