모델 연구
Cross Lingual Transfer in Tulu Legal Comprehension: Script-Dependent Improvement and RAG-Induced Knowledge Conflict
ARarXiv
저자원 언어 환경에서 LLM의 법률 이해 능력을 평가하기 위해, 관련 고자원 언어를 활용한 지식 전이와 RAG 방식을 결합하여 테스트를 진행했습니다.
세 줄 요약
- 법률 이해력은 사용된 스크립트 종류에 따라 편차가 컸으며, RAG 시스템을 이용했음에도 오류는 외부 자료가 아닌 모델 자체의 정보 해석 및 추론 단계에서 주로 발생했습니다.
- 이 연구 결과는 데이터가 부족한 다국어 환경에서 AI 모델의 신뢰성을 검증하고, 단순 성능 측정 이상의 체계적인 평가 프레임워크 구축에 중요한 지침을 제공합니다.
- 모델이 특정 구절에 집착하는 '사실 대체'나 근거 없는 '환각(Hallucination)' 현상을 방지하기 위해, 모델의 추론 과정을 면밀히 분석하고 검증하는 것이 필수적입니다.
저자원 언어 환경에서 LLM의 법률 이해 능력을 평가하기 위해, 관련 고자원 언어를 활용한 지식 전이와 RAG 방식을 결합하여 테스트를 진행했습니다.