모델 연구
Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes
ARarXiv
대규모 언어 모델(LLM)이 생성한 자전적 기록에 대해 실제 사실 여부를 측정하는 장면 단위 감사 방식을 발표했다.
세 줄 요약
- 연구진은 366일의 일기 중 96.7%가 검증에 실패했으며, 오직 12일만 장면이 확인되었다고 밝혔다. 모델을 주체의 코퍼스에 기반하여 생성할 경우 검증률이 개선되나 여전히 잔여 실패율(83.3%)이 남는다.
- 제시된 감사 도구는 LLM이 생성한 텍스트의 어느 부분이 사실 기록과 일치하는지 정량적으로 측정할 수 있는 방법을 제공한다.
- 연구진은 이 4단계 분류 체계가 공정에서 보통 수준의 신뢰도만 보인다고 지적했으며, 감사 도구의 WEAK/UNVERIFIED 경계는 신뢰하기 어렵다.
대규모 언어 모델(LLM)이 생성한 자전적 기록에 대해 실제 사실 여부를 측정하는 장면 단위 감사 방식을 발표했다.