리서치 연구
LLM의 비일관성 예측, 구조 정보 추가는 효과가 미미하다
Does Linguistic Structure Enrichment Enhance Coherence Assessment? Not With Current Architectures
arXiv대규모 언어 모델(LLM)이 문법적으로는 완벽해도 내용상 모순이나 논리적 비일관성을 가질 수 있어, 이를 예측하는 방법을 연구했습니다.
세 줄 요약
- 연구 결과, 텍스트에 구조 정보를 추가하기보다 단순 텍스트 자체가 더 높은 정확도를 보였으며, 일관성은 허위 정보 탐지 지표로 활용 가능함을 입증했습니다.
- LLM이 생성한 콘텐츠도 논리적 흐름 점검이 필수적이므로, 텍스트의 일관성 검토는 오해를 방지하는 중요한 기준이 됩니다.
- 다만, 구조 정보를 추가했음에도 성능 향상이 미미했던 것은 해당 정보가 언어 모델 아키텍처와 근본적으로 호환되지 않았기 때문으로 분석되었습니다.
최근 (LLM)은 인간-컴퓨터 상호작용을 변화시켰지만, 유창함에도 불구하고 문법적으로만 정확하고 내용상 모순이나 논리적 흐름이 끊기는 비일관적인 텍스트를 생성하는 경우가 많다. 본 연구는 텍스트에 통사적 및 수사적 정보를 추가하여 이러한 비일관성을 예측할 수 있는지 여부를 조사했다.
실험과 분석 결과, 구조 정보를 보강한 텍스트보다 단순 텍스트가 더 높은 정확도를 달성하는 것으로 나타났다. 이는 추가된 정보가 언어 모델의 아키텍처와 구조적 및 통사적으로 호환되지 않았기 때문으로 밝혀졌다.
나아가 본 연구는 일관성 평가의 실질적인 중요성을 입증하기 위해 브라질 허위 정보 데이터셋에 대한 실험을 수행했다. 이 결과는 텍스트의 일관성이 오해를 감지하는 지표(proxy)로서 활용될 수 있음을 시사한다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 제로샷
- 예시를 하나도 주지 않고 바로 과제를 시키는 방식.