확산 언어 모델의 오류 수정: 내부 추적 경로 활용 계획기 제안
LOCKR: A Hidden-State Trajectory-Guided Planner for Detecting and Repairing Stable-but-Wrong Lock-In in Diffusion Language Models
arXiv확산 언어 모델(DLM)이 잘못된 답에 일찍 고착되는 '안정적이지만 틀린 잠금 현상'을 해결하기 위해, 내부 추론 경로를 활용하는 계획기(LOCKR)가 제안되었습니다.
- LOCKR은 모델의 숨겨진 상태(Hidden-State) 추적 경로를 분석하여, 언제 추가 계산이 필요한지 판단하고 가장 유망한 수정 경로를 선택합니다.
- 이 방법은 기존의 표면적 신호보다 월등히 높은 성능을 보여, DLM이 내부 추론 과정을 통해 오류를 스스로 수정할 수 있음을 입증했습니다.
- 핵심은 모델의 내부 추적 경로라는 정보에 의존한다는 점이며, 이는 AI 시스템의 신뢰도 향상에 중요한 진전이지만 계산 비용 증가를 고려해야 합니다.
확산 언어 모델(Diffusion Language Models)은 반복적인 디노이징 과정을 통해 텍스트를 생성하며, 이 과정에서 중간 추론 경로가 노출됩니다. 연구진은 '안정적이지만 틀린 잠금 현상(stable-but-wrong lock-in)'이라는 재발하는 추론 실패 사례를 식별했습니다. 이는 답변이 부정확한 값 주변에 조기에 고착되는 현상을 의미하며, 단순히 신뢰도나 엔트로피 같은 표면적인 디코딩 신호만으로는 정확한 잠금 상태와 오류가 발생한 잠금 상태를 확실히 구분하기 어렵습니다.
이에 연구진은 선택적 추론 복구(selective reasoning repair)를 경량의 테스트 시간 계획 문제로 정의하고, 숨겨진 상태 추적 경로 기반의 플래너인 LOCKR을 제안했습니다. LOCKR은 추가 계산이 필요한 시점을 결정하고, 구조화된 목표 수정 분기군을 확장하며, 추적 경로 인지 검증(trajectory-aware verification)을 통해 가장 유망한 다음 단계를 선택하는 방식으로 작동합니다.
두 가지 확산 언어 모델과 세 가지 수학적 추론 를 대상으로 테스트한 결과, 숨겨진 상태 추적 경로는 잘못된 잠금 현상 감지 및 복구 선택 모두에서 표면 신호나 단일 은닉 스냅샷보다 일관되게 우수한 성능을 보였습니다. 자연스러운 평가 분포에서는 LOCKR이 모든 5개 평가 설정에서 절대 정확도 향상분 2.21%~5.37%를 달성했으며, 복구율은 22%에서 41%에 이르렀습니다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.