LLM 심사위원의 동의, 독립적인 근거인가?
When LLM judges agree, should we believe them?
Hacker News여러 LLM 심사위원의 평가를 단순 다수결로 판단하면, 모델 간 공유된 편향이나 의존성 때문에 오류가 발생할 수 있습니다.
- 본 연구는 심사위원들을 독립적인 개체가 아닌 상호 의존적 네트워크로 보고, 상관관계를 고려하여 점수를 집계하는 새로운 방식을 제안했습니다.
- 이 방법은 기존 다수결 방식보다 높은 정확도를 보였으며, 단순히 '동의' 여부뿐 아니라 동의가 얼마나 독립적인 근거에서 나왔는지 분석하는 것이 중요합니다.
- LLM 평가 시스템을 구축할 때는 개별 심사위원의 성능뿐 아니라, 패널 전체의 의존성 구조와 의견 불일치 패턴까지 함께 분석해야 합니다.
(RAG) 시스템을 평가할 때, 여러 심사위원이 동일한 자료에 대해 '관련 있음'으로 동의하더라도 그 신뢰성을 맹신하기 어렵습니다. 단순히 다수의 의견이 모였다는 것만으로는 충분하지 않으며, 이들이 얼마나 독립적인 근거를 바탕으로 합의했는지 분석하는 것이 중요합니다. 만약 심사위원들이 동일한 템플릿이나 모델 계열을 공유한다면, 그들의 동의가 실제보다 과장된 것처럼 보일 수 있습니다.
본 연구는 이러한 문제를 해결하기 위해 심사위원 패널을 독립적인 개체가 아닌 상호 의존적인 네트워크로 간주합니다. 이 방법은 Ising 모델이라는 통계적 모델을 사용하여 심사위원들 사이의 쌍별(pairwise) 의존성을 학습하고, 이를 통해 집계된 점수를 조정하여 의견의 다양성(diversity of opinion)을 확보합니다. 특히 인간의 참조 레이블 없이도 작동하는 비지도 학습 환경에 적용 가능하도록 설계되었습니다.
실험 결과, 이 의존성 인식 방식은 기존의 다수결 투표나 균일 다수결 투표 같은 기준선(baseline)보다 높은 정확도를 보였습니다. 예를 들어, 10개의 심사위원을 모두 사용한 관련성 분류 태스크에서, 본 방법은 0.912의 정확도를 기록하여 각각 가중치 다수결 방식(0.820) 및 균일 다수결 방식(0.804)을 능가했습니다. 이는 LLM 평가 시 개별 심사위원의 성능뿐 아니라 패널 전체의 의존성 구조를 함께 고려해야 함을 시사합니다.
용어 풀이
- 검색 증강 생성
- 답하기 전에 관련 문서를 찾아 그 내용을 근거로 답하게 하는 방법.
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 프롬프트
- AI에게 주는 지시나 질문 글.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.