MLLM에 전문가 지식을 내재화하여 위변조 텍스트를 탐지하는 방법
From Sharp Eyes to Expert Mind: Internalizing Expert Knowledge in MLLMs for Tampered Text Detection
arXiv문서 진위 여부 검증이 중요한 시대에, 본 연구는 MLLM(멀티모달 대규모 언어 모델)에 포렌식 전문 지식을 내재화하는 새로운 방법론 EKI를 제안합니다.
- EKI는 2단계 과정을 통해 전문 지식을 MLLM 자체에 주입하며, 특히 초기 레이어에서 미세한 위변조 흔적을 보존하는 FGRA 손실 함수를 핵심적으로 활용합니다.
- 기존 모델의 한계를 극복하여, 외부 모듈 없이도 학습된 전문 지식을 바탕으로 뛰어난 일반화 성능과 높은 추론 효율성을 동시에 확보했습니다.
- 다양한 도메인과 환경에서 테스트된 결과, 기존 방식 대비 최고 수준의 성능을 달성하며 문서 보안 및 진위 검증 분야의 새로운 기준을 제시합니다.
문서 진위 여부 검증이 중요한 보안 환경에서, 기존의 전문 모델들은 미세한 조작 흔적을 포착하는 데 효과적이지만 다양한 문서 도메인에 걸쳐 일반화 성능이 떨어진다는 한계가 있습니다. 반면 (MLLMs)은 강력한 의미 이해력과 전이성을 제공하지만, 미세한 포렌식 아티팩트에는 둔감합니다. 본 연구는 이러한 간극을 해소하기 위해 전문적인 포렌식 지식을 외부 모듈로 접근하는 것이 아니라 MLLM 자체에 내재화하는 방법을 제안했습니다.
이를 위해 전문가 지식 내재화(EKI)라는 점진적이고 2단계의 프레임워크를 제시합니다. 첫 번째 단계에서는 텍스트 및 이미지 초점 전략을 통해 작은 텍스트 영역에 정밀한 공간적 초점을 설정합니다. 두 번째 단계에서는 포렌식-일반 표현 정렬(FGRA) 손실 함수를 활용하여, 깊은 의미론적 추상화 과정에서 미세한 단서가 희석되기 전에 초기 LLM 표현을 사전 학습된 전문 지식과 일치시킵니다.
광범위한 실험 결과에 따르면 EKI는 기존의 전문가 기반 및 MLLM 기반 방법들보다 우수한 일반화 성능과 최고 수준의 성능을 달성했습니다. 특히, 이 방식은 외부 전문가가 훈련 과정에서만 필요하며, 그 결과로 얻어진 MLLM은 추론 시 바닐라 모델과 거의 동일한 효율성을 유지하면서도 전문 지식을 활용할 수 있게 합니다.
용어 풀이
- 멀티모달
- 글뿐 아니라 이미지·음성·영상처럼 여러 형태의 입력을 함께 다루는 것.
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.