문서 위변조 탐지: LLM 기반 포렌식 시스템 개발 보고서
Team MSU GenText-Forensics Challenge 2026 Technical Report
arXiv문서 위변조 공격이 단순한 픽셀 조작을 넘어 문서의 의미 자체를 변형시키면서, OCR 및 LLM 파이프라인까지 겨냥하는 고도화된 탐지 기술이 요구됩니다.
AI가 문서를 처리하는 과정에서 의미적 변조를 탐지하는 기술은 문서 보안의 핵심 기준이 되고 있어요.
- 연구팀은 변조 탐지기(DTD)와 두 개의 비전-언어 모델을 결합한 다단계 CoT 파이프라인을 구축하여, 픽셀 오류는 물론 의미적 이상까지 찾아내 보고서를 작성했습니다.
- AI가 문서를 처리하는 과정에서 위변조된 정보에 노출되는 위험이 커지면서, 이처럼 '의미'를 분석하는 포렌식 기술은 AI 기반 문서 보안의 핵심 기준이 될 전망입니다.
- 본 시스템은 대규모 언어 모델(LLM)과 복잡한 지식 증류(Distillation) 과정을 거쳐 개발되었으며, 이는 고난도 컴퓨팅 자원과 전문적인 데이터 처리가 필수적임을 보여줍니다.
현대의 문서 위변조 공격은 단순한 픽셀 수준의 조작을 넘어, 문서의 의미 자체를 변형시키고 OCR 및 파이프라인까지 겨냥하는 고도화된 형태를 띠고 있습니다. 이에 따라 ACM MM 2026 GenText-Forensics 챌린지는 단순히 다국어 텍스트 이미지가 위변조되었는지 판단하는 것을 넘어, 조작 지점을 국소화하고 공격 유형을 식별하며, 근거가 포함된 사람이 읽을 수 있는 포렌식 보고서를 생성할 수 있는 시스템을 요구합니다.
연구팀은 이러한 요구사항에 맞춰 분해된 사고 과정(decomposed , CoT) 파이프라인을 구축했습니다. 이 솔루션은 문서 변조 탐지기(DTD)와 두 개의 Qwen3-VL-32B 비전-언어 모델을 결합한 구조입니다. DTD가 변조 확률 맵을 생성하여 후보 영역으로 변환하면, 첫 번째 모델인 필터러가 이 영역들을 검증하고 예비 위변조 유형을 할당합니다. 이후 두 번째 모델인 시맨틱 탐지기(Semantic Detective)는 살아남은 영역들을 병합하고 재근거화하며, 픽셀 수준 감지기가 놓칠 수 있는 순수 의미적 이상을 검색하여 최종 보고서를 작성합니다.
이 시스템의 두 모델은 권한이 있는 Qwen3-VL-235B 교사 모델로부터 n-of-thought 추적(traces)을 증류(distilling)하는 방식으로 훈련되었습니다. 연구진은 데이터 준비, 테스트 시간 증강(test-time augmentation), 영역 렌더링, 프로토콜 및 훈련 구성을 상세히 설명하며, 탐지기 임계값, 설계, 파이프라인 분해 등 다양한 요소에 대한 분석 결과도 보고했습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- chain-of-thought
- 답에 이르는 생각 과정을 단계별로 적게 해서 정확도를 높이는 방법.
- 지식 증류
- 큰 모델의 답을 작은 모델이 따라 배우게 해서 가볍고 빠른 모델을 만드는 방법.
- 프롬프트
- AI에게 주는 지시나 질문 글.
문서 위변조 탐지 과정은 어떤 단계를 거치나요?
먼저 변조 탐지기(DTD)가 변조 확률 맵을 생성하여 후보 영역으로 만듭니다. 이후 필터러 모델이 이 영역들을 검증하고 예비 위변조 유형을 할당해요. 마지막 시맨틱 탐지기는 남아있는 영역을 병합하고 재근거화하며, 픽셀 수준 감지기가 놓칠 수 있는 순수 의미적 이상까지 검색하여 최종 보고서를 작성합니다.
탐지 모델들은 어떤 방식으로 훈련되었나요?
이 시스템의 두 모델은 권한이 있는 Qwen3-VL-235B 교사 모델로부터 n-of-thought 추적(traces)을 증류하는 방식을 통해 훈련되었습니다. 연구진은 데이터 준비, 테스트 시간 증강 등 다양한 프로토콜과 구성을 상세히 분석했어요.
이 시스템이 탐지할 수 있는 위변조의 종류는 무엇인가요?
단순한 픽셀 조작을 넘어, 문서의 의미 자체를 변형시키거나 OCR 및 LLM 파이프라인까지 겨냥하는 고도화된 형태의 공격을 탐지할 수 있어요. 특히 픽셀 수준 감지기가 놓칠 수 있는 순수 의미적 이상 검색이 가능해요.