AI 모델의 텍스트 워터마킹 기술과 논란
AI Models Are Watermarking Text—Will You Notice?
IEEE Spectrum AI주요 AI 기업들은 유럽연합(EU) 규제 대응 및 투명성 확보를 위해 인공지능이 생성한 텍스트에 워터마크 삽입 기술을 도입하고 있습니다.
- 이 워터마크는 단순한 메타데이터가 아닌, 단어 선택 과정의 확률 분포 자체를 미묘하게 조작하여 눈에 보이지 않게 심는 방식입니다.
- AI 콘텐츠 출처 명확화라는 장점이 있지만, 이 기술이 결과물의 본래 품질을 저하시키는지 여부에 대한 논란은 여전히 남아있습니다.
- 다만, 단문이나 특정 환경에서는 탐지율이 떨어지는 한계가 있어, 데이터의 출처 추적 등 광범위한 관리 용도로 활용될 전망입니다.
주요 AI 기업들은 유럽연합(EU)의 규제 대응 및 콘텐츠 투명성 확보를 위해 인공지능이 생성한 텍스트에 삽입 기술을 도입하고 있습니다. 앤트로픽은 향후 모든 Claude 모델에서 AI가 생성했음을 식별하는 워터마크가 포함된 텍스트를 생성한다고 발표했으며, 구글 역시 Gemini 모델 출력물에 자체적인 텍스트 워터마크를 사용합니다. 이러한 움직임은 EU의 AI 법()과 같은 규제 환경에 대응하기 위한 흐름으로 해석됩니다.
텍스트 워터마크는 단순한 메타데이터나 눈에 보이지 않는 문자가 아닙니다. 이는 이 응답을 생성할 때 각 단어에 부여하는 확률 분포 자체를 미묘하게 조작하여 숨기는 방식입니다. 예를 들어, Kirchenbauer가 제시한 방법은 단어를 빨간 목록과 초록 목록으로 분류하고, 초록 목록의 단어들이 선택될 확률을 높여 워터마크를 삽입합니다. 이 과정 덕분에 인간에게는 감지되지 않지만, 특정 키를 가진 사람이나 시스템이 접근하면 탐지가 가능합니다.
워터마킹 기술은 AI 생성 텍스트의 출처 명확화라는 장점이 있지만, 결과물의 본래 품질을 저하시키는지에 대한 논란이 있습니다. 일부 비평가들은 워터마크 삽입 과정 자체가 모델 출력물을 변형시킨다고 지적합니다. 반면, 구글은 Gemini 사용자 질의를 워터마크 처리된 버전과 그렇지 않은 버전에 무작위로 할당하여 2천만 건의 응답에 대한 사용자 피드백을 비교했으며, 유의미한 차이를 발견하지 못했다고 보고했습니다.
최근 연구에서는 워터마킹 기술이 단순히 콘텐츠를 라벨링하는 것 외에도 광범위하게 활용될 가능성이 제기되고 있습니다. 예를 들어, 문서 소유자가 자신의 문서를 워터마크 처리하여 출판할 경우, 이 흔적을 모델의 학습 데이터에서 발견함으로써 텍스트의 출처(provenance)에 대한 통계적 증거로 사용할 수 있게 됩니다. 또한, AI 모델이 자체 오류를 반복적으로 재생산하는 '모델 붕괴' 현상을 방지하기 위해 이전 세대 모델의 콘텐츠를 학습 데이터에서 제외하는 데 워터마크가 사용될 수도 있습니다.
용어 풀이
- 워터마크
- AI가 만든 글이나 이미지에 눈에 잘 띄지 않게 넣는 식별 표시.
- AI Act
- 유럽연합이 AI를 위험도에 따라 나눠 규제하려고 만든 법.
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.