리서치 연구
검색 증강 생성(RAG) 시스템의 개인정보 유출 방지 기술
RAG-CT: Mitigating Privacy Risks on Retrieval-Augmented Generation Systems via Scanning Prompt Distribution
arXiv검색 증강 생성(RAG)은 LLM의 정확도를 높이는 강력한 기술이지만, 검색 과정에서 개인 식별 정보(PII)가 유출될 위험이 있다는 문제가 제기되었습니다.
세 줄 요약
- 새로운 방어 기법 RAG-CT는 질의의 엔트로피와 마진 분포를 분석하여 악성 쿼리를 탐지하고 점수 기반으로 PII 유출을 효과적으로 차단합니다.
- LLM 활용 증가에 따른 데이터 프라이버시 보호가 중요해지면서, 본 기술은 시스템 구조 변경 없이도 강력한 방어 기능을 제공한다는 점에서 주목받습니다.
- RAG-CT는 경량화되어 적용이 용이하며, 다양한 공격 시나리오와 기존 방어 기법 대비 우수한 성능을 입증하여 실용성이 높습니다.
(RAG)은 외부 지식을 활용하여 (LLMs)의 응답 품질을 높이고 현상을 줄이는 강력한 방법론으로 부상했습니다. 하지만 최근 연구에 따르면, 공격자가 검색 과정을 악용하여 기반 코퍼스에서 개인 식별 정보(PII)를 추출할 수 있는 심각한 취약점이 존재합니다.
이러한 위험을 완화하기 위해 새로운 방어 기법인 RAG-CT가 제안됩니다. 이 방법은 질의의 엔트로피와 마진 분포를 분석하고 점수 기반 탐지 방법을 사용하여 악성 쿼리를 식별함으로써 PII 유출을 차단합니다.
RAG-CT는 두 개의 데이터셋에서 네 가지 최신 공격 전략과 네 가지 방어 기준선에 대한 광범위한 실험을 통해, 기존 방어 기법보다 우수한 성능을 보이면서 PII 유출을 크게 줄이는 것으로 입증되었습니다. 또한 이 접근 방식은 기반 LLM이나 검색기(retriever)의 수정 없이도 적용 가능한 경량화되고 효과적인 메커니즘을 제공합니다.
용어 풀이
- 검색 증강 생성
- 답하기 전에 관련 문서를 찾아 그 내용을 근거로 답하게 하는 방법.
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 환각
- AI가 사실이 아닌 내용을 그럴듯하게 지어내는 현상.