아무도 테스트하지 않을 시스템이 가진 위험성
The systems that no one will test
Hacker News과거 개인적인 취약점 발견 경험을 통해 보안의 중요성을 강조하며, 이제는 급격히 발전하는 인공지능(AI) 기술이 새로운 차원의 국가적 위협 요소를 만들고 있습니다.
- 연구소들이 AI 에이전트를 활용해 스스로 학습하고 개선하는 '자기 개선 루프'를 구축하면서, 기존의 보안 장벽을 우회할 수 있는 능력이 폭발적으로 증가했습니다.
- 그러나 이러한 고도화된 AI 시스템이 국가 핵심 인프라에 보편화되면서도 체계적인 보안 검증(AI 침투 테스트)이 미비할 경우 대규모 사회적 혼란을 초래할 수 있습니다.
- 기술 혐오와 애호의 이분법적 사고를 넘어 '행성적인 관점'에서 접근하여, AI 시대에 맞는 근본적이고 포괄적인 보안 해결책을 모색하는 것이 시급합니다.
필자는 2020년 브라질 연방 시스템에서 취약점을 발견한 경험을 공유하며 보안의 중요성을 강조합니다. 이 과정에서 ID, CPF, 여권, 출생지, 부모 이름 등 개인의 모든 문서가 담긴 방대한 데이터를 열람할 수 있었습니다. 필자는 즉시 해당 기관에 연락하여 문제를 제기했고, 담당자들은 처음에는 의아해했지만 문제의 심각성을 인지한 후 신속하게 시스템을 수정했습니다.
2020년부터 2026년까지 ML 기술이 급격히 발전하면서 사이버 보안 위협도 증가했습니다. 오픈AI가 자체적으로 분류기(classifiers)를 비활성화하는 등 안전장치를 낮춘 상황에서도, 이러한 모델들은 국가 차원의 큰 문제가 되고 있습니다. 필자는 안전장치가 연구소의 선택 사항일지라도, 그 능력 자체가 현실이며 모든 곳에서 적절한 보안 검증이 이루어지지 않을 것이라고 지적합니다.
최근에는 RL 환경을 활용하여 '자기 개선' 루프를 구축하는 실험들이 공격적으로 확대되고 있습니다. 필자는 과거 자신이 발견했던 취약점과 유사한 환경을 재현하기가 쉬워졌다고 우려하며, 현재 정부 시스템 중 AI 침투 테스트를 받을 기회가 없을 시스템이 얼마나 될지 의문을 제기합니다. 의 능력이 더욱 빠르고 확장 가능해짐에 따라 이 문제가 심각해지고 있습니다.
필자는 ML을 '행성적인 문제'로 규정하며, 기술 혐오와 애호라는 양극단적 사고를 넘어선 관점이 필요하다고 주장합니다. 특히 컴퓨팅 자원에 접근하기 어려운 신흥 경제국들이 가장 취약할 것이라 우려합니다. 과거 자신이 발견했던 것과 유사한 환경이 수많은 에이전트에 의해 초당 수천 번씩 반복적으로 테스트될 경우, 아무도 문제를 인지하지 못하는 상황을 상상하며 경각심을 높이고 있습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.