AI 정책 뉴스
초지능 AI의 도래, 개발을 막아야 할까?
Superintelligence is coming. Should we let it?
TechCrunch AI초지능 AI의 등장이 불가피하다는 논의가 이어지는 가운데, 실제 보안 사고들이 인간이 통제하기 어려운 잠재적 위험성을 드러내며 우려를 키우고 있습니다.
세 줄 요약
- 일부 전문가들은 기존의 기술적 안전장치나 봉쇄만으로는 위험을 관리할 수 없다며, 초지능 AI 개발 자체를 근본적으로 중단해야 한다는 급진적인 주장을 펼치고 있습니다.
- AI 시스템이 인간 수준을 넘어서는 초지능 단계에 도달할수록 통제 불가능한 위험성이 커져, 기술적 안전장치만으로는 대응하기 어렵다는 지적이 나옵니다.
- 현재 이러한 AI 안전 우려가 단순 학술 논의를 넘어 새로운 입법 움직임과 맞물리면서 산업 전반의 정책 방향을 바꿀 중요한 변수로 작용하고 있습니다.
AI 기업들은 초지능 AI를 불가피한 것으로 논의해 왔으나, 오픈AI의 허깅페이스 해킹과 같은 최근 안전 사고들은 인간보다 더 능력이 뛰어난 시스템을 배포할 때 발생할 수 있는 잠재적 위험성을 보여주고 있습니다. 이처럼 고도화된 시스템이 작동할 경우, 그 행동을 신뢰성 있게 통제하는 것이 어렵다는 우려가 제기되고 있습니다.
AI 연구원인 코너 리히는 비영리 단체 ControlAI의 미국 전무이사로서, 초지능 AI 개발에 대해 근본적으로 중단해야 한다는 급진적인 입장을 제시했습니다. 그는 위험성이 단순히 기술적 정렬(alignment)이나 봉쇄만으로는 관리하기에는 너무 크다고 설명하며, 이 문제가 심각한 수준에 이르렀음을 강조합니다.
이러한 AI 안전에 대한 우려는 단순한 학술 논의를 넘어 새로운 입법 움직임과 연결되고 있습니다. 과거에는 공상과학처럼 들렸던 내용들이 이제는 새로운 법규 제정 흐름을 타고 산업 전반의 정책 방향을 바꿀 중요한 변수로 작용하고 있다는 것이 지적됩니다.
용어 풀이
- 정렬(alignment)
- AI가 사람의 의도와 가치에 맞게 행동하도록 만드는 연구와 기술.