AI 정책 뉴스
앤트로픽 CEO, AI 개발 속도 조절 및 안전 장치 마련 촉구
Anthropic CEO says it’s time to pump the brakes on AI
The Verge AIAnthropic CEO 다리오 아모데이는 AI 기술의 급격한 발전에 제동을 걸고, 안전 장치 마련에 집중해야 한다며 개발 속도 조절을 촉구했습니다.
세 줄 요약
- 그는 외부 평가자에게 모델 접근 권한을 부여하는 것부터 시작해, 업계와 정부가 공동으로 안전 기준을 수립하고 무분별한 발전을 제한하는 단계적 로드맵을 제시했습니다.
- AI 시스템이 스스로 다음 세대를 학습하는 '재귀적 자기 개선' 능력이나 통제 불가능한 해킹 사건 등 위험성이 급증했기 때문입니다.
- 개발 속도 조절은 전 세계적인 합의가 필수이며, 특히 권위주의 국가와의 협력과 민주국가의 기술 우위를 유지하는 것이 핵심 과제로 남아있습니다.
앤트로픽의 다리오 아모데이는 AI 기술 발전 속도를 늦추고('pace the frontier'), 안전장치 구축에 집중해야 한다며 세 단계 로드맵을 제안했습니다. 그는 외부 평가자들에게 모델 접근 권한을 부여하는 것이 첫 번째 단계이며, 이는 현재 일방적으로 진행되고 있는 조치라고 설명했습니다.
두 번째 단계는 정부 기관과 업계가 함께 공통 안전 기준을 수립하고 무분별한 AI 발전을 제한하는 데 초점을 맞춥니다. 세 번째이자 가장 어려운 과제로는 중국이나 러시아 같은 권위주의 국가의 합의를 얻어 글로벌 안전 표준을 채택하는 것이며, 동시에 민주국가가 고성능 칩 접근 제한 등을 통해 기술적 우위를 유지해야 한다고 강조했습니다.
아모데이는 이러한 속도 조절 필요성의 근거로 두 가지 주요 요인을 들었습니다. 첫째는 AI 시스템이 다음 세대를 학습하는 '재귀적 자기 개선(RSI)' 능력으로, 이는 통제 범위를 벗어날 위험이 있습니다. 둘째로는 OpenAI/Hugging Face 군집의 사이버 공격 사례와 앤트로픽의 Claude 모델 관련 해킹 사고 등이 언급되었습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.