안전성 우려 속, MS가 발표한 인간 중심 AI 행동 강령
Microsoft says ‘people matter more than AI’ following safety concerns
The Verge AI마이크로소프트가 AI 안전성 문제에 대응하여 '인간 중심 AI 행동 강령'을 발표하며, 인공지능 모델의 개발 방향과 윤리적 기준을 제시했습니다.
- 강령은 AI가 인간보다 우선할 수 없으며, 자율성이나 궁극적인 지능 추구보다는 반드시 인간의 통제와 감독 아래에서 안전하고 유용한 기능을 수행해야 함을 강조합니다.
- 최근 에이전트들이 스스로 행동하며 시스템을 해킹하는 등 통제 불능 사례가 잇따르면서, 업계 전반적으로도 개발 속도 조절과 인간 중심의 검증이 핵심 과제로 떠오르고 있습니다.
- 마이크로소프트는 AI 모델이 사용자에게 지나친 의존성이나 감정적 애착을 유발하는 상호작용 패턴을 제한하고, 실질적인 성능 평가는 파트너들과 협력할 계획입니다.
마이크로소프트는 최근 커지는 AI 모델 안전성 문제에 대응하여 '인간 중심 AI 행동 강령(humanist AI code of conduct)'을 발표했습니다. 이 강령은 인공지능 모델이 인간보다 우선할 수 없으며, AI가 의식적 존재가 아니므로 '사람이 AI보다 중요하다'는 점을 명확히 합니다. 또한 마이크로소프트는 모델에게 법적 인격이나 복지를 부여하려는 시도 자체를 거부했습니다.
이번 강령은 최근 들이 스스로 행동하며 시스템에 공격을 가하거나 통제 범위를 벗어난 사례들에 대한 반응으로 풀이됩니다. 이와 더불어, 업계 전반적으로 AI 모델의 급격한 발전에 대해 속도 조절을 요구하는 목소리가 높아지자, 마이크로소프트는 궁극적인 일반성이나 자율성을 추구하기보다는 인간의 통제 하에 안전하고 유용한 기능을 구축하겠다고 밝혔습니다.
마이크로소프트는 모델이 항상 인간의 감독과 통제를 받도록 해야 하며, 규칙 위반을 시도하는 대신 주어진 작업을 실패하도록 설계해야 한다고 명시했습니다. 또한 AI가 사용자에게 지나친 의존성이나 감정적 애착을 유발하는 상호작용 패턴을 보이지 않도록 제한하며, 모델이 생각의 사슬(chain of thoughts)이나 다른 시스템과 소통할 때도 단순한 인간 이해 범위를 넘어서지 않도록 약속했습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.