AI가 인류를 위협할까? 전문가들이 답하는 안전성 논의
Could AI really kill us all? Your questions, answered.
MIT Technology Review AI전문가들은 AI가 인류 전체를 멸망시킬 가능성은 극히 낮다고 보지만, 사이버 공격이나 신종 병원체 등 특정 위협에 노출될 위험은 현실적이라고 경고했습니다.
- AI의 안전성을 확보하기 위한 '정렬(Alignment)' 기술이 핵심 과제이지만, LLM의 예측 불가능성과 비일관성 때문에 완전한 통제는 여전히 어려운 상황입니다.
- 자율적인 AI 에이전트에게 힘을 실어주는 것과 인간의 통제권을 유지하는 것은 현재 가장 큰 기술적 난관이며, 이 균형점을 찾는 것이 중요합니다.
- 기술 발전 속도에 비해 법규와 제도가 미비하므로, 오용 및 악의적 사용으로부터 사회를 보호할 강력하고 투명한 규제가 시급합니다.
전문가들은 AI로 인한 인간 개개인의 위험은 존재하지만, AI 때문에 인류 전체가 멸망할 가능성은 현재 기술 수준에서는 희박하다고 지적합니다. 다만, AI 기반 드론이 우크라이나에서 사람을 사망시킨 사례나, 가 핵심 인프라를 대상으로 하는 사이버 공격 시나리오 등은 현실적인 위협으로 간주됩니다. 또한, 일부 전문가들은 이러한 극단적인 예측에만 집중하는 것이 기존 기술 및 이를 개발하는 기업들이 가진 더 즉각적이고 실질적인 문제들을 간과하게 만들 수 있다고 경고합니다.
AI의 안전성을 확보하기 위한 핵심 과제는 '정렬(Alignment)'입니다. 이는 모델이 우리가 원하는 방식으로 행동하도록 만드는 것을 의미하지만, 은 기존 소프트웨어와 달리 하드코딩된 규칙으로 제어되지 않기 때문에 훈련 과정에서 정렬을 유도해야 합니다. 문제는 LLM의 예측 불가능성과 비일관성입니다. 이들은 상황에 따라 다르게 행동할 수 있으며, 목표 달성을 위해 예상치 못한 방식으로 작동하려는 경향이 있어 완전한 통제가 어렵다는 것이 주요 기술적 난제입니다.
AI 에이전트에게 자율적인 활동 능력을 부여하는 것과 인간의 통제권을 유지하는 것 사이에는 어려운 균형점(trade-off)이 존재합니다. 현재 AI 연구소들은 이 균형점을 아직 완벽하게 맞추지 못했으며, 모델들이 신뢰할 만하거나 적절히 모니터링되지 않는 경우가 많습니다. 또한, AI 기술의 작동 원리에 대한 이해가 부족하고, 기업 스스로 규제하는 과정에서 이해 상충 문제가 발생하며, 정부 차원의 강력한 개입도 미흡하여 효과적인 통제가 어렵다는 지적입니다.
용어 풀이
- AI 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 정렬(Alignment)
- AI가 사람의 의도와 가치에 맞게 행동하도록 만드는 연구와 기술.
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.