최신 AI 모델은 행동 전 안전 증거를 능동적으로 탐색하는가?
Do Frontier Models Seek Safety Evidence Before Acting?
arXiv최신 AI 모델들이 안전 정보를 수동적으로 받아들이는 것을 넘어, 배포 결정을 내리기 전 필요한 안전 증거를 능동적으로 탐색하는지 여부를 분석했습니다.
- 모델들은 위험도와 검색 비용 사이의 명확한 트레이드오프 정책을 보였으며, 특히 '검색 마찰(retrieval friction)'이 행동 결정에 큰 영향을 미치는 것으로 나타났습니다.
- AI 안전성은 단순히 알려진 위험에 대응하는 능력을 넘어, 실제로 '안전하다'고 판단할 수 있는 충분한 근거를 확보하는 과정 자체에 달려 있음을 시사합니다.
- 모델의 설명 논리와 실제 결정 사이에는 괴리가 있을 수 있습니다. 특히 확률적 요소는 인과관계 없이 언급될 가능성이 높아 주의 깊은 해석이 필요합니다.
본 연구는 최첨단(Frontier) 모델들이 단순히 주어진 상황의 안전 정보를 수동적으로 처리하는 것을 넘어, 실제로 어떤 행동을 취하기 전에 필요한 안전 관련 증거를 능동적으로 확보하는지 조사했습니다. 이를 위해 'SAFE'라는 통제된 가 도입되었으며, 이 환경에서 모델들은 검색 비용, 확률, 심각도, 제시 방식이 다른 선택적 증거를 바탕으로 배포 결정을 내립니다. 분석 대상에는 GPT-5.5, o3, Claude Opus 4.8, 그리고 Claude Sonnet 4.6 등이 포함되었습니다.
모델별로 상이한 증거 확보 정책이 관찰되었는데, 특히 Opus는 거의 기본적으로 검사하는 경향을 보였고, o3 모델은 건너뛰기(skip)가 많으며 임계값에 민감하게 반응했습니다. 전반적으로 검사는 심각도와 강하게 증가하고 검색 비용과 감소하는 패턴이 나타났습니다. 한편, 문제 발생 확률의 변화는 행동에 미치는 영향이 상대적으로 약하여, 명시된 가능성이 10%에서 70%로 변해도 검사 빈도는 최대 21 퍼센트 포인트 이상 바뀌지 않는 것으로 확인되었습니다.
모델들의 초기 결정 논리는 전반적으로 기대값 추론(expected-value reasoning)에 의해 지배되는 것으로 나타났습니다. 또한, 위험 회피 행동은 주로 검색 마찰(retrieval friction)이나 배포 이익에 대한 명시적 위협에 의해 발생하며, 단순히 정보를 아는 것에서 파생된 개선 의무와는 거리가 있었습니다. 나아가 모델의 설명 논리와 실제 결정 사이에는 괴리가 있을 수 있으며, 특히 확률적 요소는 인과관계가 적음에도 불구하고 자주 언급되는 경향이 발견되었습니다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.