AI 시대, 시스템을 '거버닝'하는 6가지 지침
6 Guidelines for Governing AI
기업들은 생성형 AI 기술 구축 단계를 넘어, 시스템이 어떤 원칙과 경계 내에서 작동할지 '거버넌스'를 설정하는 것이 핵심 과제가 되었습니다.
AI 시스템을 단순히 사용하는 것을 넘어, 어떤 원칙과 경계 내에서 작동하도록 정의하고 관리하는 '거버넌스'가 중요해졌어요.
- 성공적인 AI 운영을 위해서는 단순 규칙 대신 원칙 기반의 의사결정 체계를 구축하고, 분산된 데이터를 통합하여 전체 맥락(Context)을 확보해야 합니다.
- AI 시대에는 단순히 업무를 처리하는 능력보다, 시스템이 놓칠 수 있는 위험을 판단하고 최적의 질문을 던지는 '판단력'과 '안목' 같은 인간 고유의 역량이 가장 중요한 자원이 됩니다.
- 궁극적으로 AI 거버넌스는 기술 도입을 넘어 조직의 가치와 문화를 코드로 구현하고, 예외 상황에 집중하는 방식으로 진화해야 합니다.
기술 역할의 변화에 따라 AI 시스템 구축을 넘어 시스템을 거버닝하는 것이 중요해지고 있습니다. 이는 단순히 AI를 사용하는 것을 넘어, 시스템이 어떤 의도와 원칙, 그리고 경계 내에서 작동할지 정의하는 과정입니다. 과거에는 업무 규칙(rules)으로 관리했지만, 시스템이 초당 수천 건의 결정을 내리는 환경에서는 '원칙(principles)'을 설정하여 시스템 스스로 충돌 상황을 해결하도록 하는 것이 핵심 과제가 됩니다.
AI 거버넌스를 구현하기 위해서는 조직의 가치와 문화를 코드로 작성해야 합니다. 이는 가 절대 위반해서는 안 되는 규칙(constitution), 비즈니스가 경쟁하는 방식과 허용 가능한 트레이드오프(doctrine), 그리고 특정 작업을 위한 전술(playbook)의 세 가지 계층으로 구성됩니다. 또한, 시스템이 전체 그림을 볼 수 있도록 데이터 연결성(Connections)을 확보하고 이를 맥락 그래프(Context graph)로 엮는 것이 필수적입니다.
시스템에 대한 신뢰를 '스위치'가 아닌 '온도계(thermostat)'처럼 관리해야 합니다. 에이전트의 모든 결정은 원칙 대비 자신감 점수(confidence score)를 가지며, 이 점수가 합의된 임계값 이하일 경우 인간이 개입하여 판단하게 됩니다. 또한, 일상적인 업무는 시스템에 맡기고, 사람이 주의를 기울여야 할 부분은 예외 상황이나 모호한 영역에 집중하는 방식으로 리드하는 습관을 갖추어야 합니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
AI 시스템 관리에서 규칙 대신 원칙을 설정해야 하는 이유는 무엇인가요?
과거에는 업무 규칙으로 관리했지만, AI 시스템이 초당 수천 건의 결정을 내리는 환경에서는 충돌 상황을 스스로 해결할 수 있도록 '원칙'을 설정하는 것이 핵심 과제가 되기 때문이에요.
AI 거버넌스를 구현하려면 어떤 요소들을 코드로 작성해야 하나요?
조직의 가치와 문화를 세 가지 계층으로 구성하여 코드로 작성할 수 있어요. 절대 위반해서는 안 되는 규칙(constitution), 비즈니스가 경쟁하는 방식과 허용 가능한 트레이드오프(doctrine), 그리고 특정 작업을 위한 전술(playbook)이 그것이에요. 또한, 시스템 전체 맥락을 볼 수 있도록 데이터 연결성도 확보해야 해요.
AI가 내린 결정에 대한 신뢰는 어떻게 관리하는 것이 좋은가요?
시스템의 신뢰를 '스위치'처럼 켜고 끄기보다는 '온도계'처럼 관리해야 해요. 에이전트의 모든 결정은 자신감 점수를 가지게 되고, 이 점수가 합의된 임계값 이하일 경우에만 인간이 개입하여 판단하는 방식으로 운영할 수 있어요.