고위험 환경에서 신뢰할 수 있는 AI 시스템을 만드는 방법
Shield AI, Waabi, and General Motors on building AI when failure is not an option at TechCrunch Disrupt 2026
TechCrunch AI실패가 치명적인 항공기, 자율주행차 등 물리적 세계에 AI를 적용할 때의 안전 기준과 신뢰 확보 방안을 다룹니다.
- 전문가들은 고신뢰 시스템 구축을 위해 안전 문화 확립, 정교한 가상 시뮬레이션 기반 검증(Validation), 그리고 규제 준수 과정이 핵심임을 제시합니다.
- AI 기술이 실험실 단계를 벗어나 실생활에 적용될 때, 어떤 기준으로 '운용 준비 완료'를 판단하는지 심도 있게 알아볼 수 있습니다.
- 고성능 AI 시스템을 개발하려면 단순히 성능만 추구할 것이 아니라, 법규 준수, 철저한 검증 방법론, 그리고 인간과의 협업 설계가 필수입니다.
인공지능이 항공기, 차량, 로봇과 같은 물리적 세계에 적용될 경우, 작은 실수 하나가 기체 착륙이나 차량 충돌 등 심각한 결과를 초래할 수 있습니다. 따라서 자율 시스템이 실험실 단계를 넘어 실제 환경에서 운용 준비가 되었는지 판단하는 것이 핵심 과제이며, 이 과정에는 안전 문화 확립과 체계적인 검증 방법론이 요구됩니다.
고위험 분야의 전문가들은 AI 신뢰성 확보를 위해 다양한 접근 방식을 제시했습니다. Shield AI는 U.S. Air Force의 협업 전투기 드론 프로토타입 프로그램에 자사의 플랫폼 독립형 임무 자율 소프트웨어인 Hivemind를 제공한 경험을 공유하며, 성능과 함께 높은 수준의 보증(Assurance)이 필요함을 강조했습니다. 또한 Waabi는 가상 환경 시뮬레이터(Waabi World)를 활용하여 차량 테스트 및 검증 과정을 거치는 것이 중요하다고 설명합니다.
산업용 로봇 분야에서는 기술적 성능 외에도 인간과의 상호작용과 신뢰 확보가 중요한 과제입니다. General Motors의 Mikell Taylor는 AI 기반 기계가 통제된 시연 환경을 벗어나 실제 작업 현장에 투입될 때, 사용자 경험(UX)과 채택 가능성(Adoption)이 제품 설계 및 배포 계획 단계부터 반드시 고려되어야 함을 지적했습니다.