리서치 연구
LLM 기반 안전 분석을 위한 산업 표준 벤치마크 SAFARI 공개
SAFARI: An Industrial Benchmark for LLM-Assisted Hazard Analysis and Risk Assessment
arXivLLM의 안전성 검증을 위해 ISO 26262 기반 산업 표준 위험 분석 벤치마크 'SAFARI'가 개발되었습니다.
세 줄 요약
- 연구 결과, LLM은 일반적인 위험 시나리오 서술에는 그럴듯하지만, ISO 26262 기준의 정량적 위험 등급 분류(ASIL)에서는 성능이 매우 낮았습니다.
- LLM의 주요 오류는 핵심 맥락 누락이나 제어 가능성 오판 등 특정 영역에 집중되므로 전문가 검토가 필수적입니다.
- 따라서 안전 필수 시스템에 LLM을 적용할 때는 단순한 프롬프트 기법만으로는 부족하며, 인간 전문가의 깊이 있는 감독과 검증 과정이 반드시 필요합니다.
(LLMs)이 안전 필수 공학 분야에 활용되면서, 규제된 기능 안전 워크플로우에서의 신뢰성 검증이 중요해졌다. 이에 따라 연구진은 ISO 26262 표준을 기반으로 LLM의 자동차 위험 분석 및 평가를 지원하는 최초의 산업용 인 SAFARI(Safety-Aware Functional Automotive Risk Inference)를 소개했다.
SAFARI는 총 3,000개의 비식별화된 산업 HARA 사례로 구성되어 있으며, 개방형 위험 분석과 표준 기반 위험 평가라는 두 가지 결합 과제를 평가한다. 연구진은 높은 전문가 상관관계를 가진 참조 기반 LLM-as-a-judge 프로토콜을 제안하여 이 벤치마크를 활용했다.
실험 결과에 따르면, 최신 LLM들은 그럴듯한 위험 시나리오 서술 능력은 보였으나, ISO 26262 기준의 위험 등급 분류(ASIL)에서는 성능이 매우 낮았다. 최고의 ASIL 매크로-F1 점수는 0.261에 머물렀으며, 오류 분석을 통해 주요 실패가 시나리오 관련 맥락 누락이나 제어 가능성 오판에서 집중됨을 확인했다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.