응급실 임상 궤적 시뮬레이터의 폐쇄 루프 평가 필요성
What Next-Event Accuracy Cannot See: Closed-Loop Evaluation of Emergency Department Trajectory Simulators
arXiv응급실(ED) 임상 궤적 모델은 단순한 다음 사건 예측 정확도만으로는 평가할 수 없습니다. 오류가 누적되는 '폐쇄 루프' 환경을 시뮬레이션하는 새로운 벤치마크를 개발했습니다.
- 모델의 성능을 극대화하려면 최종 접두사뿐 아니라 모든 적격 시퀀스 위치를 감독(Supervising)해야 하며, 이 방식이 가장 큰 개선 효과를 보였습니다.
- 이는 임상 AI가 실제 환경에서 오류 누적에 취약하므로, 의료 시스템 개발 시 기존의 평가 기준보다 훨씬 엄격한 검증 절차가 필수적임을 의미합니다.
- 다만, 최고 성능 모델도 관찰 기록 대비 방문 길이가 짧게 나오는 경향을 보였고, 하위 작업에서는 모델 간 순위가 역전되는 한계점도 확인되었습니다.
임상 궤적 모델은 일반적으로 관찰된 기록을 바탕으로 다음 사건 예측 정확도(next-event accuracy)로 평가되지만, 실제 시뮬레이션 환경에서는 오류가 누적되는 '폐쇄 루프' 방식이 필수적입니다. 연구진은 이러한 실패 모드를 체계적으로 평가하기 위해 EDSim-Bench를 개발했으며, 425,028개의 MIMIC-IV-ED 체류 기록을 사용하여 평가 프로토콜과 점수 코드를 공개했습니다.
평가 결과, 모델의 성능을 높이기 위해서는 최종 접두사 위치뿐만 아니라 모든 적격 시퀀스 위치를 감독(supervising)하는 것이 중요했습니다. 이러한 방식은 Transformer, GRU, LSTM 등 다양한 신경망 모델에서 1~2 자릿수 크기의 낮은 발산도를 보이는 것으로 나타났으며, 이는 모델 스케일링이나 외부 사이트 평가에서도 지속되는 패턴이었습니다.
그럼에도 불구하고, 최고 성능의 모델조차 관찰된 기록 대비 약 절반 길이의 방문을 생성하는 경향을 보였고, 병상 관리와 관련된 하위 작업인 점유율 예측(occupancy forecasting)에서는 모델 간 순위가 역전되는 한계점도 확인되었습니다. 이 결과는 다음 사건 정확도가 임상 궤적 시뮬레이터를 평가하기에 불충분함을 보여줍니다.