규칙 기반 LLM을 활용한 오피오이드 사용 장애 진단 연구
A Rubric-Guided Large Language Model Solution for Opioid Use Disorder Computable Phenotyping
arXiv오피오이드 사용 장애(OUD) 진단이 어려운 EHR 데이터를 분석하기 위해, 전문가가 정의한 규칙(rubric)을 활용하여 핵심 정보를 추출하는 LLM 솔루션을 개발했습니다.
- 개발된 모델은 F1 점수 0.774, AUROC 0.934 등의 높은 성능을 기록하며 기존 머신러닝 방식이나 일반 LLM 대비 우수한 진단 정확도를 입증했습니다.
- 단순한 진단 결과 제공을 넘어, OUD 판정의 근거가 된 임상 기록(Evidence)까지 함께 제시하여 의료진의 이해도와 신뢰성을 높일 수 있습니다.
- 다만, 모델의 성능과 적용 가능성은 전문가가 설정한 구체적인 규칙(Rubric) 및 초기 설계된 특정 임상 환경에 크게 의존한다는 점을 고려해야 합니다.
오피오이드 사용 장애(OUD)는 미국에서 공중 보건 위기 상황으로 남아있으나, 전자의무기록(EHR) 내에 누락된 진단 코드나 임상 기록 속에 증거가 묻혀 있어 정확한 식별이 어렵습니다. 본 연구에서는 이러한 문제를 해결하기 위해 최적화 기반 프롬프팅(OPRO)을 통합한 규칙 안내형 (LLM)을 개발하여 OUD의 계산 가능한 표현형(CP) 분석에 적용했습니다.
개발된 LLM 프레임워크는 전문가가 정의한 18개 항목의 루브릭을 활용하여, 임상 기록에서 핵심 텍스트와 이를 뒷받침하는 증거를 자동으로 추출하도록 지시합니다. 두 명의 의사가 참여한 이 연구에서는 총 253명의 환자를 검토했으며, LLM 기반 CP는 F1 점수 0.774와 AUROC 0.934라는 성능을 달성했습니다.
이러한 결과는 기존 머신러닝 기반의 CP 방식이나 일반적인 LLM보다 각각 상대적 F1 개선율 12.8%, 44.4%를 기록하며 우수한 진단 정확도를 입증했습니다. 또한, 단순히 OUD 판정 결과를 제공하는 것을 넘어, LLM이 추출한 증거와 표현형을 연결하여 설명 가능성(explainability)을 높일 수 있다는 장점이 있습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 제로샷
- 예시를 하나도 주지 않고 바로 과제를 시키는 방식.