실제 외래 종양학 기록 분석을 위한 전용 언어 모델 개발
OncoNoteBERT: A Foundation Representation Model for Natural Language Processing of Real-World Outpatient Oncology Notes
일반적인 의료 모델로는 처리하기 어려운 실제 외래 종양학 기록을 분석하기 위해 전용 언어 표현 모델 'OncoNoteBERT'를 개발하고 평가했습니다.
전문 분야의 텍스트를 분석할 때는 일반적인 모델을 단순히 적응시키는 것보다, 해당 도메인에 맞는 표현 계층과 맞춤형 토크나이저를 구축하는 것이 중요해요.
- 연구 결과, 기존 모델을 단순히 이어 학습하는 방식보다 처음부터 종양학에 특화된 토크나이저를 구축하여 훈련시킨 OncoNoteBERT가 가장 우수한 성능과 효율성을 보였습니다.
- 전문 분야 텍스트 분석 시, 기존 범용 모델 적용보다 도메인에 맞는 표현 계층(Representation Layer) 설계와 맞춤형 토크나이저 구축이 선행되어야 함을 강조합니다.
- 모델의 최종 성능은 지속적인 적응과 전용 토크나이저 구축 등 여러 요소가 복합적으로 작용함을 시사하며, 전문 분야 모델링의 중요성을 보여줍니다.
일반적인 의료 분야의 언어 모델로는 전문 용어, 종양 병기 표현, 치료 이름 등이 포함된 실제 외래 종양학 기록을 효율적으로 처리하기 어렵습니다. 연구진은 이러한 문제를 해결하고자 영국에서 수집한 외래 종양학 코퍼스(21,564명의 환자로부터 290,026개의 기록)를 기반으로 온콜로지 특화 BERT 스타일 인코더를 개발하고 평가했습니다.
개발된 모델들은 RadBERT와 PathologyBERT 같은 외부 인코더와 함께, 지속적인 마스크 언어 모델 사전 학습을 통한 OncoNote-RadBERT 방식 및 종양학 WordPiece 를 처음부터 구축하여 훈련시킨 OncoNoteBERT 방식으로 비교되었습니다. 평가 결과, 외부 인코더들은 온콜로지 코퍼스에서 낮은 적합도를 보였으며 (예: RadBERT의 perplexity 113.04), 지속적 사전 학습을 거친 모델이 가장 강력한 적합도(OncoNote-RadBERT의 2.10)를 나타냈습니다.
최종적으로 OncoNoteBERT는 perplexity 2.83을 달성하며 가장 효율적인 화를 보여주었고, 낮은 서브워드 다산도와 짧은 정규화 시퀀스 길이를 가졌습니다. 이 연구 결과는 전문 분야의 자연어 처리를 위해서는 단순히 기존 모델을 적응시키는 것보다, 도메인에 맞는 표현 계층(Representation Layer) 설계와 맞춤형 토크나이저 구축이 선행되어야 함을 보여줍니다.
용어 풀이
- 토크나이저
- 글을 모델이 처리할 토큰으로 잘라 주는 도구.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
일반 의료 모델로는 어떤 어려움이 있나요?
전문 용어, 종양 병기 표현, 치료 이름 등이 포함된 실제 외래 종양학 기록을 일반적인 언어 모델만으로는 효율적으로 처리하기 어렵습니다.
가장 우수한 성능을 보인 모델 개발 방식은 무엇인가요?
외부 인코더를 사용하거나 지속적 사전 학습을 거친 모델들보다, 처음부터 종양학에 특화된 토크나이저와 표현 계층을 구축하여 훈련시킨 OncoNoteBERT가 가장 우수한 성능과 효율성을 보였어요.