LLM과 나이브 베이즈 비교: 고전 기법의 재조명
LLMs or Naive Bayes? Old Gems or New Ways
arXiv대규모 언어 모델(LLM) 시대에 고전적 기법인 나이브 베이즈(NB)가 텍스트 분류 작업에서 여전히 유효한지 성능을 비교 분석했습니다.
- 레이블 데이터가 충분할 경우, NB는 최신 LLM과 유사한 정확도를 유지하면서도 압도적인 처리 속도와 효율성을 보여줍니다.
- 이는 자원 제약이 있는 고성능 컴퓨팅(HPC) 환경의 실무자들에게 NB가 가장 효율적이고 최적화된 선택지임을 시사합니다.
- 다만, 데이터가 없는 제로샷 상황이나 특정 작업에서는 LLM이 우위를 점할 수 있으므로, 모델 선택은 태스크와 레이블 개수에 따라 달라집니다.
본 연구는 텍스트 분류 작업에서 (LLMs)과 같은 고전적 방법인 나이브 베이즈(NB)를 비교 분석했습니다. NB는 다양한 규모의 LLM 및 / 환경을 대상으로 테스트되었으며, 데이터가 없는 제로데이터 영역에서는 LLMs가 우위를 보였습니다 (예: Amazon Polarity 감성 분석에서 98.0% 대 88.2%). 그러나 낮은 오염도의 감성 분류 작업에서는 NB가 제로샷 LLM보다 높은 성능(81.7% 대 73.0%)을 기록하는 경우도 확인되었습니다.
레이블 데이터가 충분히 확보된 환경, 예를 들어 AG News의 경우, NB는 89.1%의 정확도를 달성하여 제로샷 27B LLM (89.0%)과 통계적으로 구별하기 어려웠으며, 397B 모델(84.8%)보다 높은 성능을 보였습니다. 특히 NB는 상용 CPU에서 초당 수천 개의 샘플 처리 속도를 보여주어 효율성이 높았으며, 이는 메모리 대역폭에 의해 제한되는 소형 LLM의 배치 추론 속도와 비교했을 때 구조적인 격차를 드러냈습니다.
결과적으로 자원이 제한된 고성능 컴퓨팅(HPC) 환경에서 레이블 데이터로 텍스트 분류 작업을 수행하는 실무자들에게는 NB가 최적의 선택지로 제시됩니다. 모델 선택은 태스크와 라벨 개수에 따라 달라지는데, 예를 들어 주제 분류 작업에서는 약 $N \sim 10^4$개의 라벨 근처에서 NB가 LLM과 동등한 성능에 도달하는 것으로 나타났습니다. 연구진은 이 과정을 자동화하기 위해 설정 가능한 임계값과 Prometheus 메트릭을 활용하는 Kubernetes Helm 오퍼레이터를 제공했습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 제로샷
- 예시를 하나도 주지 않고 바로 과제를 시키는 방식.
- 퓨샷
- 몇 개의 예시를 함께 보여 주고 과제를 시키는 방식.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.