모델 연구
Stochastic Estimation of Transduced Language Models
ARarXiv
전이 언어 모델(TLM)을 이용해 목표 문자열의 접두사 확률을 계산할 때 발생하는 근사치 및 계산 복잡도 문제를 해결했습니다.
세 줄 요약
- 기존의 임계값 가지치기 방식 대신, 원본 접두사를 비복원 추출하고 가중치를 부여하여 편향되지 않은(unbiased) 정확한 추정 방식을 구현했습니다.
- 텍스트와 DNA 데이터에서 우수한 계산 효율성과 낮은 오차율을 입증했으며, 장문 문자열의 확률 예측 실현 가능성을 크게 높였습니다.
- 이 방법은 기존 방식 대비 성능이 뛰어나지만, 실제 적용 시 코퍼스 놀라움(surprisal) 값 등 일부 지표가 달라질 수 있음을 확인했습니다.
전이 언어 모델(TLM)을 이용해 목표 문자열의 접두사 확률을 계산할 때 발생하는 근사치 및 계산 복잡도 문제를 해결했습니다.