양자 회로를 활용한 감성 분류 모델 QTrans 연구
QTrans: A Quantum Transformer for Sentiment Classification
arXiv복잡한 문맥적 관계(부정, 대조 등)를 포착하기 어려웠던 기존 모델의 한계를 극복하고자 'QTrans'라는 양자-고전 하이브리드 감성 분류 모델을 제안했습니다.
- QTrans는 파라미터화된 양자 회로(PQC)를 활용하여 쿼리, 키, 값 특징을 구성하고 어텐션 계수를 도출했으며, 세 가지 데이터셋에서 기존 최고 성능 대비 높은 정확도 향상을 입증했습니다.
- 본 연구는 양자 컴퓨팅 기술이 자연어 처리 분야의 경량 감성 분석에 효과적으로 적용될 수 있는 가능성을 제시하며 중요한 실험적 토대를 마련했다는 점에서 의미가 큽니다.
- 현재 모델은 소규모 이진 분류 시나리오에 초점을 맞추었으며, 향후 텍스트 관계를 심층적으로 모델링하기 위한 양자 다중 헤드 셀프 어텐션 구조의 추가 연구가 필요합니다.
기존의 경량화된 모델들은 부정(negation), 대조적 변화(contrastive shifts), 그리고 단어 간 의존성과 같은 복잡한 문맥적 관계를 포착하는 데 어려움을 겪었습니다. 특히 소규모 이진 감성 분류 시나리오에서는 이러한 요소들이 비선형적으로 결합되어 있어, 기존 모델만으로는 간의 맥락적 관계를 완전히 파악하기 어렵다는 한계가 있었습니다.
이러한 문제를 해결하기 위해 연구진은 QTrans라는 양자-고전 하이브리드 감성 분류 모델을 제안했습니다. QTrans는 화된 양자 회로(PQC)를 활용하여 쿼리, 키, 값 특징을 구성하며, 양자 측정값 간의 가우시안 거리를 통해 어텐션 계수를 도출합니다. 여기에 양자 피드포워드 신경망, 잔차 연결 및 레이어 정규화를 통합하여 엔드투엔드로 학습 가능한 구조를 완성했습니다.
실험 결과에 따르면 QTrans는 MR, CR, MPQA 세 가지 데이터셋에서 각각 72.13%, 69.51%, 63.45%의 테스트 정확도를 달성했습니다. 이는 각 데이터셋별로 기존 최고 성능을 기록한 클래식 모델 대비 2.88, 3.17, 3.79 퍼센트 포인트 향상된 수치입니다. 본 연구는 양자 회로를 경량 감성 분석에 적용하는 가능성을 제시하며 중요한 실험적 토대를 마련했습니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.