위험도 기반 의도 라우팅을 위한 부호화된 어휘 신뢰도
Signed Lexical Confidence for Risk-Calibrated Intent Routing
AI 비서의 의도 파악 정확도를 높이기 위해, 단순 신뢰도 점수를 넘어선 '부호가 지정된 어휘 게이트' 기술이 제안되었습니다.
이 기술은 AI 비서가 불확실한 요청은 보류하고 신뢰할 수 있는 예측에만 작동하게 하여, 금융 같은 민감 영역의 안정성을 높여줘요.
- 이 게이트는 문장 분류기와 희소 어휘 모델을 결합하여, 일치하는 증거에는 양의 가중치를, 경쟁 의도에는 음의 가중치를 부여해 정확도를 높입니다.
- 시스템이 위험 요소를 감지하면 불확실한 요청은 보류하고 신뢰할 수 있는 예측에만 작동하게 하여, 금융 등 민감 영역의 안정성과 실질적인 신뢰성을 높입니다.
- 단순히 성능 향상을 넘어 '위험 목표'를 설정하고 이항 보정 단계를 거치므로, 복잡한 환경에서도 높은 해석 가능성을 유지하는 것이 강점입니다.
AI 비서가 불확실한 요청은 보류하고 신뢰할 수 있는 예측에만 작동하는 '선택적 의도 라우팅' 기술이 소개되었습니다. 기존의 단순 신뢰 점수로는 부족하여, 문장 분류기의 로짓 마진과 희소 어휘 모델의 지원 정보를 결합한 '부호가 지정된 어휘 게이트(signed lexical gate)'를 제안했습니다. 이 게이트는 어휘 일치에 양의 증거를, 경쟁 의도에는 음의 증거를 할당하여 정보 손실을 줄이고 정확도를 높입니다.
이 시스템은 독립적인 이항 보정 단계를 거쳐 지정된 위험 목표에 맞는 작동 임계값을 선택합니다. BANKING77, CLINC150, HWU64 세 데이터셋에서 테스트한 결과, 제안된 점수는 학습된 의미 기반 게이트 대비 각각 15.8%, 15.1%, 11.8%의 위험-커버리지 곡선 아래 면적(AUC)을 감소시켰습니다.
특히, 명목상의 5% 오류 목표에서 BANKING77과 HWU64의 수용된 커버리지를 각각 1.83%, 5.14%포인트 증가시키는 성능을 보였습니다. 또한, 제안된 기능은 테스트된 비부호화 어휘 신뢰도보다 평균 오류 순위를 개선하며, 복잡한 환경에서도 해석 가능한 방식으로 의도를 라우팅하는 데 도움을 줍니다.
부호가 지정된 어휘 게이트는 어떤 원리로 정확도를 높이나요?
이 게이트는 문장 분류기의 로짓 마진과 희소 어휘 모델의 지원 정보를 결합하여 작동해요. 어휘 일치에 대해서는 양의 증거를, 그리고 경쟁 의도에는 음의 증거를 할당함으로써 정보 손실을 줄이고 정확도를 높여줍니다.
이 시스템은 어떤 환경에서 특히 안정성을 보여주나요?
금융과 같이 민감한 영역에서 높은 실질적인 신뢰성을 확보하는 데 도움을 줘요. 이 기술은 독립적인 이항 보정 단계를 거쳐 지정된 위험 목표에 맞는 작동 임계값을 선택하기 때문이에요.
이 기술의 가장 큰 장점은 무엇인가요?
단순히 성능 향상만 이루어진 것이 아니라, '위험 목표'를 설정하고 이항 보정 단계를 거치기 때문에 복잡한 환경에서도 해석 가능한 방식으로 의도를 라우팅할 수 있다는 점이에요.