금융 채팅방의 놓친 거래 식별을 위한 FinDialogLens
FinDialogLens: Event Extraction over Multi-Party Dialogue for Missed-Trade Identification in Financial Chatrooms
arXiv금융 채팅방의 복잡한 대화 속에서 놓치기 쉬운 거래(Missed-Trade)를 식별하기 위해, FinDialogLens라는 하이브리드 LLM 기반 이벤트 추출 파이프라인을 개발했습니다.
복잡한 금융 채팅방 대화 속에서 놓치기 쉬운 중요한 거래 정보를 자동으로 찾아내어 데이터 분석의 효율성과 정확도를 높여줘요.
- GPT-4o로 높은 정확도를 달성했으며, 난이도에 따라 규칙 기반 엔진과 LLM을 분리하는 라우터 기능을 추가해 비용 효율성을 극대화한 것이 핵심입니다.
- 이 기술은 금융 트레이딩 전문가들이 수동으로 처리하기 어려웠던 방대한 대화 기록에서 중요한 거래 정보를 자동으로 포착하여, 데이터 분석의 효율성과 정확도를 획기적으로 개선할 잠재력을 가집니다.
- 고성능을 위해 GPT-4o를 사용했지만, 매개변수가 적은 소규모 오픈소스 LLM도 충분한 도메인 학습만 거치면 유사한 성능을 보일 수 있어 상용화 및 접근성이 높습니다.
다자간 금융 채팅방은 트레이딩 전문가들에게 필수적이지만, 그 복잡성 때문에 누락된 거래(Missed-Trade)를 수동으로 복구하기 어렵습니다. 각 견적 요청(RFQ)의 최종 가격과 거래 결과는 RFQ가 발생한 메시지로부터 여러 메시지가 경과한 후에 나타나며, 다른 참가자들의 동시적인 RFQ와 섞여 있습니다. 이에 연구진은 다자간 대화 속 이벤트 추출 문제로 접근하여 하이브리드 파이프라인인 FinDialogLens를 개발했습니다.
FinDialogLens는 세 가지 구성 요소로 이루어져 있습니다. 먼저, 경량화된 분류기(classifiers)가 RFQ 트리거와 가격/거래 결과 메타데이터를 감지합니다. 다음으로, RFQ 레벨 모듈이 개별 이벤트 창을 분할하고, 거래 엔진이 필요한 인자 역할을 채웁니다. GPT-4o를 사용했을 때 FinDialogLens는 최종 가격과 거래 결과에서 각각 92.1%, 94.3%의 높은 정확도를 달성하며 기존의 전체 채팅방 CoT 프롬프팅 방식보다 우수한 성능을 보였습니다.
이 솔루션의 상용화를 위해 난이도 인식 라우터(difficulty-aware router)가 도입되어 비용과 정확도를 효율적으로 균형 잡습니다. 이 라우터는 RFQ를 저비용 규칙 기반 엔진과 고성능 LLM 기반 거래 엔진으로 할당하여, 최종 가격 추출 시 LLM 호출을 85% 절감할 수 있습니다. 이를 통해 하루 70,000개의 RFQ 규모에서 $300 이상의 비용 절감이 가능하며, 정확도 손실은 FinDialogLens 대비 절반 수준에 그칩니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
금융 채팅방에서 놓친 거래는 어떻게 식별하나요?
FinDialogLens는 세 가지 구성 요소로 이루어져 있어요. 먼저, 경량화된 미세 조정 분류기가 RFQ 트리거와 가격/거래 결과 같은 메타데이터를 감지해요. 이후 RFQ 레벨 모듈이 개별 이벤트 창을 분할하고, 거래 엔진이 필요한 정보를 채워 넣어 최종적으로 이벤트를 추출합니다.
비용 효율성을 높이기 위한 방법이 있나요?
네, 난이도 인식 라우터가 도입되었어요. 이 라우터는 RFQ의 난이도를 파악해서 저렴한 규칙 기반 엔진과 고성능 LLM 중 적절한 것을 골라 사용해요. 이를 통해 최종 가격 추출 시 LLM 호출을 크게 줄일 수 있어요.
GPT-4o를 사용했을 때 정확도는 어느 정도인가요?
FinDialogLens는 최종 가격과 거래 결과에서 각각 92.1%, 94.3%의 높은 정확도를 달성했어요. 이는 기존에 전체 채팅방을 한 번에 처리하던 방식보다 더 우수한 성능이에요.