자연어 기반 실시간 오디언스 규모 측정 시스템 REALMS
REALMS: An AI-Assistant Conversational System for Real-Time Exact Audience Sizing over High-Dimensional Nested Profiles
arXiv디지털 마케팅의 핵심인 오디언스 사이즈 측정에 관한 AI 시스템 'REALMS'가 개발되었습니다. 이 시스템은 자연어 질의만으로 방대한 사용자 프로필 데이터를 실시간으로 분석하여 정확한 규모를 파악합니다.
- 기존 방식이 겪던 지연 시간과 추정 오류 문제를 해결하기 위해, REALMS는 LLM 기반으로 복잡하고 계층적인 데이터 구조에서 정확한 SQL을 생성하는 것이 핵심입니다.
- 마케터는 복잡한 분석을 위해 오랜 시간을 기다릴 필요 없이, 자연어 질의만으로 수천 개의 속성을 가진 대규모 데이터에서 즉각적이고 정밀한 카운트를 얻을 수 있습니다.
- 이 시스템은 임베딩 기반 검색과 NL2SQL 파이프라인을 결합하여, 산업에 구애받지 않고(industry-agnostic) 실시간 오디언스 인사이트를 제공하는 것이 가장 큰 강점입니다.
오디언스 사이즈 측정은 디지털 마케팅에서 핵심적인 요소로, 정확한 자원 배분과 캠페인 계획에 필수적입니다. 기존의 스켈레톤 오디언스나 예측 모델링 같은 전통적인 방식들은 고차원 프로필 데이터 처리 시 상당한 지연 시간과 추정 오류를 겪고 확장성이 낮다는 한계가 있었습니다. REALMS(Real-time Exact Audience sizing via -based Multi-attribute Search)는 이러한 문제를 해결하기 위해 개발된 대화형 시스템으로, 자연어 질의만으로 수백만 개의 프로필을 가진 방대한 사용자 데이터에서 정확한 규모를 실시간으로 파악할 수 있게 합니다.
REALMS는 세 가지 핵심 구성 요소를 도입하여 복잡한 환경에 대응합니다. 첫째, 기반 벡터 검색을 사용하여 관련 스키마 속성을 동적으로 식별하는 범주형 속성 검색 메커니즘이 작동합니다. 둘째, 복잡하고 중첩된 스키마 구조에서 정확한 쿼리 생성을 위해 템플릿 기반 인컨텍스트 학습을 활용하는 LLM 기반 NL2SQL 파이프라인을 갖추고 있습니다. 셋째, 산업에 구애받지 않는(industry-agnostic) 배포를 가능하게 하는 스키마 표준화 기능을 제공합니다.
실제 기업 데이터를 대상으로 한 평가 결과, REALMS는 속성 검색에서 높은 재현율과 높은 SQL 실행 정확도를 보였으며 낮은 지연 시간을 달성했습니다. 이로 인해 이전 방식으로는 몇 시간이 걸리던 오디언스 인사이트를 실시간으로 상호작용하며 얻을 수 있게 되었으며, 마케터가 자연어만으로 수천 개의 속성을 가진 대규모 데이터에서 즉각적이고 정밀한 카운트를 받을 수 있습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.