의미론적 제약 조건을 고려한 테이블 데이터 합성 연구
Beyond Distribution Matching: Semantics-Consistent Tabular Diffusion with Weak Semantic Priors
arXiv기존의 테이블 데이터 생성 모델들은 실제 데이터의 통계적 분포는 모방하지만, 데이터를 지배하는 의미론적 규칙(Semantic Constraints)을 위반한다는 한계를 가집니다.
- 본 연구는 컬럼별 의미와 상징적 규칙 같은 사전 지식을 추출하여, 이를 단순 필터링이 아닌 생성 과정 자체에 조건으로 반영하는 확산 모델을 제안합니다.
- 데이터의 분포뿐 아니라 도메인 특유의 비즈니스 로직까지 정확히 구현한 합성 데이터 생성이 가능해져, 금융이나 의료 등 고신뢰도가 필요한 분야의 AI 학습에 활용될 수 있습니다.
- 사전 지식 추출 과정이 필요하지만, 의미론적 규칙 정보가 일부 부족하더라도 비교적 안정적으로 작동하는 강건성도 입증하여 실용성을 높였습니다.
기존의 테이블 데이터 생성 모델들은 실제 데이터의 통계적 분포를 모방하는 데 중점을 두지만, 실제로 유효한 행을 지배하는 의미론적 제약 조건(Semantic Constraints)을 위반한다는 한계를 가집니다. 본 연구에서는 이러한 문제를 해결하기 위해, 약하게 지정된 의미론적 사전 지식 하에서 고충실도의 생성을 위한 '의미론적 일관성 테이블 확산 프레임워크'를 제안합니다.
제안된 방법은 메타데이터로부터 의 도움을 받아 인트라 컬럼 의미와 인터 컬럼 상징적 규칙이라는 두 가지 유형의 사전 지식을 구축하며, 이를 단순한 사후 필터가 아닌 생성 과정 자체에 조건으로 반영합니다. 이 프레임워크는 다양한 열 값, 열 식별자 및 의미론적 사전 지식을 통합된 의미 공간으로 매핑하고, 컬럼별 순방향 교란(forward corruption)과 사전 조건부 역노이즈 제거를 수행하여 마진 분포와 규칙 일관성이 유지되는 교차 컬럼 종속성을 보존합니다.
여섯 가지 실제 테이블 에서 광범위하게 실험된 결과, 제안 모델은 분포 충실도, 의미론적 일관성, 그리고 다운스트림 작업 유틸리티 측면에서 대표적인 VAE, GAN, LLM 기반 및 확산 기반의 기존 모델들을 지속적으로 능가하는 성능을 보였습니다. 또한, 의미론적 사전 지식이 부분적으로 부족하더라도 비교적 안정적으로 작동하는 강건성도 입증했습니다.
용어 풀이
- 합성 데이터
- 실제로 모은 것이 아니라 AI나 프로그램으로 만들어 낸 학습용 데이터.
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.