OmniFabric: 3D 의류를 위한 UV 공간 질감 합성 기술

단일 이미지로부터 실제 사용 가능한 고품질의 3D 의류 에셋을 자동으로 생성하는 것은 디지털 콘텐츠 제작 분야의 핵심 과제입니다. 최근 발전한 생성 모델들이 3D 지오메트리 재구성을 크게 진전시켰음에도 불구하고, 고품질 질감 합성 단계가 여전히 병목 현상으로 남아있습니다. 기존 방식들은 환경 조명이나 그림자를 질감 맵에 직접 포함시키거나, 전역적인 구조적 일관성을 유지하지 못해 물리 시뮬레이션 및 재조명이 불가능한 결과물을 초래했습니다.

본 연구에서 제안하는 OmniFabric은 이러한 문제를 해결하기 위해, 2D 재봉 패턴 공간(sewing pattern space) 내에서 전역적으로 일관된 질감 맵을 직접 합성하는 새로운 접근 방식을 도입합니다. 이 파이프라인은 단일 참조 이미지를 받아 추정된 3D 메시와 강력한 Vision-Language Model (VLM)의 생성적 사전 지식(generative priors)을 활용하여, 펼쳐진 재봉 패턴 전체에 걸친 초기 질감 구성을 확립합니다.

이후 특화된 확산 변환기(diffusion transformer)가 이 초기화를 정제하는 역할을 수행하며, 이는 3D 위치 특징(positional features)으로 조건화되고 자동 합성 데이터 엔진을 통해 학습되었습니다. 이러한 과정을 통해 왜곡과 포함된 아티팩트를 효과적으로 제거하여 깨끗하고 정규화된 질감 맵을 추출할 수 있습니다.

광범위한 실험 결과에 따르면, OmniFabric은 기존 최첨단 방식들보다 우수한 성능을 보여주었으며, 높은 품질의 질감을 가진 사실적인(photorealistic) 3D 의류를 구현했습니다. 이는 해당 자산이 물리 시뮬레이션 및 재조명 작업에 바로 사용될 수 있음을 의미합니다.