아바타를 이미지로 구현하는 고정밀 3D 등록 기술
Revisiting Avatar-As-Image: High-Fidelity Registration is All You Need
arXiv3D 의상을 입은 아바타를 이미지 기반으로 처리하려면 스캔 데이터를 정확하게 정렬하는 '고정밀 등록'이 필수적이었으나, 기존 방법으로는 이 문제를 해결하지 못했습니다.
- 연구진은 다단계 최적화 파이프라인 'AvaImg'를 개발하여 몸체-의상 제약 조건을 강화하고 세 단계 과정을 거쳐 월등히 정확한 아바타 형태 및 표면 등록 결과를 얻었습니다.
- 개발된 UV 맵이 자연 이미지 분포와 호환됨을 입증함으로써, 고성능 2D 생성 AI 모델들이 사실적인 3D 아바타를 생성하는 중요한 기술적 기반을 마련했습니다.
- AvaImg는 기존 방식 대비 뛰어난 등록 정확도를 보여주며, 3D 아바타 데이터를 이미지 기반으로 활용할 수 있는 새로운 표준을 제시했다는 점에서 주목할 만합니다.
의복을 입은 3D 인간 아바타를 표준화된 2D UV 텍스처 및 변위 맵으로 표현하는 것은 오랫동안 연구되어 왔습니다. 이 방식은 사전 학습된 이미지 네트워크가 3D 아바타를 처리하고 생성하며 편집할 수 있게 하는 매력적인 방법이지만, 스캔 데이터가 정확하게 정렬되고 고정밀 등록(high-fidelity registration)을 통해 일치시키는 것이 필수적입니다. 기존에는 이러한 전제 조건이 충족되지 않아 의복을 입은 인간에 대한 UV 기반 방법들의 품질이 제한적이었습니다.
연구진은 이 격차를 해소하기 위해 다단계 최적화 파이프라인인 AvaImg를 제시했습니다. AvaImg는 부호 있는 와인딩 넘버(signed winding numbers)를 통해 몸체-의상 내부 제약 조건을 강제하며, 세 단계 효율성 캐스케이드(three-level efficiency cascade)를 활용하여 런타임을 약 10배 줄이고 저장 공간을 약 95% 절감했습니다. AvaImg는 여섯 가지 데이터셋에 걸쳐 기존 방식보다 몸체 피팅, 형태 추정 및 표면 등록에서 우수한 성능을 보였으며, 스캔과 구별하기 어려운 수준의 텍스처화된 등록 결과를 얻었습니다.
AvaImg가 이미지 기반 모델과 호환되는지 검증하기 위해 UV 맵을 FLUX VAE를 통해 자동 인코딩했습니다. 이 과정에서 스캔 대비 단 0.76mm의 추가 Chamfer 오차만 달성했으며, 결과로 나온 맵들이 자연 이미지 분포 내에 존재함을 입증했습니다. 이는 고성능 2D 생성 AI 모델이 사실적인 3D 아바타를 생성하는 데 필요한 중요한 기술적 기반을 마련했음을 의미합니다.