에셔의 자기 참조적 장면을 위한 확산 모델 기법
Moore, Escher, Penrose: A Conformal Golden Braid
연구진은 M.C. 에셔의 작품처럼 자신을 참조하는 자기 회귀적(self-referential) 장면을 생성하기 위해 새로운 확산 모델 기반 기법을 개발했습니다.
이 기술은 단순히 이미지를 만드는 것을 넘어, 왜곡 구조와 자기 참조성이 함께 발전하는 복잡한 예술 작품을 생성할 수 있게 해요.
- 단순한 변환이나 후처리 방식 대신, 노이즈 제거 과정을 이미지 변환($T$)과 그 역변환($T^\dagger$)을 번갈아 적용하는 '브레이딩' 방식으로 개선하여 복잡한 기하학적 제약을 유지합니다.
- 이는 단순히 이미지를 생성하는 것을 넘어, 장면의 왜곡 구조와 자기 참조성이 함께 발전하도록 제어할 수 있게 하여 예술 및 디자인 분야에 새로운 가능성을 제시합니다.
- 핵심은 완성된 이미지에 변형을 가하는 것이 아니라, 장면과 그 왜곡 자체가 샘플링 과정에서 동시에 개발되도록 통합적으로 접근했다는 점입니다.
연구진은 M.C. 에셔의 1956년 작품 'Print Gallery'처럼 자신을 참조하는 자기 회귀적(self-referential) 장면을 생성하기 위해 새로운 접근 방식을 개발했습니다. 기존에는 단순한 프롬프팅만으로는 재귀성을 강제할 수 없었으며, 후처리 변환이나 샘플링 과정 중의 변환 적용 방식 모두 디노이저가 의도된 왜곡 구조를 '수리'하거나 지정된 기하학적 형태에서 벗어날 위험이 있었습니다.
이를 해결하기 위해 연구진은 비가역적인 이미지 변환 $T$에 대한 일반화된 역변환 $T^\dagger$을 구성하고, 이를 재귀적 제약 조건에 맞게 조정했습니다. 이 과정에서 펜로즈 항등식($TT^\dagger T = T$)이 활용되어 $TT^\dagger$가 기하학적으로 허용 가능한 이미지 위로의 사영 연산자(idempotent projection) 역할을 하도록 했습니다.
핵심 방법론은 노이즈 제거 단계를 변환 $T$와 역변환 $T^\dagger$을 번갈아 적용하는 '브레이딩' 방식으로 개선한 것입니다. 이 방식에서는 소스 공간에서의 단계가 왜곡되지 않은 장면을 발전시키는 역할을 하고, 동시에 변환된 공간의 단계가 최종 기하학적 구조 내에서 그 외관과 연결성을 정교하게 다듬어 나갑니다. 이를 통해 완성된 이미지에 변형을 가하는 것이 아니라, 장면 자체와 그 왜곡 구조가 샘플링 과정에서 함께 발전하도록 통합적으로 제어할 수 있습니다.
이전 방식으로는 왜 자기 참조적인 장면을 만들 수 없었나요?
기존에는 단순한 프롬프팅만으로는 재귀성을 강제하기 어려웠고, 후처리 변환이나 샘플링 과정의 변환 적용 방식 모두 디노이저가 의도된 왜곡 구조를 수정하거나 지정된 기하학적 형태에서 벗어날 위험이 있었기 때문이에요.
여기서 말하는 '브레이딩 방식'은 구체적으로 어떤 역할을 하나요?
노이즈 제거 단계를 변환 $T$와 역변환 $T^\dagger$을 번갈아 적용하는 방식이에요. 이 방식을 통해 소스 공간의 단계는 왜곡되지 않은 장면을 발전시키고, 동시에 변환된 공간의 단계가 최종 기하학적 구조 내에서 연결성을 정교하게 다듬어 나갑니다.
역변환 $T^\dagger$은 어떤 수학적 역할을 수행하나요?
연구진은 비가역적인 이미지 변환 $T$에 대한 일반화된 역변환 $T^\dagger$을 구성하고, 펜로즈 항등식($TT^\dagger T = T$)을 활용하여 $TT^\dagger$가 기하학적으로 허용 가능한 이미지 위로의 사영 연산자 역할을 하도록 조정했어요.