함수 공간을 학습하는 적응형 트랜스포머 구조 제안
Function-Space Transformer with Adaptive Anchors
연속적인 함수 형태의 데이터를 처리하기 위해, 입력에 맞춰 공간 구조를 유연하게 재구성하는 'Function-Space Transformer(FST)'가 제안되었습니다.
이 기술은 물리 현상 시뮬레이션이나 이미지 분류처럼 연속적인 함수 데이터를 다룰 때, 기존의 고정된 격자 구조가 가졌던 한계를 극복하고 높은 효율성과 정확도를 제공해요.
- FST는 관측값으로부터 앵커 위치를 예측하고 특징을 반복적으로 정제하여, 고정된 격자 구조의 한계를 벗어난 함수 표현이 가능합니다.
- PDE 예측 및 이미지 분류 등 다양한 분야에서 기존 최고 성능 모델들을 능가하거나 경쟁하는 뛰어난 범용성을 입증했습니다.
- 이 기술은 물리 현상 시뮬레이션 같은 과학적 예측부터 일반적인 비전 인식까지, 연속 함수 데이터를 다루는 AI의 새로운 가능성을 제시합니다.
물리장, 기하학적 형태, 시각 신호 등 연속적인 도메인에서 정의되는 함수 데이터는 일반적으로 이산 샘플로 관측됩니다. 기존 방식처럼 고정된 균일 격자에 함수를 표현하는 것은 국소적 변화 해상도와 전체 영역의 계산량 사이의 상충 관계를 야기합니다. 본 연구에서는 이러한 불일치를 해결하기 위해, 공간적으로 적응 가능한 연속 잠재 표현을 통해 함수로부터 학습하는 Function-Space Transformer(FST) 프레임워크를 제안했습니다.
FST는 입력 관측값으로부터 앵커 위치를 예측하고 이 앵커 특징들을 함수 공간 상에서 재귀적으로 정제합니다. 이러한 과정을 통해, FST의 표현은 관측 그리드의 구조를 물려받기보다는 각 입력에 맞춰 공간적 조직을 스스로 조정할 수 있습니다. 이는 공간적으로 해상도가 높은 출력과 유한 차원의 출력을 모두 지원하는 장점을 가집니다.
FST는 다양한 분야에서 우수한 성능을 입증했습니다. PDEBench의 Burgers 및 Darcy 흐름 예측에서는 Perceive rIO 기준선보다 크게 능가했으며, Fourier Neural Operator와도 경쟁할 만한 수준이었습니다. 또한 ImageNet-1K 분류 작업에서도 Vision Transformer 기준선보다 높은 정확도를 달성하며, 이 비교에서 더 적은 로 성능을 보여주었습니다.
용어 풀이
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
기존의 함수 데이터 표현 방식은 어떤 한계가 있었나요?
물리장이나 기하학적 형태 같은 연속적인 데이터를 다룰 때, 고정된 균일 격자를 사용하면 국소적인 변화 해상도와 전체 영역의 계산량 사이에서 상충 관계가 발생했어요.
FST는 어떻게 공간 구조를 유연하게 조정하나요?
입력된 관측값으로부터 먼저 앵커 위치를 예측하고, 이 특징들을 함수 공간에서 반복적으로 정제해요. 이 과정을 통해 FST의 표현은 원래 관측 그리드의 구조에 의존하기보다 각 입력 데이터에 맞춰 스스로 공간적 조직을 조정할 수 있어요.
FST는 어떤 분야에서 뛰어난 성능을 보였나요?
PDE 예측 작업에서는 기존 기준 모델보다 높은 성능을 보여주었고, 이미지 분류 같은 비전 인식 작업에서도 Vision Transformer 기준선보다 더 높은 정확도를 달성했어요.