JEPA-Anything: 이질적인 환경에서의 범용 예측 모델링
JEPA-Anything: Learning Predictive Models across Different Worlds
arXivJEPA-Anything은 시각, 생물학, 날씨 등 이질적인 여러 세계에서 작동하는 범용 예측 모델을 제시하며, 잠재적 목표를 상호 보완적인 요소로 분해하여 학습합니다.
- 핵심 기술인 '직교 예측 분해(OPF)' 구조는 복잡한 시스템의 목표를 독립적인 요인으로 분해하고 재조합하여, 10개 역학 과제 모두에서 성능 향상을 입증했습니다.
- 단순 데이터 예측을 넘어, 생물학적 개입 예측 결과가 실제 세포 배양 및 동물 모델에서 실험적으로 검증되어 과학적 발견에 기여함을 보여줍니다.
- 이 연구는 AI 세계 모델링이 다양한 분야의 복잡한 시스템에서도 공통적인 '요인 분해 원리'를 통해 작동할 수 있음을 제시하는 중요한 진전입니다.
JEPA-Anything은 세계 모델링을 통해 지능이 결과를 예측하고 상호작용에서 학습할 수 있도록 하는 도메인 비종속적 프레임워크입니다. 이 방법론은 직교 예측 분해(OPF)에 기반하여 잠재 목표를 보완적인 요인으로 분해하고, 이를 공유된 예측 설계 내에서 재조합합니다. 연구진들은 시각, 생물학, 임상 궤적, 제어, 분자 역학, 물리장, 날씨 등 총 일곱 가지 이질적인 도메인에 걸쳐 JEPA-Anything을 평가했습니다.
이 프레임워크는 표현 학습, 개입 예측, 분포 외 일반화 및 장기 역학을 포함하여 광범위하게 테스트되었습니다. 특히 10개의 매칭된 역학 과제 모두에서 기존의 JEPA 기준 모델 대비 보고된 지표를 개선했으며, Interventional Pong에서는 단일 개입 예측 오류를 34.8% 감소시켰습니다. 또한 네 가지 시스템 전반에 걸쳐 비교된 방법 중 가장 낮은 1단계 및 100단계 분자 오류를 달성하는 등 뛰어난 성능을 입증했습니다.
JEPA-Anything의 결과는 단순한 예측 능력을 넘어 실제 과학적 발견과 연결되었습니다. 요인으로 지정된 생물학적 개입은 세포 공동 배양, 환자 유래 오가노이드, 종양 조각 및 마우스 모델에서 실험적으로 지원받았습니다. 또한 잠재 궤도 모드는 적합한 기울기 -1.4991을 가진 케플러 스케일링 지수를 복구하는 결과를 보여주며, 이질적인 세계 전반에 걸쳐 공통된 요인 분해 예측 원리가 작동함을 뒷받침합니다.