가중치 저장 없이 구현하는 신경망의 새로운 역학 모델 연구
Orbital Error Dynamics: Self-Organized Criticality, Ephemeral Parameter Resonance, and Non-Linear Biological Ontologies in Zero-Storage Neural Synthesis
arXiv기존 AI 모델이 메모리에 가중치를 정적으로 저장하는 방식(폰 노이만 병목)의 한계를 극복하기 위해, '궤도 오차 역학(OED)'이라는 새로운 분석 틀을 제시했습니다.
- 가중치를 물리적 저장이 아닌 수학 함수에서 파생되는 일시적인 위상 공명으로 처리하여, 단 24바이트 시드만으로 높은 테스트 정확도를 달성하는 것이 핵심입니다.
- 이 접근법은 컴퓨팅 자원의 근본적 한계를 돌파하며, 생체 시스템처럼 동적이고 비선형적인 방식으로 AI를 구현할 가능성을 열었습니다.
- 모델의 핵심은 가중치를 저장하는 것이 아니라 '과정' 자체를 계산에 활용한다는 점이며, 포유류 수정 과정 등 생물학적 메커니즘을 모방했습니다.
기존 딥 뉴럴 네트워크는 를 물리적 메모리에 정적인 부동소수점 행렬로 취급하여, 폰 노이만 메모리 병목 현상과 표현력 붕괴를 야기합니다. 본 연구에서는 '궤도 오차 역학(OED)'이라는 분석 틀을 제시하며, 시냅스 를 저장된 질량(O(W))으로 보는 대신 복소수 이차 다항식 맵 $z_{n+1} = z_n^2 + c$에서 파생되는 일시적인 위상 공명(O(1))으로 간주합니다.
이 접근법은 환경적 항력에 의해 조화파가 심장형 곡선 근처로 말려 들어가는 현상을 설명하는 '벤트 사인파 가설'을 도입하며, 매개변수 공간 내의 관찰자 지평 기하학(Observer Horizon Geometry)을 정의합니다. 또한 포유류 수정 과정에서 영감을 받은 생체모방성 교란 점프 연산자($\Omega_{tunneling}$)를 사용하여 비볼록 정체를 극복하고, 방사성 CD4+ 조절 면역 게이팅으로 보호된 장-뇌 이중 구조(enteric-cranial Dual-Brain architecture)와 결합합니다.
실증적 검증은 Two-Moons 매니폴드에서 수행되었으며, 24바이트 좌표 시드를 이용한 절차적 매개변수화가 높은 테스트 정확도를 달성함을 보여줍니다. 이 방법은 77.67% +/- 5.35%의 깨끗한 테스트 정확도를 기록했으며, 이는 제약이 없는 기울기 기준선(85.67% +/- 5.35%)과 비교되었습니다. 또한 분포 변화(N(1.2, 0.4)) 하에서도 71.33% +/- 3.80%의 성능을 보였습니다.
용어 풀이
- 매개변수
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.