트랜스포머 기반 과학 방정식 복구 방법론 MOSAIC-SR
MOSAIC-SR: Transformer-Guided Symbolic Regression for Scientific Equation Recovery
arXiv데이터 관찰값으로부터 수학적 수식(closed-form equation)을 복구하는 '기호 회귀' 분야에 새로운 방법론 MOSAIC-SR이 제시되었습니다.
- MOSAIC-SR은 사전 학습된 트랜스포머를 활용해 여러 유망한 초기 구조를 제안하고, 이를 기반으로 수식의 구조와 상수를 동시에 정교하게 복구합니다.
- 기존 방식의 비효율성과 오류 문제를 개선하여 다양한 데이터셋에서 최고 수준의 수식 복구율과 높은 예측 정확도를 입증했습니다.
- 이 연구는 학습된 사전 지식이 검색 범위를 좁히고, 수치 최적화와 기호 보정 과정을 결합하는 것이 과학 모델 발견에 핵심임을 보여줍니다.
기호 회귀(Symbolic regression)는 관찰값으로부터 폐쇄형 수식(closed-form equations)을 복구하여 과학적 발견에 사용되는 해석 가능한 모델을 제공하는 것을 목표로 합니다. 기존 접근 방식들은 유연한 구조 탐색과 효율적인 추론을 결합하는 데 어려움을 겪습니다. 검색 기반 방법은 표현 구조를 정교화할 수 있지만, 무작위 초기화를 사용하는 비용이 많이 드는 조합 최적화에 의존하는 경향이 있습니다.
제안된 MOSAIC-SR은 사전 학습된 를 활용하여 여러 개의 유망한 초기 스케치를 제안합니다. 이 스케치들은 탐색을 여러 유망 영역에서 시작하게 하여 방대한 표현 공간 내의 무작위 시작을 피할 수 있게 합니다. 각 검색 과정은 규모 인식 상수 최적화와 국소 기호 복구(local symbolic repair)를 통해 구조와 상수를 동시에 복구합니다.
MOSAIC-SR은 SRSD-Feynman 데이터셋(더미 변수 유무 포함)과 여섯 개의 추가 에서 평가되었습니다. 그 결과, 모든 데이터셋에서 최고 수준의 기호 해법률을 달성했으며 예측 정확도 면에서도 상위 두 개 방법론에 속하는 성과를 보였습니다. 이러한 장점은 관련 없는 더미 입력이 존재하는 상황에서도 유지되는 것으로 나타났습니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.