자원 제한 엣지 기기용 신경-기호 추론 라우터 개발

언어 모델(LLM)을 네트워크 연결 없이 엣지 하드웨어에서 구동하는 것은 사생활 보호와 낮은 지연 시간을 제공하지만, 해당 장치에 탑재되는 소형 모델들은 산술, 대수학, 형식 논리 문제 등 컴퓨터가 잘 처리해야 하는 작업에서 신뢰성이 떨어진다는 문제가 있습니다. 연구진은 이러한 불안정성의 상당 부분이 피할 수 있으며, 추론을 요구하는 많은 질의는 구조적으로 결정론적이며 빠르고 정확한 기호 기반 해법이 가능하다고 주장합니다.

이에 따라, 들어오는 각 질의를 분류하여 가장 비용 효율적인 올바른 솔버로 분배하는 신경-기호 라우터(neurosymbolic router)가 제시되었습니다. 이 시스템은 구조화된 작업은 결정론적 엔진에 보내고, 개방형 단어 문제에만 소규모 언어 모델(SLM)을 사용하도록 설계되었습니다. 특히, 라우팅 로직 자체를 수동으로 코딩하는 대신, SLM을 멤버십 오라클로 사용하여 L* 문법 추론 알고리즘을 통해 결정론적 유한 오토마타(DFA)를 학습했습니다.

Raspberry Pi 4B (8 GB RAM, GPU 없음) 환경에서 테스트된 결과, 이 라우터는 100개의 미검증 프롬프트에 대해 100%의 라우팅 정확도를 달성했으며, 전체 평균 정확도는 98.3%를 기록했습니다(단어 문제에서는 93.3%). 이는 기존의 강력한 에이전트 기준선인 Program-of-Thought가 달성한 72.0% 및 도구 호출 에이전트의 58.7%보다 높은 수치입니다. 또한, 라우터는 포맷된 질의에 대해 모델을 거치지 않아 1~11ms 만에 답변하며, Program-of-Thought 대비 30토큰 구성에서 8.8배 빠르고 2.8배 에너지 효율적임을 입증했습니다.