SenseAgent: 적응형 도메인 변화 감지를 위한 LLM 에이전트
SenseAgent: An LLM Agent for Adaptive Cross-Domain IMU Sensing
arXiv기존 IMU 모델은 새로운 사용자나 환경 변화(도메인 시프트)에 취약하여 성능 저하를 겪었습니다. SenseAgent는 LLM을 활용해 이 문제를 해결하는 적응형 감지 에이전트입니다.
- SenseAgent는 LLM을 단순 분류기가 아닌 실시간 계획 수립 도구로 사용합니다. 목표 스트림에서 진단 보고서를 생성하고, 그에 따라 전문 도구를 선택하거나 원시 추론을 유지하여 작동합니다.
- 이는 IMU 감지 과정을 고정된 파이프라인 방식에서 벗어나 스스로 변화를 진단하고 최적의 행동을 결정하는 '폐쇄 루프' 시스템으로 전환했다는 점에서 큰 의미가 있습니다.
- 레이블 데이터가 부족한 상황에서도 백본 재학습 없이 작동하며, 특히 복합적인 도메인 이동이나 까다로운 배치 환경에서 높은 성능 향상을 입증했습니다.
기존의 IMU(관성 측정 장치) 모델은 특정 도메인에서 학습되었을 때, 새로운 사용자나 기기, 또는 신체 위치가 달라지는 환경(도메인 시프트)에서는 성능 저하를 겪는 문제가 있었습니다. 기존 방법들은 이러한 문제를 정적인 모델 설계 과제로 취급했지만, SenseAgent는 을 단순한 분류기가 아닌 실시간 계획 수립 도구로 활용하는 적응형 감지 를 제시합니다.
SenseAgent는 목표 스트림으로부터 레이블 없는 진단 보고서를 생성하고, 이를 기반으로 원시 추론을 유지할지 아니면 중력 인식 센싱, 프로토타입 전송, 스타일 정규화와 같은 전문 도구를 호출할지를 결정합니다. 또한, 에이전트는 소스 보정 및 목표 메모리의 신뢰성 등 안전 기준(no-harm criteria)을 검증하여 고위험 도구 사용 결정을 수락하는지 확인하며, 이를 통해 IMU 감지 과정을 고정된 파이프라인에서 폐쇄 루프 시스템으로 전환합니다.
SenseAgent는 백본 재학습이나 레이블 없는 경로를 대체하지 않고도 부족한 피드백을 지원할 수 있습니다. 다수의 IMU 데이터셋과 배포 변화에 걸쳐 평가 결과, 특히 까다로운 배치 환경 및 복합적인 도메인 이동 상황에서 SenseAgent의 검증된 경로 선택이 교차 도메인 감지 성능을 향상시키는 것으로 나타났습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.