EEG 기반 fNIRS 합성 기술, 초저지연 하이브리드 BCI 구현
Bio-MF: Low-Latency and High-Fidelity EEG-to-fNIRS Cross-Modal Generation for Hybrid Motor-Imagery Brain--Computer Interfaces
arXivEEG와 fNIRS를 결합한 하이브리드 뇌-컴퓨터 인터페이스(BCI)의 성능 향상을 위해, 본 연구는 EEG 신호를 기반으로 fNIRS 데이터를 합성하는 새로운 방법인 Bio-MF를 제안했습니다.
- Bio-MF는 기존 방식의 느린 속도와 낮은 정확도를 개선하여 단일 단계로 고화질 생성을 수행하며, EEG만 사용했을 때보다 높은 분류 성능 향상을 입증했습니다.
- 이 기술은 7.0ms라는 초저지연 속도로 두 가지 뇌 신호를 실시간 결합 분석할 수 있게 하여, 하이브리드 BCI 시스템의 상용화 가능성을 높입니다.
- Bio-MF는 복잡한 생체 구조를 보존하면서도 빠른 합성 속도를 달성했으나, 제시된 성능은 특정 실험 환경에 기반하므로 현장 적용 시 최적화가 필요합니다.
하이브리드 모터 상상(MI) 뇌-컴퓨터 인터페이스(BCI)는 EEG와 fNIRS의 전기생리학적 및 혈류역학적 정보를 결합하여 성능을 높일 수 있습니다. 하지만 두 신호 동시 측정이 어려울 경우, 기존 연구들은 EEG를 기반으로 fNIRS 데이터를 합성하는 크로스-모달 생성에 집중해 왔습니다. 그러나 기존 방식은 느린 속도와 사전 학습(pretraining) 요구 등으로 인해 실시간 BCI 환경 적용에 한계가 있었습니다.
이러한 문제를 해결하기 위해 Bio-MF는 잠재 공간을 사용하지 않는(latent-free) 단일 단계 MeanFlow 프레임워크를 제안합니다. Bio-MF는 직접 신호 공간에서의 x 예측을 수행하고, 이를 MeanFlow 속도 감독으로 변환하여 하나의 네트워크 평가만으로 추론을 완료합니다. 또한, 이 모델은 다양한 센서 배치 환경에서 과제 관련 혈류 구조를 보존하기 위해 Spatial-Temporal Interactive 4D Encoding, 크로스-모달 분류기 자유 안내(cross-modal classifier-free guidance), 노이즈 레벨 게이팅 FFT 정규화 기법을 통합했습니다.
실험 결과에 따르면, Bio-MF는 EEG만 사용했을 때보다 ACC 성능을 향상시켰습니다. Dataset 1에서는 HbR과 HbO에서 각각 3.37%와 4.15%의 개선을 보였으며, Dataset 2에서도 미지의 64채널 EEG 몽타주 하에 각각 2.98%와 2.50%의 성능 향상을 유지했습니다. 특히 RTX PRO 6000 환경에서 단일 fNIRS 트라이얼을 7.0ms 만에 생성할 수 있어, 기존 SCDM 방식 대비 1000단계에 걸친 지연 시간보다 857배 빠른 속도를 달성하며 하이브리드 BCI의 실시간 적용 가능성을 입증했습니다.
용어 풀이
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.