모델 도구
SigmanticAI/apex-inference-chip
GIGitHub
SigmanticAI의 APEX는 트랜스포머 디코더 1층을 RTL로 구현하고 Qwen2.5-0.5B를 FPGA에서 검증한 공개 LLM 추론 타일이다.
세 줄 요약
- KV 캐시를 데이터 패스 안에서 INT4로 압축·복원하고, Qwen2.5-0.5B를 FPGA에서 실행했으며, RTL 블록은 비트 단위로 검증됐다.
- 긴 컨텍스트에서 KV 캐시 읽기 속도가 평탄하도록 설계됐고, 측정·예측 수치를 구분한 검증 자료를 제공한다.
- 실리콘 이전 단계의 1층 타일이며, 7B 모델은 소프트웨어 검증만 통과했고, FPGA의 walked attention은 진행 중이다.
SigmanticAI의 APEX는 트랜스포머 디코더 1층을 RTL로 구현하고 Qwen2.5-0.5B를 FPGA에서 검증한 공개 LLM 추론 타일이다.