개발도구 연구
TreeGraft: Adaptive Multi-Drafter Grafting for Tree-Based Speculative Decoding
ARarXiv
TreeGraft는 적응형 다중 드래프터 접합(Adaptive Multi-Drafter Grafting)을 이용해 트리 기반 추측 디코딩을 개선한 방법이다.
세 줄 요약
- 이 프레임워크는 비용이 다른 여러 드래프터를 함께 사용하며, 더 강력한 드래프터로 후보를 재점수화하고 경로를 복구한다.
- TreeGraft는 10개 모델 쌍과 6개 벤치마크에서 두 고정 단일 드래프터 전략보다 평균 15.1% 성능이 높다.
- 드래프팅 비용을 제어하기 위해 오프라인 가치 시스템에서 증류한 경량 스케줄러를 도입했다.
TreeGraft는 적응형 다중 드래프터 접합(Adaptive Multi-Drafter Grafting)을 이용해 트리 기반 추측 디코딩을 개선한 방법이다.