AI 에이전트 연구
설계 문서 기반의 AI 네이티브 ML 성능 도구 SMART
Design Docs Are All You Need: An AI-native Machine-Learning Performance Tool
arXivML 시스템의 성능 모델링은 기술 부채가 쌓이기 쉬웠는데, 'SMART' 라이브러리가 등장해 이 문제를 해결했습니다. SMART는 코드가 아닌 자연어 설계 문서(Design Docs)를 핵심 기반으로 사용합니다.
세 줄 요약
- 이 도구는 실제 구현체를 저장하는 대신 구조화된 문서를 관리하며, 새 버전 업데이트 시 AI 에이전트가 이를 바탕으로 코드를 재생성하여 시스템의 안정성을 확보합니다.
- 이는 복잡한 ML 시스템에서 코드보다 '설계 문서' 자체가 가장 신뢰할 수 있는 핵심 자산임을 입증하며, 장기적인 시스템 유지보수 패러다임 변화를 예고합니다.
- 높은 신뢰도를 위해 단순히 문서를 작성하는 것을 넘어, 단계별 작업 예시와 심볼릭 비용 표현을 갖춘 연산자 IR 정의가 필수적입니다.
머신러닝 성능 모델링은 오늘날 추상화에 내재된 가정이 미래 시스템과 모델에 의해 무효화되면서, 지속적인 프레임워크 리팩토링을 요구하는 어려운 영역입니다. SMART는 이러한 문제를 해결하기 위해 개발된 라이브러리로, 코드 대신 자연어 설계 문서(design docs)를 핵심 기반으로 사용합니다. 이 저장소는 자체 포함적인 자연어 설계 문서의 DAG 구조로 구성되어 있습니다.
SMART에서 새로운 버전 업데이트가 발생하면, 코딩 서브 들이 오직 해당 문서를 바탕으로 구현체를 재생성합니다. 이러한 재생성이 신뢰성을 갖기 위해서는 단계별 작업 예시를 중심으로 구축된 설계 문서 스타일과 심볼릭 비용 표현을 가진 최소한의 연산자 IR 정의가 필수적입니다.
실제로 SMART로 재생성된 구현체는 DeepSeek-V3가 pod slice에서 서비스되는 경우와 같은 수동 감사 참조 모델을 반올림 정밀도까지 재현하는 것으로 나타났습니다. 이는 ML 시스템 공동 설계 도구의 지속 가능한 아티팩트가 코드가 아닌 설계 문서일 수 있음을 시사합니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- TPU
- 구글이 AI 계산용으로 직접 만든 전용 칩.