오픈 웨이트 모델 학습 및 추론을 위한 통합 인프라
End-to-end infrastructure for training and inferencing open weight models
Hacker News오픈 웨이트 모델의 학습부터 추론까지 전 과정을 지원하는 통합 인프라가 공개되어 개발 워크플로우를 혁신합니다.
- 데이터셋 관리(SDK), 에이전트 환경 구성(Runtime), OpenTelemetry 기반의 상세 추적 기능 등을 통해 모델 생명주기 전반을 체계적으로 지원합니다.
- GRPO 등 다양한 학습 방법론과 평가 기능을 제공하며, 배포된 모델에 트래픽 라우팅까지 가능해져 시스템 안정성과 효율성이 높아집니다.
- 코딩 에이전트를 활용한 쉬운 초기 구축이 가능하며, 추적 데이터는 ClickHouse나 Langfuse 같은 외부 관측 시스템으로 내보낼 수 있습니다.
이 인프라는 코딩 를 활용하여 쉽게 초기 구축할 수 있으며, 핵심 기능은 세 가지 패키지로 구성됩니다. `ac2.sdk`는 데이터셋, 워크로드, 트레이스 및 시크릿을 위한 플랫폼 클라이언트 역할을 하며, `ac2.runtime`은 에이전트, 환경, 오케스트레이터 등을 관리하는 프레임워크를 제공합니다. 또한, OpenTelemetry 기반의 관측 가능성 인 `ac2.tracing`을 통해 함수에 `@traced`를 추가하여 타이밍, 입출력 및 중첩 스팬을 포착하고 ClickHouse나 Langfuse로 내보낼 수 있습니다.
개발 워크플로우는 에이전트 정의, 환경 구성, 오케스트레이터 설정 및 평가 태스크 정의부터 시작됩니다. 사용자는 Python을 통해 데이터셋, 배포(deployment), 실행 기록(runs), 트레이스 및 시크릿을 관리할 수 있으며, 편집기에서 평가 및 학습 트레이스를 분석할 수 있습니다. 에이전트 평가는 GRPO, 지도 (supervised fine-tuning) 또는 온-정책 자가 증류 등 다양한 방법론을 선택하여 실행하고 트레이스를 채점하며 행동을 비교합니다.
모델 배포 단계에서는 정책(Policies)과 엔드포인트를 통해 트래픽을 라우팅하는 것이 가능해져 시스템의 안정성과 효율성을 높입니다. 이 인프라는 또한 실패한 실행 기록, 데이터셋, 패키지 설치 및 정리와 관련된 질문에 대한 답변을 찾는 기능도 제공하여 전반적인 개발 과정을 지원합니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- SDK
- 특정 서비스나 기기를 쉽게 쓰도록 묶어 둔 개발 도구 모음.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.