딥시크, 대규모 AI 에이전트 훈련용 클라우드 컴퓨팅 플랫폼 공개
DeepSeek Elastic Compute (DSec)
Hacker News대규모 언어 모델(LLM) 에이전트의 훈련 및 평가를 위해, 딥시크는 복잡하고 상태가 유지되는 실행 환경을 클러스터 전체에서 제공하는 플랫폼 DSec를 개발했습니다.
- DSec는 컨테이너부터 마이크로VM까지 다양한 백엔드를 통합하며, 메모리 공유와 스케줄링 최적화를 통해 초당 5,000개 이상의 고밀도 샌드박스 생성을 지원합니다.
- 이 플랫폼은 LLM 에이전트가 도구 사용이나 명령 실행 등 복잡한 작업을 대규모로 안정적으로 수행하게 하여 AI 모델 개발 및 평가의 신뢰도를 높입니다.
- 특히 강화 학습(RL) 프레임워크와 결합하여, 훈련 상태를 보존하고 에이전트 오작동을 방지하는 고도화된 클러스터 관리 기술을 제공합니다.
(LLM) 의 훈련 및 평가에는 모델이 저장소 검사, 도구 호출, 명령 실행 등 복잡한 작업을 수행하는 격리되고 상태가 유지되는 환경이 필수적입니다. 이러한 워크로드는 다양한 기능과 격리 요구사항을 가지며 장기간 상호작용 동안 상태를 유지해야 하므로, 단일 런타임보다는 탄력적인 실행 플랫폼이 필요합니다.
DeepSeek Elastic Compute (DSec)는 이러한 요구를 충족하는 프로덕션급 샌드박스 플랫폼입니다. DSec는 FnCall, 컨테이너, 마이크로VM, 전체 VM 샌드박스 백엔드를 통합된 를 통해 제공하며, 클러스터 전반에 걸쳐 배치 및 생명주기 관리를 조정합니다. 이 플랫폼은 메모리 공유, 회수, CPU 스케줄링을 결합하여 고밀도 실행을 구현하고, (RL) 프레임워크와 연동되어 에이전트의 상태를 보존하며 오작동을 완화하는 기능을 제공합니다.
DSec는 대규모 운영 환경에서 높은 성능과 확장성을 입증했습니다. 단일 프로덕션 단위가 약 160개 노드를 아우르며, 하루에 약 3백만 개의 샌드박스를 처리할 수 있습니다. 또한, 최대 380,000개가 넘는 동시 샌드박스를 지원하고 초당 5,000개 이상의 샌드박스 생성을 유지합니다. 이러한 메커니즘은 환경 설정 및 이미지 분배 오버헤드를 줄이고 메모리 효율성을 개선하는 데 기여합니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 샌드박스
- 프로그램을 바깥과 분리된 안전한 공간에서 실행하게 하는 환경.
- SDK
- 특정 서비스나 기기를 쉽게 쓰도록 묶어 둔 개발 도구 모음.
- 강화 학습
- 행동의 결과에 보상을 주면서 더 나은 행동을 익히게 하는 학습 방법.