테일스케일, AI 모델 접근을 위한 통합 라우터 구축
How Tailscale built a customer-facing model router on AI Gateway
Vercel Blog테일스케일은 자체 모델 라우터 Aperture를 구축하며, Vercel의 AI Gateway와 Sandbox 기능을 활용해 고객에게 안전하고 통합적인 AI 접근 환경을 제공했습니다.
- 이 시스템은 네트워크 ID 기반으로 모델 접근 권한을 제어하여, 사용자를 추가하거나 제거하는 것만으로도 수백 개의 AI 모델에 대한 통제가 가능합니다.
- 기업들은 복잡한 모델 라우팅 및 에이전트 실행 환경(샌드박스)을 직접 구축할 필요 없이, 검증된 게이트웨이를 통해 빠르고 안전하게 서비스를 제공할 수 있습니다.
- AI Gateway 덕분에 데이터 보존(ZDR) 준수와 비용 추적 등 복잡한 규제 및 기술적 요구사항을 쉽게 처리하여 안정적인 운영이 가능합니다.
테일스케일은 자체 네트워크인 tailnet을 활용하여 기업의 장비와 사용자를 연결하는 인프라를 제공합니다. 이 개념을 확장한 Aperture는 AI 분야에 적용되어, 직원이나 가 개별적인 키 대신 tailnet 자체를 통해 승인된 수백 개의 모델에 접근할 수 있도록 합니다. 네트워크에 누군가를 추가하면 즉시 사용이 가능하며, 제거하는 것만으로도 해당 모델 접근 권한이 사라지게 됩니다.
Aperture는 Vercel AI Gateway와 기능을 기반으로 구축되었습니다. AI Gateway를 통해 단일 API로 다수의 모델에 대한 접근을 제공받고, Sandbox는 에이전트가 안전하게 실행될 수 있는 환경을 마련합니다. 특히 민감한 데이터를 읽고 외부 인터넷과 연결하는 에이전트는 보안 문제가 될 수 있어, 아이덴티티 및 접근 통제가 내장된 격리형 샌드박스가 필수적입니다.
AI Gateway를 사용함으로써 Aperture는 모든 요청에 대해 비용을 반환받아 고객에게 투명하게 지출액을 표시할 수 있습니다. 또한, 데이터 보호가 중요한 고객들을 위해 AI Gateway 자체는 데이터를 보존하지 않으며(ZDR), 이를 통해 복잡한 규제 준수 로직 없이도 안전한 모델 접근 환경을 제공합니다. 테일스케일은 내부 시스템까지 이 게이트웨이로 전환하여 별도의 개별 공급자 API 대신 단일 통합 인터페이스를 사용하게 했습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
- Sandbox
- 프로그램을 바깥과 분리된 안전한 공간에서 실행하게 하는 환경.