기기 자체에서 구동되는 소형 AI 모델 개발사 등장
Desert Ant Labs: local, fast models that run on device
Hacker News유럽의 AI 연구소 Desert Ant Labs가 오디오, 비전 등 특정 작업에 특화된 소형 모델을 출시했습니다. 이 모델들은 클라우드 연결 없이 기기 자체에서 구동되어 빠르고 운영 비용이 들지 않는 것이 특징입니다.
- 데이터 처리 주도권을 사용자 기기로 가져와 토큰 비용이나 전송 문제 없이 모든 처리가 가능합니다. 이는 사용자의 데이터를 보호하고 서비스 안정성을 높이는 핵심 기술적 변화입니다.
- 범용적인 거대 모델 대신, 녹음 청소나 개인 정보 마스킹 같은 반복적이고 특화된 '작은 뇌' 기능을 강화합니다. 이를 통해 제품에 필수적인 기본 성능을 구현할 수 있습니다.
- 사용자 데이터가 기기를 벗어나지 않아 최고 수준의 프라이버시를 보장하며, 개발자는 Swift, Kotlin 등 다양한 SDK로 쉽게 통합하여 활용할 수 있습니다.
유럽의 AI 연구소 Desert Ant Labs는 효율적인 지능 구현을 위해 기기(on-device) 기반 인텔리전스에 집중하고 있습니다. 이들은 오디오, 비전, 텍스트 등 특정 작업에 특화된 소형 모델들을 개발하여, 비용이나 추론 속도에 제한받지 않고 모든 제품 상호작용에 지능을 통합하는 것을 목표로 합니다. 이러한 모델들은 구형 휴대폰에서도 실행 가능하며, 기존 클라우드 호출보다 빠르고 효율적이라고 설명합니다.
현재 18개의 모델(안정 버전 12개, 베타 6개)이 출시되었으며, Swift, Kotlin, JavaScript용 를 통해 접근할 수 있습니다. 예를 들어, Voz는 아이폰에서 10분 분량의 오디오를 2초 만에 전사하며 Whisper보다 4.7배 빠르다고 밝혔습니다. 또한 Redact 모델은 이름이나 주소 같은 개인 정보를 실시간으로 마스킹 처리할 수 있으며, 모든 모델은 월간 활성 기기 10만 대까지 무료로 제공됩니다.
이러한 접근 방식은 데이터가 고객의 손을 떠나지 않아 최고 수준의 프라이버시를 보장하며, 클라우드 API 사용으로 인한 인프라 비용 증가 문제를 해결합니다. 개발자들은 기기 내에서 작동하는 소형 모델들이 항상 켜져 있는(always-on) 기본 기능을 담당하는 '작은 뇌' 역할을 수행하여 제품에 필수적인 성능을 구현할 수 있다고 강조했습니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
- SDK
- 특정 서비스나 기기를 쉽게 쓰도록 묶어 둔 개발 도구 모음.
- 온디바이스
- 서버를 거치지 않고 휴대폰이나 PC 안에서 직접 돌아가는 AI.