자연어 목표 기반 컴퓨터 자동화 시스템 소개
awlevin/typesafe-computer-use
GitHub사용자에게 자연어 목표를 제시하면, 화면을 분석하고 AI 분류기를 통해 마우스/키보드를 제어하여 복잡한 컴퓨터 작업을 자동화하는 시스템입니다.
- 고비용/고지연의 대규모 언어 모델 대신, 선택지에 특화된 분류기(Decision Model)를 활용해 작업 속도와 API 호출 비용을 극적으로 낮춘 것이 핵심 기술입니다.
- 단순 명령 입력 단계를 넘어, 사용자의 복합적이고 다단계적인 의도를 파악하여 실질적인 업무 흐름까지 자동화하는 차세대 인터페이스로 주목받고 있습니다.
- 현재 베타 버전이며, 원활한 작동을 위해 '스크린 레코딩'과 '접근성' 권한 설정이 필수입니다. 모든 추론 과정은 결정론적 상태로 재구축해야 하는 한계가 있습니다.
typesafe-computer-use는 사용자가 자연어로 제시한 목표를 바탕으로 Mac 환경에서 복잡한 컴퓨터 작업을 자동화하는 시스템입니다. 이 도구는 화면을 결정론적으로 읽고, 다음 행동에 필요한 작은 분류기(classifier)를 통해 어떤 동작이 올지 판단합니다. 텍스트 필드에 자유로운 텍스트가 필요하거나 분류기가 작동을 멈춰 화면 분석이 필요할 때만 별도의 라이팅 모델을 호출하여 사용합니다.
이 시스템의 핵심은 고비용/고지연의 (LLM) 대신, 선택지에 특화된 결정 모델(decision model)을 활용한다는 점입니다. 기존의 컴퓨터 자동화는 매 단계마다 전체 계획 수립을 요구해 비용과 시간이 많이 들었으나, 이 프로젝트는 최대 255개 옵션 중 하나의 확률 분포를 계산하는 방식으로 효율성을 높였습니다. 예를 들어, 한 결정당 비용은 $0.0002로 측정되어 Claude Opus 대비 155배 저렴하며, 모델 지연 시간도 획기적으로 단축됩니다.
단순한 명령 실행을 넘어, 이 시스템은 복합적인 의도를 처리하는 '핸드오프' 기능을 제공합니다. 분류기가 두 가지 좋은 행동 사이에서 낮은 신뢰도로 멈출 경우, 라이터가 화면 정보를 바탕으로 특정 '초점(focus)'이나 사용자에게 질문할 내용을 제시하여 다음 단계를 유도할 수 있습니다. 사용을 위해서는 macOS 14 이상 또는 Python 3.12 이상이 필요하며, 환경 설정 및 권한 확보 과정이 필수적입니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.