AI 에이전트 도구
자연어 기반의 타입세이프 컴퓨터 자동화 에이전트
awlevin/typesafe-computer-use
GitHub사용자가 자연어로 목표를 입력하면, 이 도구가 Mac 화면을 분석하여 단계별 행동(클릭, 텍스트 입력 등)을 자동으로 수행하는 컴퓨터 자동화 에이전트입니다.
세 줄 요약
- 대규모 모델에 전체 스크린샷을 전송하는 대신, 작은 분류기를 활용해 빠르고 저렴하게 다음 행동을 결정하며 텍스트 입력 시에만 LLM을 사용합니다.
- 기존의 거대 모델 기반 자동화 대비 비용과 속도를 수십 배 이상 절감하여, 복잡한 실제 업무 환경에서의 AI 에이전트 활용을 가능하게 합니다.
- 사용을 위해서는 macOS 14 이상과 Python 3.12 이상이 필요하며, 시스템 설정에서 '화면 녹화' 및 '접근성' 권한 부여가 필수입니다.
typesafe-computer-use는 사용자가 입력한 자연어 목표를 바탕으로 Mac을 제어하는 자동화 도구입니다. 이 시스템은 전체 스크린샷을 대규모 모델에 전송하지 않고, 화면을 결정론적으로 읽고 작은 분류기(classifier)를 통해 다음 행동을 신속하고 저렴하게 결정합니다. 텍스트 필드에 자유로운 텍스트가 필요한 경우에만 을 호출하여 사용합니다.
이 방식은 기존의 거대 모델 기반 컴퓨터 사용 방식과 비교했을 때 비용 및 속도 면에서 큰 차이를 보입니다. 예를 들어, 12단계 작업 기준으로 할 때 typesafe는 $0.003의 낮은 비용을 기록한 반면, Claude Opus 5를 사용한 경우 $0.40~$0.90에 달합니다. 또한 모델 지연 시간(latency)은 각각 0.13~0.38초 대 5.2초로 측정되었습니다.
이 도구를 사용하려면 macOS 14 이상과 Python 3.12 이상이 필요하며, 시스템 설정에서 '화면 녹화'와 '접근성' 권한을 반드시 부여해야 합니다. 초기 설치는 `git clone` 명령어로 저장소를 복제하고, `uv sync`를 실행한 후 환경 변수 파일에 키 등을 채워 넣어야 합니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.