모델 도구
로컬 구동형 오픈소스 의사결정 모델 Ollaya 소개
Ollaya – Ollama for open-source, Jev-style decision models
Hacker NewsOllaya는 오픈 소스 기반의 의사결정 모델을 로컬 환경에서 구동하여, 텍스트나 JSON에 대한 질문에 보정된 답변을 밀리초 단위로 제공하는 도구입니다.
세 줄 요약
- 이 모델들은 토큰별 생성 과정 없이 단일 순방향 패스로 작동해 매우 빠르며, 기존의 주요 API와도 호환되도록 설계되었습니다.
- 데이터가 외부 서버로 전송되지 않는 로컬 구동 방식이라 보안성이 뛰어나고, 토큰당 비용 없이 무제한으로 사용할 수 있습니다.
- macOS, Windows, Linux 등 다양한 플랫폼에서 사용 가능하며, laya나 decider처럼 목적에 맞는 여러 모델을 선택할 수 있습니다.
Ollaya는 기반의 의사결정 모델을 로컬 환경에서 구동하여, 텍스트나 JSON에 대한 질문에 보정된 답변을 밀리초 단위로 제공하는 도구입니다. 이 모델들은 별 생성 과정 없이 단일 순방향 패스로 작동하며, 를 사용하는 경우 다섯 가지 질문 요청이 엔드 투 엔드로 약 10ms 만에 처리될 수 있습니다. 로컬 구동 방식을 채택하여 사용자의 데이터가 외부 서버로 전송되지 않아 높은 보안성을 제공합니다.
Ollaya는 기존의 주요 와 호환되도록 설계되어, TypeSafe의 요청 및 응답 형태를 따르는 `/v1/systemone`과 `/v1/models` 엔드포인트를 지원합니다. 사용자는 laya(가장 빠름), decider(가장 정확함) 등 필요에 따라 다양한 오픈 모델을 선택할 수 있으며, 각 모델은 자체적인 정확도와 속도를 가지고 있습니다.
이 시스템은 macOS, Windows, Linux 및 Docker 환경에서 사용할 수 있는 데스크톱 앱과 커맨드 라인 인터페이스를 제공합니다. 모든 의사결정 기능은 로컬에서 구동되며, 사용자는 토큰당 비용이나 API 측정 없이 하드웨어 성능에 따라 무제한으로 기능을 활용할 수 있습니다.
용어 풀이
- 오픈 소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.