개발도구 도구
LLM처럼 로컬에서 의사결정 모델을 구동하는 Ollaya
ollaya-dev/ollaya
GitHubOllaya는 LLM 구동 도구인 Ollama처럼, 텍스트 생성 없이 주어진 상태와 질문을 분석하여 확률적 점수를 계산하는 전문 의사결정 모델을 로컬에서 실행할 수 있게 합니다.
세 줄 요약
- TypeSafe 시스템과 호환되는 와이어 포맷을 사용하며, ONNX나 GGUF 등 다양한 표준 형식의 오픈 소스 모델을 통합해 에이전트 및 라우팅 기능에 활용 가능합니다.
- AI 애플리케이션의 진화 방향을 제시하며, 단순 텍스트 생성 대신 복잡한 상태 정보 분석을 통해 최적의 '행동'을 확률적으로 결정하는 단계로 나아갑니다.
- 성능은 GPU(CUDA) 및 모델 정밀도에 따라 달라지므로, 사용 환경과 목적에 맞는 의사결정 모델을 선택하고 로컬에서 구동하는 것이 핵심입니다.
Ollaya는 (LLM)이 텍스트를 생성하는 방식과 달리, 주어진 상태 정보(메시지, 이메일 등)와 질문들을 분석하여 정밀한 확률적 점수를 계산하는 의사결정 모델을 로컬 환경에서 구동할 수 있게 합니다. 이 모델들은 단일 순방향 패스만으로 결과를 반환하며, 텍스트를 생성하지 않고 밀리초 단위로 작동합니다.
Ollaya는 로컬 데몬을 통해 다양한 의사결정 모델들을 제공하며, 기존 Jev 클라이언트가 사용할 수 있도록 TypeSafe의 `/v1/systemone` 와이어 포맷과 호환됩니다. 이 시스템은 ONNX 그래프나 파일을 지원하며, 모델 를 직접 재호스팅하지 않고 작성자의 허깅페이스 저장소에서 가져와 사용합니다.
사용자는 제공된 설치 스크립트를 통해 Linux, macOS, Windows 등 다양한 운영체제에 Ollaya를 구축할 수 있습니다. 또한 `ollaya run` 등의 명령어를 사용하여 모델을 실행하거나, 나 라우터 기능(laya) 등을 활용하여 복잡한 의사결정 워크플로우에 통합하는 것이 가능합니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 오픈 소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
- GGUF
- 언어 모델을 개인 PC에서 돌리기 쉽게 담는 파일 형식. llama.cpp 계열 도구에서 써요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.