개발도구 도구
litellm의 핵심 로직에 집중한 경량화 버전 'litelm'
Litelm: LiteLLM Without the Bloat
Hacker NewsLLM 호출 라우팅 및 메시지 변환 기능을 제공하는 `litellm`의 경량화 버전인 `litelm`이 공개되어 핵심 기능에 집중했습니다.
세 줄 요약
- 기존 `litellm`의 방대한 프록시, 캐싱, 비용 추적 등 부가 기능을 제거하고, 모델 라우팅, 메시지 변환, 스트리밍 등 순수 핵심 호출 경로만 추출했습니다.
- 복잡성을 줄여 개발자가 모델 호출의 핵심 로직에만 집중할 수 있게 했으며, 기존 `litellm` 사용자도 코드 수정이 최소화되는 효율성이 장점입니다.
- 다만, 라우터, 프록시 서버, 토큰 카운팅, 복잡한 에이전트 워크플로우 등 일부 고급 기능은 `litellm` 대비 지원하지 않으니 사용 시 유의해야 합니다.
호출 라우팅 및 메시지 변환 기능을 제공하는 `litellm`의 경량화 버전인 `litelm`이 공개되었습니다. 기존 `litellm`은 프록시 서버, 캐싱 레이어, 비용 추적 등 10만 줄 이상의 방대한 기능으로 구성되어 있었으나, `litelm`은 모델 라우팅, 메시지 변환, 스트리밍, 도구 사용(tool use), 생성 등 순수 핵심 호출 경로만을 추출하여 복잡성을 낮췄습니다.
이 라이브러리는 모델 라우팅을 "provider/model-name" 구문으로 처리하며, 오픈AI 호환 엔드포인트는 `api_base`를 통해 연결할 수 있습니다. 또한, 기존 `litellm`과 동일한 함수 이름 및 인수를 유지하여 사용자가 코드 수정 없이 전환하기 용이합니다. 다만, 로더, 프록시 서버, 캐싱/예산 추적, 카운팅 등 일부 고급 기능은 지원하지 않는다는 점을 유의해야 합니다.
사용자는 `pip install litelm` 명령어로 라이브러리를 설치할 수 있으며, 기본 완료(completion), 스트리밍 처리, 임베딩 생성 등의 핵심 기능을 제공합니다. 모든 주요 함수는 `acompletion`, `aembedding` 등 비동기(async) 변형 함수도 지원하여 다양한 환경에서 활용이 가능합니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.