개발도구 도구공식 자료어제 발표
최신 AI 모델을 위한 트랜스포머 라이브러리 소개
huggingface/transformers
GitHubHugging Face Transformers는 텍스트, 비전, 오디오 등 다양한 모달리티의 최신 AI 모델을 위한 통합 정의 및 추론 프레임워크입니다.
세 줄 요약
- 모델 정의를 중앙화하여 PyTorch, JAX 같은 학습 환경과 vLLM 등의 추론 엔진에 걸쳐 높은 호환성을 제공하는 핵심 역할을 합니다.
- 고수준의 Pipeline API를 통해 텍스트 생성부터 이미지 분류까지 다양한 작업을 쉽게 수행할 수 있으며, 방대한 모델 허브가 지원됩니다.
- 다만, 이 라이브러리는 모듈형 빌딩 블록 도구 상자가 아니므로, 범용적인 머신러닝 루프에는 Accelerate 같은 전문 라이브러리 사용이 권장됩니다.
Transformers는 텍스트, 컴퓨터 비전, 오디오, 영상 및 모델에 이르기까지 최첨단 머신러닝을 위한 모델 정의 프레임워크 역할을 합니다. 이 라이브러리는 모델 정의를 중앙화하여 생태계 전반에서 통일된 기준을 제공하며, PyTorch-Lightning, vLLM 등 다양한 학습/추론 프레임워크와 호환성을 유지합니다.
사용자는 Hugging Face Hub에서 1백만 개 이상의 모델 체크포인트를 활용할 수 있습니다. 특히 고수준의 Pipeline 를 통해 텍스트 생성, 이미지 분류, 자동 음성 인식(ASR) 등 다양한 모달리티와 작업을 쉽게 처리할 수 있도록 지원합니다.
이 라이브러리는 Python 3.10 이상과 PyTorch 2.5 이상 환경에서 사용 가능합니다. 다만, Transformers는 신경망 빌딩 블록의 모듈형 도구 상자가 아니므로, 범용적인 머신러닝 루프를 구현할 때는 Accelerate와 같은 전문 라이브러리를 사용하는 것이 권장됩니다.
용어 풀이
- 멀티모달
- 글뿐 아니라 이미지·음성·영상처럼 여러 형태의 입력을 함께 다루는 것.
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
