Spark-X2.5: 100만 토큰 지원하는 고효율 LLM 공개
XHToken/Spark-X2.5-4B
Hugging FaceXHToken이 효율성과 범용성을 결합한 언어 모델 Spark-X2.5(4B, 1.7B)를 공개했습니다. 이 모델은 대화, 코딩, 추론 등 광범위한 일상 작업을 처리할 수 있는 고성능 AI 솔루션입니다.
- 하이브리드 어텐션 구조를 채택하여 최대 100만 토큰의 긴 컨텍스트를 지원하면서도 계산 오버헤드를 최소화했습니다. 특히 에이전트 워크플로우와 코딩 능력에서 뛰어난 성능을 보여줍니다.
- 모델 크기 대비 높은 효율성과 범용성을 갖추어 실제 서비스 환경에 적용하기 용이합니다. vLLM, llama.cpp 등 다양한 프레임워크 및 하드웨어 호환성이 강점입니다.
- 20조 토큰의 방대한 데이터로 학습되었으며, 최적화된 성능을 활용하려면 사용하려는 플랫폼(NVIDIA, Huawei Ascend 등)과의 하드웨어/소프트웨어 호환성을 반드시 확인해야 합니다.
Spark-X2.5-4B와 Spark-X2.5-1.7B는 대화, 글쓰기, 번역, 코딩, 추론 및 워크플로우 등 광범위한 일상 작업을 처리하도록 설계된 범용 언어 모델입니다. 이 모델들은 중 동급 크기의 모델 대비 높은 성능을 보여주며, 효율성과 실용성을 결합하여 AI의 접근성을 높이는 것을 목표로 합니다.
기술적으로 Spark-X2.5는 하이브리드 어텐션 구조를 채택했습니다. 이는 하나의 완전 어텐션 레이어와 세 개의 슬라이딩 윈도우 어텐션 레이어를 결합한 방식으로, 긴 컨텍스트 모델에서 발생하는 계산 오버헤드를 크게 줄이면서 최대 1M 의 을 네이티브로 지원합니다. 이 구조는 성능과 추론 효율성 사이의 균형을 개선하여 실제 배포 환경에서의 실용성을 높입니다.
모델은 웹 페이지, 책, 학술 자료, 코드 등 다양한 출처에서 수집된 약 20조 토큰 규모의 방대한 코퍼스로 사전 학습되었습니다. 특히 긴 컨텍스트 능력은 수천억 개의 토큰을 포함하는 전용 훈련 단계를 거쳤습니다. 또한 NVIDIA, Huawei Ascend 클러스터와 같은 광범위한 하드웨어 플랫폼과 vLLM, llama.cpp 등 다양한 추론 프레임워크에서 배포가 가능합니다.
모델의 성능은 에이전트, 코드, 수학 등 여러 영역에 걸쳐 평가되었으며, 제공된 표를 통해 Spark-X2.5-4B와 Spark-X2.5-1.7B가 BFCL-V4(Agent), SWE-Bench Pro(Code), Gaokao 2026(Math) 등 주요 경쟁 모델들과 비교되는 구체적인 점수를 확인할 수 있습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 오픈 소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 컨텍스트 창
- 모델이 한 번에 읽고 참고할 수 있는 입력의 최대 길이. 보통 토큰 수로 나타내요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.