모델 도구
브라우저에서 소형 LLM 성능을 측정하는 실험실 공개
MicroLLM Lab – Try 7 tiny LLM's in the browser
Hacker News브라우저 환경에서 소형 언어 모델(LLM)의 성능을 객관적으로 측정할 수 있는 실험실이 공개되었습니다. 이 도구는 글쓰기 품질보다는 정규식이나 토큰 매칭 같은 명확한 기준에 초점을 맞춥니다.
세 줄 요약
- 모델별 평균 토큰 생성 속도와 객관적 테스트 통과율 등 핵심 성능 지표를 확인할 수 있습니다. 특히 장치 사양까지 포함된 검증 가능한 성능 인증서 발급이 가능합니다.
- 개발자들은 고성능 서버 없이도 다양한 소형 모델의 실제 성능을 비교하고 검증할 수 있습니다. 특정 환경에서의 효율성을 객관적으로 파악하는 데 큰 도움이 됩니다.
- 단순 테스트 외에도 사용자가 직접 자바스크립트를 이용해 벤치마크를 구축할 수 있는 기능이 제공됩니다. 이는 측정의 유연성과 깊이를 더하는 핵심 기술입니다.
이 실험실은 브라우저 환경에서 소형 언어 모델()의 성능을 객관적으로 측정할 수 있도록 설계되었습니다. 테스트는 글쓰기 품질보다는 정규식이나 정확한 매칭 같은 명확한 기준에 초점을 맞추며, 135M 모델과 같이 실패하는 경우 역시 중요한 측정 지표로 활용됩니다.
사용자는 이 브라우저에서 실행된 테스트를 통해 모델별 속도(tokens/s, 지속적인 디코드, 전체 테스트 시간)와 객관적 테스트 통과율 같은 핵심 성능 지표를 확인할 수 있습니다. 모든 수치는 해당 기기에 유지되며, 차트는 각 모델의 최신 테스트 결과를 기반으로 합니다.
이 도구는 사용자가 자신의 장치 하드웨어 정보, 최대 및 지속 토큰/초를 포함하는 검증 가능한 성능 인증서를 생성하고 다운로드할 수 있게 합니다. 또한 사용자는 JavaScript를 이용해 직접 를 작성하여 측정의 깊이와 유연성을 더할 수 있습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.