메가커널 기반 LLM 서빙 엔진, H100에서 1.58배 성능 향상
Inside the megakernel serving engine for North Mini Code A technical deep dive into how Cohere’s approach to megakernels delivers 1.58x faster LLM serving on H100 devices Sep 08, 2026 22 min read
Cohere BlogLLM 추론 과정을 여러 개의 작은 커널로 나누지 않고, 하나의 지속적인 '메가커널' 형태로 구현하여 서빙 효율을 극대화한 새로운 엔진입니다.
- 기존 방식의 연산 간 발생하는 GPU 호출 및 동기화 오버헤드를 근본적으로 제거하고, 메모리 대역폭 사용에 초점을 맞춰 성능 병목 현상을 해결합니다.
- 이 엔진은 기존 대비 최대 1.58배 빠른 속도를 달성했으며, 특히 배치 크기가 작아 메모리 제약이 심한 환경에서 효율성이 극대화됩니다.
- 메가커널 구조는 연산 간 의존성을 하나의 파이프라인으로 통합하고 가중치 프리페칭을 가능하게 하는 고도화된 GPU 프로그래밍 기술입니다.
기존의 추론 서비스 스택은 순방향 패스(forward pass)를 QKV, 어텐션, 등 여러 개의 작은 커널로 나누어 처리합니다. 이 방식은 각 연산 간에 발생하는 대기 시간 때문에 가 계산보다는 기다리는 데 시간을 많이 사용하게 만들며, 특히 배치 크기가 작아 메모리 대역폭에 의해 성능이 제한되는 디코드 단계에서 병목 현상이 발생합니다.
메가커널은 이러한 문제를 해결하기 위해 전체 순방향 패스를 단일하고 지속적인 커널로 실행하는 방식입니다. 이는 연산 간의 호출 및 동기화 오버헤드를 줄이고, 작업 목록과 명시적 카운터를 사용하여 의존성을 관리합니다. 이 구조를 통해 프리페칭(Weight prefetch)이 가능해지며, GPU 자원을 더욱 효율적으로 활용할 수 있습니다.
Cohere가 개발한 North Mini Code는 메가커널을 기반으로 구축된 서빙 엔진으로, 배치 크기 1에서 vLLM 대비 1.58배 빠른 속도를 달성했습니다. 이 시스템은 연속 배치 처리(continuous batching), 페이지드 어텐션 등 실제 서버에 필요한 기능을 지원하며, 오픈AI와 호환되는 엔드포인트를 제공합니다.
이 메가커널 엔진의 모든 연산은 공통된 호출 규약(ABI)을 따르도록 설계되어, 다양한 작은 커널들을 하나의 큰 시스템으로 통합하는 것이 용이하게 합니다. 이로써 추론 과정 전체를 단일한 파이프라인처럼 관리할 수 있게 됩니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- MoE
- 여러 하위 모델 중 일부만 골라 계산하는 구조. 모델이 커도 실행 비용을 줄일 수 있어요.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.