오픈AI가 LLM으로 설계한 AI 가속 칩 'Jalapeño' 공개
How OpenAI Used Its Own LLMs to Design Its Jalapeño Chip
IEEE Spectrum AI오픈AI가 자체 AI 가속 칩 'Jalapeño'를 공개하며, 이 칩의 개발 과정 자체가 대규모 언어 모델(LLM)을 활용한 혁신적인 설계 사례임을 강조했습니다.
- LLM을 설계 워크플로우에 통합하여 칩 개념부터 실리콘 구현까지 걸리는 시간을 20개월 미만으로 단축하며 반도체 디자인 공정의 속도를 근본적으로 변화시켰습니다.
- AI가 하드웨어 설계 과정에 깊숙이 개입하는 것은 기술 개발 주기를 혁신할 잠재력을 의미하며, 향후 모든 첨단 산업 제품 출시 속도를 가속화할 전망입니다.
- 다만, 이 성과는 내부 모델과 파트너십을 기반으로 했으며, AI는 엔지니어의 작업을 보조하는 역할로 최종 판단은 인간 전문가가 담당합니다.
오픈AI는 자체 개발한 AI 가속 칩인 'Jalapeño'를 전격 공개했습니다. 이 칩은 최대 13.4 petaflops의 4비트 컴퓨팅 성능을 제공하며, 232 기가바이트에 달하는 최첨단 메모리에 접근하고 이를 초당 15.4 테라바이트로 연결할 수 있습니다. 오픈AI는 Jalapeño가 현재 사용 중인 Nvidia GB300 대비 엔드투엔드 지연 시간(부터 마지막 까지)을 최대 3.6배까지 줄일 수 있다고 밝혔습니다.
Jalapeño의 개발 과정은 (LLM)에 의해 가속화된 것이 핵심입니다. 이 칩은 첫 아키텍처 개념 단계에서 실리콘 구현까지 20개월이 채 걸리지 않았으며, 특히 RTL 코드 작성부터 최종 제조(tape-out)까지는 단 9개월 만에 완료되었습니다. 전문가들은 LLM의 언어 및 코드를 이해하는 능력이 반도체 설계 작업 중 '언어적 영역'에 있는 과제들을 처리하는 데 매우 적합하다고 분석했습니다.
오픈AI 팀은 Accelerated Hardware Synthesis(XLS)라는 고수준 합성 체인을 활용하여 프론트엔드 워크플로우를 구축했습니다. XLS는 DSLX나 C++ 같은 언어로 작성된 코드를 하드웨어 기술 언어인 Verilog로 변환할 수 있게 합니다. 또한, 내부 AI 모델을 사용하여 소프트웨어를 최적화한 결과, 특정 성능이 이론적 최대치의 0.31%에서 약 88.94%까지 향상되는 성과를 거두었습니다.
용어 풀이
- 프롬프트
- AI에게 주는 지시나 질문 글.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 오픈 소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.