모델 뉴스
LG AI Research taps FuriosaAI to achieve 2.25x better LLM inference performance vs. GPUs
FUFuriosaAI
LG AI Research가 기존 GPU의 높은 전력 소비와 비용 문제를 해결하고자 FuriosaAI의 RNGD 가속기를 도입, LLM 서비스 테스트 및 상용화에 성공했습니다.
세 줄 요약
- RNGD는 LLM 추론에서 전력당 성능을 기존 GPU 대비 2.25배 높였으며, 동일 전력 제약 내에서도 토큰 생성량이 최대 3.75배 증가하는 등 높은 컴퓨팅 밀도를 입증했습니다.
- 이는 고성능 AI 인프라 구축의 경제적 패러다임을 전환하며, 기업들이 대규모 LLM 서비스를 전력 효율성과 비용 측면에서 지속 가능하게 운영할 기반을 마련했다는 의미입니다.
- 초기에는 LG 내부 사업 부문에 적용되었으며, 향후 ChatEXAONE 등 에이전트 AI 기능을 외부 고객에게 확장 제공하며 시장 영역을 넓혀갈 계획입니다.
LG AI Research가 기존 GPU의 높은 전력 소비와 비용 문제를 해결하고자 FuriosaAI의 RNGD 가속기를 도입, LLM 서비스 테스트 및 상용화에 성공했습니다.