인프라 연구
오픈 가중치 모델 수요가 GPU 세대의 경제적 수명을 연장한다
The Economics of Open-Weight Inference
Hacker News오픈 가중치(open-weight) 모델 수요가 증가하면서, 기존 GPU 세대도 여전히 높은 경제적 효용성을 유지하고 있음이 밝혀졌습니다.
세 줄 요약
- 특히 자가 구축 환경에서는 특정 워크로드의 경우 신형보다 구형 GPU가 더 낮은 비용으로 우수한 성능을 제공하는 사례가 확인되었습니다.
- 장시간 에이전트 실행이나 배치 평가 같은 지연 시간에 덜 민감한 작업은 하드웨어에 구애받지 않고 가장 효율적인 자원을 선택할 수 있습니다.
- 다만, 오픈 모델의 비용 우위는 모든 경우에 해당하지 않으며, 제시된 결과는 특정 테스트 및 시장 데이터를 기반으로 합니다.
연구에 따르면 오픈 () 모델의 수요는 기존 세대가 예상보다 긴 경제적 효용성을 유지하는 데 기여한다는 분석이 제시되었다. 폐쇄형 모델 사용료가 제공업체에 의해 재설정될 수 있는 반면, 가장 저렴한 오픈 가중치 모델은 비교 가능한 폐쇄형 모델 대비 작업 수행 비용이 약 5분의 1 수준이다. 또한 자가 호스팅 환경에서 컴퓨팅 전용 비용은 출력 당 $0.12에서 $0.35 사이로 책정되었다.
장시간 실행, 배치 평가, 과 같은 컴퓨팅 집약적 워크로드는 지연 시간에 덜 민감하며 하드웨어에 구애받지 않는 특성을 가진다. 이 때문에 비용 효율적인 모든 하드웨어로 수요가 분산될 수 있다. 실제로 특정 모델(gpt-oss-120b)의 경우, A100이 H100보다 저렴한 출력 비용을 기록하는 사례도 확인되었다.
시장 데이터 분석에 따르면, 일부 GPU 세대는 오랜 기간 동안 높은 가치 유지율을 보인다. 예를 들어 A100은 5년 만기 계약 가격이 월 단위 가격의 80.2%를 유지하는 반면, Hopper나 Blackwell 계열은 그 비율이 더 낮게 나타났다. 이는 신규 하드웨어가 이전 세대를 경제적으로 완전히 대체하지 않으며, 적합한 워크로드를 제공한다면 구형 GPU도 장기간 수익을 창출할 수 있음을 시사한다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- open-weight
- 학습된 가중치를 공개해 누구나 내려받아 쓸 수 있게 한 모델. 학습 데이터까지 공개한다는 뜻은 아니에요.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 강화 학습
- 행동의 결과에 보상을 주면서 더 나은 행동을 익히게 하는 학습 방법.