YC 가리 탄 CEO, 미국 오픈소스 AI 연구소의 '지식 증류' 자유화 주장
Y Combinator’s Garry Tan wants US open-weight AI labs to ‘distill’ frontier models, too
TechCrunch AIY Combinator의 가리 탄 CEO는 미국 오픈 소스 AI 연구소들이 최첨단 모델로부터 지식을 추출하는 '증류(distillation)' 기술을 자유롭게 사용해야 한다고 주장했습니다.
- 그는 광범위한 공공 데이터로 학습된 정보 접근성은 서비스 약관 뒤에 갇히기보다 공공재여야 하며, 이는 과도한 규제라고 강조했습니다.
- 탄은 소수 거대 기업이 AI 시장을 독점하는 '디스토피아 시나리오'를 막고, 개방적인 생태계를 유지하여 지식 접근권을 보장하려는 목적입니다.
- 다만, 그는 도난이나 불법적 자격의 데이터 추출은 반대하며, 오픈 모델과 최첨단 모델 간 균형 있는 발전이 중요하다고 전제했습니다.
Y Combinator의 가리 탄 CEO는 미국의 오픈-() AI 연구소들이 최첨단 모델(frontier models)로부터 지식을 추출하는 '증류()' 기술을 자유롭게 사용해야 한다고 주장했다. 그는 미국 내에서도 이러한 형태의 증류 체제가 필요하다고 언급하며, 이는 소규모 미국 오픈-가중치 AI 연구소들이 미국의 최첨단 AI 연구소와 동일한 훈련 기법을 사용하여 미국에 더 강력하고 개방적인 옵션을 제공할 수 있도록 하려는 목적이다.
탄은 증류 기술이 모델 제작자가 다른 모델의 작동 방식과 추론 과정을 학습하기 위해 를 광범위하게 사용하는 과정이라고 설명했다. 그는 또한, AI 연구소들이 자신들의 모델을 훈련시키기 위해 방대한 양의 인간 지식을 흡수하는 과정에서 발생하는 권한 문제를 제기하며, 독점적 AI 연구소들 역시 저작권자의 허가 없이 많은 저작물을 수집하여 모델 학습에 사용했다고 지적했다.
그는 광범위하게 공개된 데이터로 훈련된 정보 접근성은 제한적인 서비스 약관 뒤에 가두어지기보다 공공재(public good)의 성격을 가져야 한다고 강조했다. 나아가, AI 기술의 막대한 힘이 단일하고 거대하며 독점적인 제공업체에게 집중되는 '디스토피아 시나리오'를 경계하며, 오픈-가중치 AI 연구소와 최첨단 연구소 간의 균형 있는 발전이 중요하다고 역설했다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- open-weight
- 학습된 가중치를 공개해 누구나 내려받아 쓸 수 있게 한 모델. 학습 데이터까지 공개한다는 뜻은 아니에요.
- distillation
- 큰 모델의 답을 작은 모델이 따라 배우게 해서 가볍고 빠른 모델을 만드는 방법.
- 프롬프트
- AI에게 주는 지시나 질문 글.