탈중앙화 AI 모델 저장소 'Pirate Face' 소개
Pirate Face Rescues LLM Models from Deletion
Hacker NewsPirate Face는 오픈소스 AI 모델(LLM 등)을 중앙 집중식 플랫폼이 아닌, 전 세계 참여자가 공유하는 탈중앙화 토렌트 네트워크에 보관하여 접근성을 높인 인프라입니다.
- 모델은 피어 투 피어 방식으로 분산되어 저장되므로 단일 호스팅 플랫폼의 장애에도 모델이 유지되며, 모든 파일은 공식 SHA-256 해시값으로 위변조 여부를 검증합니다.
- 개발자는 특정 플랫폼에 의존하지 않고 모델의 지속적인 접근성과 안정성을 확보하여, 더욱 신뢰도 높은 AI 파이프라인을 구축할 수 있습니다.
- 현재는 모델 제출 시 허깅페이스에 먼저 업로드되어야 하며, 핸들 예약만으로는 소유권 증명이 제한적이므로 이용 전 이 점을 확인해야 합니다.
Pirate Face는 AI 모델(, 이미지 등)을 중앙 집중식 플랫폼이 아닌, 전 세계 참여자가 공유하는 탈중앙화 인프라로 보관합니다. 이 시스템은 허깅페이스의 모든 개방형 모델을 토렌트 형태로 미러링하여 피어-투-피어 방식으로 저장하며, 단일 호스팅 주체가 사라져도 스웜이 모델을 유지할 수 있도록 설계되었습니다.
모델 파일의 무결성을 보장하기 위해, 모든 파일은 공식 Hugging Face SHA-256 해시값을 지니고 있습니다. 사용자는 이 고유한 지문을 통해 파일을 다운로드하는 어느 곳에서든 해당 가 위변조되지 않은 실제 데이터임을 검증할 수 있습니다.
개발자는 기존의 AI 파이프라인을 Pirate Face를 향하도록 설정만 변경하면 되므로, 코드 수정 없이 모델에 접근할 수 있습니다. 예를 들어, 환경 변수(HF_ENDPOINT) 설정을 통해 기존 파이프라인이 허깅페이스에서 직접 다운로드하던 방식과 동일하게 작동하며, 단일 장애 지점 없이 모델을 이용할 수 있습니다.
현재 Pirate Face를 통해 모델을 제출하려면 해당 모델이 먼저 허깅페이스에 업로드되어 있어야 합니다. 따라서 사용자가 보유한 모델은 우선적으로 허깅페이스에 올린 후, 그 데이터를 Pirate Face에 제출하는 절차를 거쳐야 합니다.
용어 풀이
- 오픈소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.