리서치 연구
8GB VRAM에서 작동하는 지속 학습형 미니-AGI 모델
Show HN: Mini-AGI – Dynamic continual learning model trained on 8GB VRAM
Hacker NewsMini-AGI는 8GB VRAM 등 제한된 소비자급 하드웨어에서도 작동하는 지속 학습(Continual Learning) 언어 모델입니다.
세 줄 요약
- 기존 LLM과 달리, 이 모델은 지식을 디스크에 저장하고 읽을 때마다 스스로 학습하여 '망각' 없이 무한히 진화할 수 있습니다.
- 고성능 자원에 의존하지 않고도 개인의 데이터와 하드웨어로 자신만의 AI를 훈련 및 발전시킬 수 있다는 점에서 큰 의미가 있습니다.
- 현재는 실험 단계 모델이며, 성능은 사용 가능한 하드웨어 사양과 학습 데이터의 질에 의해 결정됩니다.
mini-는 자체 아키텍처를 조립하고 단일 8GB VRAM 환경에서 처음부터 훈련할 수 있는 지속 학습(continual learning) 바이트 레벨 언어 모델입니다. 이 모델은 읽는 모든 데이터로부터 계속해서 학습하며, 를 디스크 파일로 저장하여 수가 VRAM 용량보다는 여유 디스크 공간에 의해 제한되도록 설계되었습니다.
이 아키텍처의 특징 중 하나는 별도의 (fine-tuning) 단계나 고정된 기반 모델 없이 읽기와 훈련 과정이 동일하다는 점입니다. 즉, 사용자가 자신의 하드웨어와 데이터로 직접 훈련하고 지속적으로 학습시킬 수 있어, 개인화되고 끊임없이 진화하는 AI를 구축할 수 있습니다.
모델은 연속적인 학습 환경에서 발생하는 지식 망각(catastrophic forgetting) 문제를 해결하기 위해 '트렁크 학습률' 메커니즘을 사용합니다. 이 메커니즘은 모든 문자가 통과하는 공통 경로에 적용되어, 단일 주제의 대규모 텍스트를 읽더라도 이전 지식을 높은 비율로 유지할 수 있음을 실험적으로 입증했습니다.
용어 풀이
- AGI
- 사람처럼 거의 모든 지적 작업을 해낼 수 있는 수준의 AI. 아직 합의된 정의는 없어요.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.