압축 프로그램 gzip을 활용한 언어 모델링 원리

언어 모델링은 신경망 없이도 압축 알고리즘을 통해 구현될 수 있다는 것이 핵심 전제입니다. 이는 '압축-예측 등가성'에 기반하며, 모든 예측 모델이 본질적으로 압축기 역할을 하고, 모든 압축 알고리즘이 예측 모델이라는 원리를 이용합니다. 실제로 `gzip`과 같은 운영체제 기본 압축기를 사용하여 코퍼스로 초기화하고 일반 텍스트 프롬프트를 입력하면, 가장 잘 압축되는 바이트 시퀀스를 찾아 다음 내용을 이어 생성하는 것이 가능함을 보여줍니다.

이러한 작동 원리는 정보 이론에 근거합니다. 어떤 문맥에서 후보 단어의 압축률을 측정하여 예측 점수를 산출하는데, 이 점수는 `score(candidate) = len(gzip(context + candidate))`와 같이 계산됩니다. 즉, 생성된 텍스트가 기존 코퍼스나 프롬프트 내용과 유사할수록 압축 길이가 짧아지며, 이는 해당 후보가 확률적으로 더 '예측 가능'하다는 것을 의미합니다.

단순히 가장 잘 압축되는 다음 바이트 하나를 선택하는 방식은 오류가 크기 때문에, 실제로는 비트 검색(beam search)을 통해 전체 바이트 시퀀스를 미리 탐색해야 합니다. 이 과정에서 초기 코퍼스 창과 프롬프트/생성된 텍스트의 최근 부분이 문맥으로 제공되며, 가장 압축률이 높은 여러 개의 부분적 연속 후보군을 유지하며 점수를 매기고 최종적으로 다음 내용을 확정합니다.

다만, `gzip`은 DEFLATE 알고리즘을 사용하기 때문에 오직 마지막 '꼬리(tail)' 바이트만이 스코어링 문맥에 남아있게 됩니다. 이로 인해 압축기가 가까운 일치(match)를 선호하는 특성상, 모델이 자신이 방금 출력했던 내용을 반복적으로 재사용하는 문자 그대로의 루프(verbatim loops)에 빠지기 쉽다는 한계가 있습니다.