Periscope: 컨텍스트 창을 넘어선 언어 모델 확장 기술
Periscope: Extending Frozen Language Models Beyond Their Context Window
긴 문서를 처리할 때 발생하는 대규모 언어 모델(LLM)의 정확도 저하 문제를 해결하는 새로운 추론 기법 'Periscope'가 개발되었습니다.
Periscope는 긴 문서를 처리할 때 발생하는 대규모 언어 모델의 정확도 저하 문제를 해결하여, 메모리 부담 없이 방대한 양의 문서 분석을 가능하게 해요.
- 이 방법은 전체 텍스트를 한 번에 읽는 대신, 텍스트 청크들을 격자 형태로 배치하고 샘플링된 영역을 분석하여 핵심 정보를 담은 '증거 지도'를 생성합니다.
- 메모리 요구량을 혁신적으로 줄여, 기존 모델이 처리하기 어려웠던 수백만 토큰 규모의 방대한 문서를 높은 정확도로 분석할 수 있게 합니다.
- Periscope는 모델 재훈련 없이 추론 단계에서 작동하며, 샘플링 기반으로 효율성을 극대화하여 장문 이해 능력을 획기적으로 개선한 것이 핵심입니다.
(LLM)은 긴 텍스트를 처리할 때 정확도가 떨어지는 문제가 있습니다. Periscope는 이러한 문제를 해결하기 위해 개발된 학습 과정이 필요 없는 추론 기법입니다. 이 방법은 전체 텍스트를 한 번에 읽지 않고, 텍스트의 청크들을 $K \times K$ 격자 형태로 배치한 후 샘플링된 영역을 분석하여 핵심 정보를 담은 '증거 지도(evidence map)'를 생성합니다.
Periscope는 고정된 모델에게 텍스트의 $N$개 청크에 대해 $K$개의 지역적 스팬과 $K$개의 간격 스팬에 대한 질문을 던집니다. 각 답변은 해당 위치의 최적 지역 및 간격 점수를 취합하여 모든 청크를 평가하는 증거 지도를 만듭니다. 이 지도는 기존의 긴 텍스트 읽기 과정을 대체하며, 비용 없이도 어느 청크가 특정 답변의 근거가 되는지 파악할 수 있게 합니다.
이 기술은 성능과 효율성 면에서 큰 개선을 보였습니다. LongBench v2 테스트에서는 Periscope가 생성한 지도가 9k 규모에서 32k부터 1M 토큰까지의 최적 창(window) 읽기와 동일한 결과를 보여주었습니다. 또한, 메모리 요구량 측면에서도 혁신적인데, 27B 모델이 단일 패스로는 필요한 296GB 캐시 대신 80GB 에서 4.5M 토큰 규모의 컨텍스트를 처리할 수 있게 합니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.
이 기술의 가장 큰 장점은 무엇인가요?
메모리 요구량을 혁신적으로 줄여준 것이 핵심이에요. 예를 들어, 기존에는 단일 패스로 처리하기 어려웠던 수백만 토큰 규모의 컨텍스트를 메모리 부담을 크게 낮추면서도 높은 정확도로 분석할 수 있게 해줘요.