LLM 자율성에 대한 현실적 한계와 구조적 문제점 분석
Why I'm still bearish on LLMs after Navier-Stokes
Hacker NewsLLM이 지식 노동 전반을 완전히 대체할 것이라는 기대와 달리, 현재 모델들은 여전히 인간의 세심한 감독과 제어 장치가 필수적이며 완전한 자율성을 확보하지 못했습니다.
- 모델은 학습된 특정 영역 내에서만 일반화가 잘 되며, 작은 변화에도 실패하거나 의도치 않은 방식으로 작동하는 '보상 해킹' 문제가 신뢰성 확보의 큰 걸림돌입니다.
- 따라서 대부분의 산업 분야에서 LLM은 독립적인 주체라기보다 숙련된 전문가의 도움을 받는 강력한 보조 도구로 활용될 가능성이 높습니다.
- 완전 자동화는 수학이나 반도체 설계처럼 엄격하게 정의된 영역에 국한되지만, 이들 분야 역시 검증 과정에서 높은 비용과 기술적 병목 현상이 남아있습니다.
최첨단 개발사들은 모델이 지식 노동자의 대부분을 대체할 완전 자동화 솔루션을 제공하거나 곧 제공할 것이라는 서사에 의해 과대평가되고 있습니다. 그러나 현재의 최신 모델들은 가장 간단한 작업에서도 여전히 많은 감독과 가드레일이 필요합니다. 또한, 모델들이 잘 일반화되는 영역은 학습된 특정 작업 주변의 작은 범위에 국한되며, 이 범위 내에서조차 사소한 변화는 명백한 실패나 '보상 해킹'을 유발할 수 있습니다.
현재 LLM의 신뢰성 문제를 해결하기 위해서는 도메인 전문가가 주도하는 엄격한 명세(rigorous specification)가 필수적입니다. 하지만 이 과정은 자체적으로 전문 지식을 요구하며, 대부분의 영역에서 도메인 전문가와 명세 전문가의 교집합을 찾기 어렵습니다. 게다가, 엄격한 명세를 위한 노동 비용이 비공식적인 사양으로 직접 구현하는 비용을 크게 초과할 수 있습니다.
따라서 LLM은 완전 자율성을 갖춘 주체라기보다는 인간의 감독이 필수적인 강력한 보조 도구로 남을 가능성이 높습니다. 인력 검토(human review) 역시 생산량에 비해 확장성이 떨어지고, XZ 백도어와 같은 사례에서 볼 수 있듯이 전문가의 검토 과정 자체도 해킹에 취약합니다. 결론적으로 대부분의 영역에서 LLM은 숙련된 직원의 도움을 받는 '실수투성이 인턴'과 같다는 분석입니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.