산업 구매 특화 LLM, 실패 기반 학습으로 전문성 강화
IndustryLLM: Failure-Driven LLM Training for Industrial Procurement
arXiv산업 구매 분야의 복잡성을 해결하기 위해, 기술 표준과 현장 용어를 통합 학습한 대규모 언어 모델(IndustryLLM)이 개발되었습니다.
- 단순 데이터 확장이 아닌, 오류를 목표로 하는 독특한 '실패 기반 적응 방식'을 적용하여 산업 전문 지식의 정확도를 극대화했습니다.
- 실제 테스트 결과, 구매 질의 구조화 정확도가 높아졌으며, 매출 증대 및 문의 만족도 개선 등 실질적인 비즈니스 성과를 입증했습니다.
- 모델 활용 시에는 제품 증거가 검증되지 않은 정보는 '알 수 없음'으로 처리하는 등 엄격한 '증거 기반 제약 평가' 인터페이스 구현이 필수적입니다.
본 연구는 산업 조달 분야의 복잡성을 해결하기 위해 IndustryLLM이라는 오픈 언어 모델을 개발했습니다. 이 모델은 Qwen3.5-35B-A3B-Base를 기반으로 하며, 일반적인 텍스트 스케일링 대신 '실패 기반 적응 방식'을 적용하여 학습되었습니다. 구체적으로는 국가 표준(예: GB/T)이 포함된 약 100B 규모의 코퍼스를 활용한 지속적 사전 학습(CPT)과 지도 (SFT) 과정을 거쳤습니다.
도메인 특화 지식의 정확도를 높이기 위해, 연구진은 다중 레지스터 재작성, 신뢰도 기반 최소 사실 편집, 오류 목표 QA 합성 등을 통해 약 20B 토큰 규모의 도메인 하위 집합을 체계적으로 재구성했습니다. 이를 통해 '42-luo-mu'와 같은 구어체 오타를 '42CrMo'로 수정하거나 모호한 코드('16674')를 표준 형식(GB/T 16674)으로 명확히 하는 등 전문 용어의 오류를 해결했습니다.
실제 배포 환경에서는 제품 증거가 검증되지 않은 정보는 '알 수 없음'으로 처리하는 삼치 논리 기반의 증거 게이트 제약 평가 인터페이스 구현이 필수적입니다. 오프라인 평가 결과, 조달 질의 구조화 정확도가 향상되었으며(+2.97% 일치 항목), 실제 온라인 A/B 테스트에서는 GMV가 +4.25%, 문의 만족도가 +8.3% 개선되는 등 실질적인 성과를 입증했습니다. 또한 지연 시간은 6~7초에서 1.5초로 단축되었습니다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.