모델 연구
Names Can Hurt: Spotting Slopsquatting Risks Caused by Package Name Hallucinations in Local Coding LLMs
ARarXiv
코딩 LLM이 패키지 이름을 잘못 생성하여 발생하는 공급망 위협인 슬롭스쿼팅을 막기 위한 2계층 감지기를 제안했다.
세 줄 요약
- 제시된 감지기는 결정론적 PyPI 존재 확인과 패키지 이름 및 메타데이터 기반의 Random Forest 분류기 두 층으로 구성된다. 이 파이프라인은 300개 프롬프트 중 76%에서 환각이 없는 코드를 생성했다.
- LangGraph 상태 기계에 내장된 감지기는 단계적 온도 재시도와 더 강력한 대체 모델로 실패를 복구한다. 사용자 연구(n=24)에서는 평균 만족도가 5점 만점에 4.4점을 기록했다.
- 모델의 주(primary)와 대체(fallback)가 같은 계열일 경우, 약 84%의 실패 사례가 대체 모델에서도 재발하는 경향이 있다. 또한 환각률은 프롬프트의 적대성 증가에 따라 거의 선형적으로 커진다.
코딩 LLM이 패키지 이름을 잘못 생성하여 발생하는 공급망 위협인 슬롭스쿼팅을 막기 위한 2계층 감지기를 제안했다.