LLM 생성 SVA의 코드 변형 강건성 평가 결과
Robustness of LLM-Generated SystemVerilog Assertions to Semantics-Preserving RTL Transformations
arXivLLM이 생성하는 하드웨어 검증 코드(SVA)의 신뢰성을 평가하기 위해, 코드가 다르게 작성되어도 의미가 유지되는 변형적 테스트를 수행했습니다.
- 테스트 결과, 원래 정확했던 동작이라도 연산자 순서 변경 등 미세한 코드 변형만으로 9.7%~27.0%가 오류로 바뀌는 심각한 불안정성이 발견되었습니다.
- 이는 LLM이 생성한 코드가 단순히 문법적으로 정확하다는 것만으로는 실제 하드웨어 검증에 사용되기 어렵다는 것을 의미합니다.
- 따라서 AI 기반 하드웨어 검증 도구의 신뢰성을 평가할 때는 코드 변형에 따른 동작 유지 여부를 측정하는 '강건성 지표'가 필수적으로 요구됩니다.
(LLMs)이 시스템베릴로그 어설션(SVA) 생성을 자동화하는 데 활용되지만, 기존 평가는 단일 구문 표현에서의 정확도만을 보고했습니다. 본 연구는 이러한 한계를 극복하기 위해 의미를 보존하는 RTL 변환을 적용하여 LLM 기반 SVA 생성에 대한 통제된 변형적 평가를 수행했습니다.
연구진은 VERT 데이터셋을 기반으로 조건부 제어 풀과 295개의 할당 동작을 포함하는 계층화된 평가 세트를 구성하고, Qwen2.5-Coder-7B와 DeepSeek-Coder-V2-Lite 두 모델을 비교했습니다. 연산자 재배열, 결정론적 식별자 이름 변경, 중복 괄호화 등 세 가지 변환 조건에서 성능이 측정되었습니다.
평가 결과에 따르면, 단순히 집계된 정확도만으로는 상당한 불안정성을 가릴 수 있습니다. 예를 들어, 식별자 이름 변경 조건에서 DeepSeek-Coder-V2-Lite는 정확도가 53.9%에서 63.7%로 개선되었음에도 불구하고, 원래 올바른 동작 중 19.5%가 실패하는 사례가 발견되었습니다. 이러한 오류에는 경로 술어 누락이나 부울 구조 손상 등이 포함되어, LLM의 신뢰성 평가를 위해서는 강건성(robustness)을 고려한 평가가 필수적임을 보여줍니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.