크로스 도메인 PCB 검사: 과제별 보상을 적용한 비전 QA 모델
Beyond Exact Match: Task-Aware GRPO for Cross-Domain PCBA Visual Question Answering
arXiv자동화된 PCB 검사에서 발생하는 도메인 격차와 선택/계수 등 복합적인 출력을 처리하기 위한 다중 모드 추론 프레임워크를 제시했습니다.
- 단순 정답 매칭을 넘어선 '태스크 인식 GRPO'를 도입하여, 질문 유형별 맞춤 보상 체계를 구축한 것이 핵심 기술입니다.
- 추론 과정의 논리적 일관성과 견고성을 확보함으로써, 실제 산업 현장의 검사 자동화 시스템에 높은 신뢰도를 제공합니다.
- 표준 데이터와 실물 데이터를 결합하는 '크로스 도메인' 환경에 초점을 맞췄으며, 공식 챌린지에서 우수한 성능을 입증했습니다.
자동화된 인쇄 회로 기판 조립(PCBA) 검사에서는 미세한 시각적 단서, 부품의 의미론, 그리고 제조 지식을 종합적으로 추론하는 것이 필요합니다. 대규모 비전-언어 모델()이 유망하지만, 표준 기반 샘플과 실제 생산 라인 이미지 간의 도메인 변화가 발생하며, 선택형 질문이나 수치 계수와 같은 이질적인 출력 공간을 처리하는 데 어려움이 있습니다.
이를 해결하기 위해 다중 모드 추론 프레임워크를 제안하며, 표준 기반, 실제 환경, 보조 PCB 도메인 데이터를 통합된 지침 형식으로 변환합니다. 특히 '태스크 인식 그룹 상대 정책 최적화(Task-Aware GRPO)'를 도입하여 단순 정답 일치 감독을 넘어섰습니다. 이 방법은 선택형 질문에 대해 다중 구성 요소 의미 보상을, 계수 질문에 대해서는 거리 인지 보상을 통합하는 등 질문 유형별 맞춤형 보상 체계를 구축했습니다.
추론 과정의 예측 견고성을 높이기 위해 답변 옵션 의미 일관성 교정, 자체 일관성 투표, 다중 모델 중재를 결합하여 사용합니다. 제안된 시스템은 공식 PCBA 표준-실제 그랜드 챌린지 리더보드에서 전체 점수(Overall Score) 83.24점을 달성하며, 과제 인식 보상 설계와 견고한 추론이 크로스 도메인 PCB 시각 질의응답에 효과적임을 입증했습니다.
용어 풀이
- VLM
- 이미지와 글을 함께 이해하는 모델.