리서치 연구
What Reaches Expert Review? Representation, Structural Screening, and Candidate-Form Dependence in AI-Assisted Item Development
ARarXiv
AI가 보조하는 문항 개발과 전문가 검토 사이의 계산적 평가자가 측정 설계에 중요한 역할을 한다고 밝힌다.
세 줄 요약
- 32,000개의 Big Five 항목을 추적한 연구에서, 포함적인 주요 형태는 40개 중 중앙값 6개만 공유하는 것으로 나타났다.
- 전반적인 요약이나 완성된 형태가 안정적으로 보여도, 실제 심리측정학자에게 도달하는 내용은 불안정할 수 있다.
- 계산적 평가자는 생성과 전문성 사이의 중립적인 인프라가 아니며, 검사 가능하고 수정 가능한 측정 설계의 일부이다.
AI가 보조하는 문항 개발과 전문가 검토 사이의 계산적 평가자가 측정 설계에 중요한 역할을 한다고 밝힌다.