지식 추적 모델에 따른 숙련도 임계값의 차이 연구
One Mastery Threshold Does Not Fit All Knowledge Tracing Models
튜터링 시스템에서 학생의 숙련도를 판단하는 '마스터리 임계값'은 어떤 지식 추적(KT) 모델을 사용하느냐에 따라 그 의미와 효과가 완전히 달라진다는 연구 결과입니다.
튜터링 시스템에서 학생의 숙련도를 판단하는 기준은 어떤 지식 추적 모델을 사용하느냐에 따라 그 의미와 결과가 완전히 달라지므로, 교육 설계 시 신중한 접근이 필요해요.
- 연구는 베이즈 지식 추적(BKT)과 신경망 기반 모델 등을 비교하며, 동일한 수치적 기준이라도 모델마다 숙련도의 정의 자체가 다르며 최적의 임계값 역시 크게 변동함을 입증했습니다.
- 따라서 교육 시스템을 설계할 때는 단순히 하나의 기준으로 삼기보다, 사용된 KT 모델의 특성과 성취도, 연습량 등 교육 목표에 맞춰 임계값을 세밀하게 재조정해야 합니다.
- 특히 임계값을 너무 엄격하게 설정하면 오히려 학습 수준이 높은 학생에게만 과도한 기회가 주어져 성취 격차를 줄이지 못하고 특정 그룹의 진학을 제한할 수 있습니다.
튜터링 시스템에서 학생의 진도를 결정하는 '숙련도 임계값'은 사용되는 지식 추적(KT) 모델에 따라 그 의미와 결과가 크게 달라진다는 연구가 진행되었습니다. 이 연구는 네 개의 공공 교육 데이터셋을 활용하여 여섯 가지 KT 모델과 0.50부터 0.99까지의 12개 임계값을 평가했습니다. 평가는 진도 결정 후 성과, 진도 커버리지, 연습 부담, 그리고 사전 성과 그룹 간 격차 등을 포함합니다.
연구 결과에 따르면, 베이즈 지식 추적(BKT) 모델은 임계값 변화에 비교적 둔감한 반면, 신경망 기반 모델은 임계값이 높아질수록 훨씬 더 선택적으로 작동하는 경향을 보였습니다. 이는 BKT가 잠재 숙련도 확률을 추정하는 반면, 신경망 모델은 다음 응답이 정답일 확률을 추정하기 때문에 동일한 절단점이 같은 수준의 숙련도를 의미하지 않기 때문입니다.
최적화된 임계값은 테스트 환경과 모델에 따라 크게 달라졌으며, 특히 임계값을 너무 엄격하게 설정할 경우 성취 격차를 줄이지 못하고 오히려 특정 그룹의 진학을 과도하게 제한할 수 있음이 확인되었습니다. 예를 들어, 강한 사전 성과를 가진 학생들은 약한 사전 성과를 가진 학생들보다 최대 3.26배 더 자주 진급하는 현상이 관찰되어, 임계값은 KT 모델이나 교육 목표 변화에 맞춰 재조정하고 그 영향을 종합적으로 평가해야 함을 시사합니다.
지식 추적(KT) 모델이란 무엇인가요?
튜터링 시스템에서 학생의 숙련도를 판단하는 데 사용되는 모델이에요. 이 연구에서는 베이즈 지식 추적(BKT)과 신경망 기반 모델 등을 활용하여 네 개의 공공 교육 데이터셋을 평가했어요.
BKT와 신경망 모델은 왜 다르게 작동하나요?
BKT는 학생의 잠재적인 숙련도 확률을 추정하는 반면, 신경망 기반 모델은 다음 응답이 정답일 확률을 추정하기 때문에 동일한 수치적 기준이라도 의미가 달라져요.
임계값을 너무 엄격하게 설정하면 어떤 문제가 생기나요?
성취 격차를 줄이는 데 실패할 수 있고, 오히려 특정 그룹의 진학 기회를 과도하게 제한하는 결과를 초래할 수 있어요.