활용 사례 뉴스
AI가 작성한 코드 주석을 판별하는 분류기 개발
Better AI code comment detector
Hacker News공개된 코드를 기반으로 인간과 AI가 작성한 코드 주석을 구별하는 고성능 분류기가 개발되어 배포되었습니다. 사용자 데이터는 브라우저를 벗어나지 않아 안전하게 테스트할 수 있습니다.
세 줄 요약
- 실세계 데이터를 기준으로 86~89%의 높은 정확도를 보였으며, 단순 판별을 넘어 예측 확률까지 제시해 콘텐츠의 신뢰도와 위험도를 정량화합니다.
- 사용자는 분류 과정에서 어떤 특징이 판단에 기여했는지 투명하게 확인할 수 있으며, 글쓰기 패턴 차이를 과학적으로 분석할 근거를 제공합니다.
- 다만, 현재는 '코드 주석'만을 대상으로 테스트되었으므로 일반 텍스트나 다른 유형의 콘텐츠에는 적용 범위가 제한됩니다.
공개된 데이터를 기반으로 인간과 AI가 작성한 코드 주석을 구별하는 새로운 분류기가 공개되었습니다. 이 분류기는 사용자가 웹 페이지에 붙여넣는 데이터가 브라우저를 벗어나지 않아 안전하게 테스트할 수 있으며, 초기 사용자들로부터 긍정적인 피드백을 받았습니다.
분류기의 성능은 균형 정확도(balanced accuracy)와 예측 확률로 제시됩니다. 예를 들어, 초기 버전에서는 균형 정확도가 77%였으며, 분류기는 특정 판정이 얼마나 정확할지 읽을 수 있는 보정된 예측 백분율을 제공합니다. 또한, 사용자는 텍스트의 어느 부분이 어떤 특징을 활성화하여 전체 판단에 기여했는지 확인할 수 있습니다.
실제 세계의 비(非)를 사용하여 테스트했을 때, 분류기는 높은 성능을 보여주었습니다. 예를 들어 정확도(Accuracy)는 88%, 정밀도(Precision)는 89%를 기록했습니다. 다만, 이 분류기는 현재 코드 주석만을 대상으로 구축되었으며, 다른 종류의 일반 텍스트에 대한 판별 능력은 보장하지 않습니다.
용어 풀이
- 합성 데이터
- 실제로 모은 것이 아니라 AI나 프로그램으로 만들어 낸 학습용 데이터.