개발도구 뉴스
Creepy Crawlies
HNHacker News
AI 학습 모델들이 개발자 커뮤니티의 Git 저장소 데이터를 과도하게 스크래핑하며 서버 자원을 고갈시키고 있습니다. 이로 인해 정상적인 사용자 접근까지 방해받는 상황입니다.
세 줄 요약
- 초기 IP 차단에 실패하자, 운영진은 암호학적 퍼즐(Anubis challenge)을 도입해 봇의 접근을 막았습니다. 난이도를 높이는 방식으로 대응하며 자원 소모를 줄여나가고 있습니다.
- 개방된 기술 데이터가 상업적 AI 학습 수요와 충돌하며, 오픈소스 자료의 접근성이 제한되고 있습니다. 이는 온라인 정보 소비 방식에 근본적인 변화를 예고합니다.
- 현재 시스템은 안정화되었으나, 운영진은 크롤링 URL을 줄이고 기능을 제한하는 등 사용자에게 더 많은 인증 절차를 요구할 예정입니다.
AI 학습 모델들이 개발자 커뮤니티의 Git 저장소 데이터를 과도하게 스크래핑하며 서버 자원을 고갈시키고 있습니다. 이로 인해 정상적인 사용자 접근까지 방해받는 상황입니다.