인프라 가이드
Douyin 콘텐츠 전문 수집기: 기능과 활용 방법 안내
jiji262/douyin-downloader
GitHub더우인의 동영상, 이미지 노트, 사용자 프로필 등 다양한 콘텐츠를 대량으로 다운로드하는 강력한 오픈소스 아카이빙 도구입니다.
세 줄 요약
- 단순 미디어 다운로드를 넘어 라이브 스트리밍 녹화, 댓글 수집, 실시간 검색어 목록 추출 등 전문적인 데이터 수집 기능을 제공합니다.
- 콘텐츠 연구나 기록 보관 목적에 최적화되어 있어, 특정 계정의 활동 내역을 체계적이고 대규모로 아카이빙할 때 높은 활용도를 자랑합니다.
- 사용 전 Python 환경 설정과 로그인 쿠키 정보가 필수이며, 라이브 스트리밍 녹화 등 일부 고급 기능은 실험 단계임을 참고해야 합니다.
이 도구는 Douyin, TikTok, YouTube 등 여러 플랫폼의 동영상, 이미지 노트, 컬렉션, 사용자 프로필 등 다양한 미디어를 대량으로 다운로드하고 아카이빙하는 기능을 제공합니다. 단순한 콘텐츠 다운로드를 넘어, 진행 상황 표시, 재시도 기능, SQLite를 이용한 중복 제거 및 브라우저 대체 지원을 통해 안정적인 데이터 수집 환경을 구축했습니다.
단순 미디어 파일 외에도 전문적인 데이터 수집 기능을 갖추고 있습니다. 특정 영상에 대한 댓글을 개별적으로 수집하거나(comments collection), 라이브 스트리밍을 FLV/HLS 형식으로 녹화할 수 있으며, 실시간 인기 검색어 목록이나 키워드 기반의 데이터를 JSONL 형태로 추출하는 기능도 지원합니다.
사용을 위해서는 Python 환경 설정과 로그인 쿠키 정보가 필수적입니다. 사용자는 먼저 `requirements.txt`를 통해 필요한 의존성을 설치하고, 전용 스크립트를 이용해 계정 쿠키 정보를 확보해야 합니다. 이후 YAML 형식의 설정 파일(`config.yml`)을 작성한 뒤, 메인 실행 명령어(`python run.py -c config.yml`)로 작업을 시작할 수 있습니다.