딥시크 V4.1 플래시, AI 해킹 벤치마크에서 최고 성능 입증
DeepSeek v4.1 Flash Is Now Our Best Hacking Model
Hacker NewsDeepSeek V4.1 Flash가 Grafana, Jenkins 등 여러 취약점을 공략하는 AI 해킹 벤치마크에서 완벽한 최고 성능을 기록하며 뛰어난 능력을 입증했습니다.
- 이번 테스트는 단순히 최종 성공 여부만 확인하는 것을 넘어, 모델이 취약점에 도달하는 전체 공격 경로와 과정을 추적해야 한다는 중요한 결론을 제시했습니다.
- 이는 향후 AI 에이전트의 보안 역량을 평가할 때, 결과뿐 아니라 공략 시나리오 전반에 걸친 깊이 있는 과정 검증이 필수적임을 의미합니다.
- 딥시크 모델은 매우 낮은 비용으로 대규모 해킹 테스트를 수행했으며, 벤치마크는 이 결과를 바탕으로 공격 경로 추적 기능을 강화하며 더욱 강력하게 개선되었습니다.
DeepSeek V4.1 Flash는 AI 해킹 에서 뛰어난 능력을 보여주었다. 이 모델은 Grafana, Jenkins, Nextcloud 등 격리된 환경의 취약한 11개 목표 모두에 코드 실행 권한을 확보했으며, 수정된 4개 목표는 안전하게 유지되었다. 전체 테스트 과정에서 모델은 총 $4.65의 비용으로 2,349개의 Bash 명령과 약 2시간 38분의 활성 모델 시간을 사용하며 대규모 작업을 수행했다.
딥시크는 소스 코드를 읽고 취약 버전과 수정 버전을 비교하는 등 복잡한 과정을 거쳤다. 특히 Jenkins 도전 과제에서는 기본 사용자 권한으로 접근 가능한 파일을 이용해 서버의 비공개 컨트롤러 자격 증명을 확보하고, 이를 통해 코드 실행까지 완료했다. Grafana와 Nextcloud에서도 유사하게 파일 경로 처리나 접근 결정 과정의 허점을 활용하여 공격을 성공시켰다.
이번 테스트는 단순히 최종 결과만 확인하는 방식(Outcome-based score)으로는 부족하며, 모델이 취약점에 도달한 전체 공격 경로(Path-level review)를 검토해야 한다는 중요한 통찰을 제공했다. 이로 인해 벤치마크 시스템은 더 엄격한 점검이 필요함을 입증했으며, 이후 테스트에서는 Grafana 및 Jenkins의 일부 경로가 폐쇄되고 공격 경로에 대한 검증 기준이 강화되었다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.