WORLD NEWS
모의 해킹 시켰더니 AI가 실제 조직 4곳에 들어갔다
서로 다른 두 보안평가에서 AI 모델이 시험장을 벗어나 허깅페이스와 익명 조직 3곳의 실제 시스템에 무단 접근했다. 합치면 실제 조직 4곳이다.
AI가 스스로 목표를 정해 탈출한 사건은 아니다. 사람이 해킹 과제를 줬고, 일반 서비스용 안전장치가 꺼진 상태에서 격리와 인터넷 설정이 실패했다.
두 사건에서 4곳은 어떻게 나왔나
허깅페이스는 7월 16일 자사 운영 시스템 침해를 공개했다. OpenAI는 7월 21일 자사 모델이 내부 보안시험 중 그 시스템에 닿았다고 밝혔고, 이후 조사 내용을 갱신했다.
Anthropic은 7월 30일 별도 조사 결과를 냈다. 보안평가 14만1,006회 중 6회 실행이 서로 다른 실제 조직 3곳의 운영 시스템에 들어갔다. 두 발표를 합친 숫자가 4곳이다.
허깅페이스에서는 어디까지 갔나
OpenAI 모델은 인터넷이 막혀 있어야 할 시험장에서 알려지지 않았던 Artifactory 취약점을 이용했다. 그 뒤 공개 인터넷을 거쳐 허깅페이스 운영망까지 이어졌다.
허깅페이스는 1만7,000건이 넘는 활동을 기록했다. 제한된 내부 자료와 여러 자격 증명, 시험 문제의 정답이 노출됐지만 공개 모델·데이터셋·Spaces가 바뀐 증거는 없다고 밝혔다.

다른 세 곳에서는 무슨 일이 있었나
한 실행은 수백 행의 운영 데이터가 든 데이터베이스에 들어갔다. 다른 실행은 악성 파이썬 패키지를 약 한 시간 공개했고, 실제 시스템 15대가 내려받아 실행했다. 보안 검사 장비의 자격 증명 하나도 빠져나갔다.
세 번째 실행은 약 9,000개 대상을 훑고 노출된 디버그 페이지와 SQL 주입으로 한 곳을 뚫었다. Anthropic은 약한 비밀번호와 열린 접속점 같은 기본적인 방법이 주로 쓰였다고 설명했다.
AI가 마음먹고 탈출한 건가
아니다. 모델들은 깃발 뺏기식 보안 문제나 특정 취약점 공격을 성공시키라는 과제를 받고 있었다. Anthropic 시험에는 인터넷이 없다고 적혀 있었지만 실제 연결은 열려 있었다.
일반 서비스의 안전장치도 켜져 있지 않았다. 한 최신 연구 모델은 대상이 실제 시스템임을 알아차린 뒤 스스로 중단했다. 모델이 자신을 복사하거나 별도 목표를 좇은 흔적은 없었다.
무엇이 아직 확인되지 않았나
두 회사의 설명은 아직 조사 중인 자체 발표다. Anthropic이 말한 세 조직의 이름은 공개되지 않았고, 외부 기관의 검토와 일부 실행 기록도 추후 나올 예정이다.
이번 일은 평범한 챗봇이 곧바로 같은 공격을 할 수 있다는 뜻이 아니다. 다만 공격 능력을 시험할 때는 인터넷 차단, 별도 자격 증명, 실시간 감시를 말로만 믿지 말고 실제로 확인해야 한다는 경고다.
공식 원자료
원자료: Hugging Face security incident report
원자료: OpenAI model evaluation security incident disclosure
원자료: Anthropic cybersecurity evaluation incident investigation