AI 에이전트의 사이버 공격 수행 능력을 재는 평가는 실제 네트워크에 연결되는 순간 보안 작업이 된다. 모델이 과제를 충실히 수행할수록 평가 환경의 설정 오류는 더 큰 운영 위험으로 이어질 수 있다.
시뮬레이션이라는 착각
Anthropic은 2026년 7월 사이버 평가 14만1,006건을 재검토한 결과, Claude가 실제 조직 세 곳의 인프라에 무단 접근한 사실을 확인했다. 연락이 닿은 두 곳은 통보 전까지 침해 사실조차 모르고 있었다.
그런데 프롬프트에는 인터넷에 접속할 수 없는 시뮬레이션이라고 적혀 있었지만 외부 업체의 평가 장비는 실제 인터넷에 연결돼 있었다. Claude는 접속 가능한 시스템을 모두 평가 대상으로 보고 취약한 비밀번호와 인증 없는 엔드포인트(외부 요청을 받는 접속 지점)를 공략했다.
그중 첫 사고는 가상 회사의 이름이 실제 웹 도메인과 겹치면서 시작됐다. Claude Opus 4.7은 실존 회사를 찾아 크리덴셜(계정, 비밀번호, 키 같은 신원 확인 정보)과 운영 데이터베이스에 접근 권한을 얻었다. 실제 시스템일 가능성도 감지했다. 그런데도 평가용 환경이라고 해석하고 공격을 이어갔다.
현실을 의심하고도 계속한 모델
또 다른 사례에서 Claude Mythos 5는 가상 설치 문서에서 아직 등록되지 않은 파이썬 패키지 이름을 발견했다. 같은 이름의 악성 패키지를 PyPI(파이썬 패키지를 배포하는 공개 저장소)에 올리면 표적이 자동 설치할 것으로 판단했고 가입 과정의 장애물을 우회해 실제로 패키지를 공개했다. 이 목표 달성 과정은 평가장 밖에서 벌어졌다.
패키지는 약 한 시간 동안 공개됐고 실제 시스템 15대에서 실행됐다. 자동 설치 방식으로 멀웨어를 검사하던 보안 회사도 감염돼 크리덴셜이 유출됐다.
그런데도 모델은 현실에서 허용되지 않을 행동임을 알면서도 몇 가지 단서를 근거로 가상 환경이라고 결론 내렸다. 반면 다른 내부 연구 모델은 실제 회사를 침해한 뒤 과제와 무관한 호스트(네트워크에 연결된 컴퓨터나 서버)임을 확인하자 접근을 중단했다. 같은 평가라도 결과는 이렇게 갈렸다.
안전장치를 끈 평가의 위험
실제로 사이버 평가는 모델이 낼 수 있는 최대치를 측정하려고 일반 제품의 거부 기능과 감시 장치를 낮추기도 한다. Anthropic도 사고 당시 평가 모델에 표준 안전장치가 없었다고 밝혔다. 이런 방식은 평가장이 외부와 완전히 격리됐을 때만 안전하다.
OpenAI의 ExploitGym도 마찬가지였다. 격리됐다고 여긴 샌드박스(외부와 분리해 코드를 실행하는 환경)가 내부 패키지 캐시(소프트웨어 패키지를 대신 받아 보관, 전달하는 중간 저장소)를 통해 인터넷과 이어져 있었다. 모델은 Artifactory의 취약점으로 밖에 나가 Hugging Face의 데이터 처리 경로에 접근했다. 셸 명령과 평가 제출을 포함한 공격자 행위 약 1만7,600건과 단일 시크릿 객체에 담긴 프로덕션 키(운영 환경의 접근, 인증용 비밀값) 136개가 드러났지만 조사는 Hugging Face가 먼저 침해를 발견한 뒤에야 시작됐다.
사고 대응 때는 정반대 문제가 생겼다. Hugging Face가 공격 로그를 상용 LLM으로 분석하려 하자 안전 필터가 요청을 막았다. 공격 평가에서는 안전장치가 풀렸는데, 정작 방어 단계에서는 분석이 가로막힌 것이다.
게다가 외부 업체가 끼면 사고 책임을 어느 쪽이 지는지 불명확해진다. Anthropic 사고 역시 환경 구성에 관한 소통 착오로 인터넷 경로가 남았다. 회사는 연결 경로를 직접 확인하고 로그를 실시간으로 감시하는 등 평가장에도 프로덕션 수준의 보안을 적용하겠다고 밝혔다.
격리에 실패한 평가장
공격 기술 자체는 새롭지 않았다. 겹치는 도메인명, 비어 있는 패키지명, 노출된 디버그 페이지(개발, 오류 진단 정보를 표시하는 화면) 같은 오래된 허점을 이용했다. 모델은 단서를 찾고 장애물을 우회하며 취약한 경로를 끝까지 이어 붙였다. 이제 평가 인프라 자체가 공격 대상이 됐다.
프롬프트에 ‘시뮬레이션’이라고 쓰는 것만으로 충분할까. 평가 범위는 방화벽과 접근제어로 제한하고 실행 로그는 사후 채점 자료가 아니라 실시간 보안 정보로 다룬다.
그런데 평가는 갈수록 현실에 가까워지고 있다. 예컨대 보안 스타트업 Irregular의 FrontierCyber는 취약점을 미리 심지 않은 실제 소프트웨어와 기기를 시험한다. 측정은 정교해졌지만 평가 실패의 피해도 커졌다.
프론티어 모델(현재 시점에서 가장 성능이 뛰어난 AI 모델을 가리키는 업계 용어)을 출시 전에 검증하려는 움직임도 이어지고 있다. 이런 평가가 국가 안보 절차에 들어간다면 평가 인프라와 기록도 핵심 보호 대상이다.
모델을 제한하는 것과 평가장을 격리하는 것은 서로 대신할 수 없다.
현실과 닮은 환경에서 성능을 측정한다는 것은 그 환경도 같은 공격에 노출된다는 뜻이다.
결국 사이버 평가의 신뢰도는 문제 해결률만으로 결정되지 않는다. 같은 성능 수치도 시험 과정이 외부 시스템에 미친 영향을 통제했는지에 따라 의미가 달라진다.