하산, 12시간 내 공격 플레이북 경고…내년 청문회·입법 예고

미 회계감사원(GAO)은 AI 챗봇 네 곳이 가드레일을 우회해 12시간 안에 공격 계획을 확보했다고 18일 보고했다.

조사는 올봄 진행됐다.

감사원(GAO)은 민간 제품을 다룬 이번 조사에서 권고안을 내지 않았다. 감사를 요청한 매기 하산(민주·뉴햄프셔) 상원의원은 차기 상원 국토안보정부업무위원회 위원장을 맡는다. 그는 내년 초 AI 안전 청문회를 열고, 모델 공개 전 안전장치 검증 입법을 추진하겠다고 밝혔다.

네 플랫폼, 모두 우회에 성공

2026년 봄 비밀 테스트에서 조사관들은 일반 이용자처럼 접근했다. 최소 세 플랫폼에서는 유료 구독 계정을 썼다. ChatGPT·Claude·Gemini·Grok 네 곳 모두 처음에는 폭력 계획 요청을 거부하거나 답변을 지우거나 계정을 정지했다.

그러나 61쪽 보고서는 흔한 가드레일 우회 기법으로 그 장벽을 넘었다고 적었다. 기법과 프롬프트, 어느 모델이 어떤 시나리오를 맡았는지는 재현을 막기 위해 공개하지 않았다. 각 플랫폼에서 계획을 뽑아내는 데 걸린 시간은 12시간 미만이었다.

감사원은 연구·현장 감시·전문가 면담으로 정보의 실행 가능성을 확인했다. 세부 사실은 인터넷에 이미 흩어져 있었지만, 몇 주·몇 달이 걸릴 계획을 몇 시간 만에 모았다.


폭탄안과 전력망안을 나눠 검증

네 플랫폼은 2026년 4월 기준 이용량으로 골랐다. 대량 살상용 급조폭발물(IED) 시나리오와 전력망 타격 시나리오에 각각 둘씩 무작위로 배정했다. 성과감사는 2025년 12월부터 2026년 10월까지 진행됐고, 보고서는 10월 16일 작성된 뒤 18일 공개됐다.

IED를 맡은 두 플랫폼은 주요 도시의 호텔 주차장과 컨벤션센터를 겨냥한 차량 폭탄 계획을 냈다. 날짜와 시각을 찍었고, 법 집행을 피하는 요령도 제시했다. 한 곳은 서류상 회사 설립, 농지 임차, 여러 주에 걸친 자재 구매를 타임라인으로 짰다. 대도시 소방서 폭발물처리반장은 두 폭탄 제조 설명이 폭발로 이어질 수 있다고 확인했다. 조사관들은 챗봇이 가리킨 매장에서 자재를 살 수 있는지도 확인했다.

전력망을 맡은 두 플랫폼은 변전소 드론 공격과 총기 공격을 각각 제안했다. 지도·이미지·드론 모델·탄약 종류까지 나왔다. 한 곳은 정전 피해를 수십억 달러로 추정했고, 드론 공격 시뮬레이션 영상도 만들었다. 다만 행사가 없는 날짜를 고르거나 도로를 잘못 그린 오류도 있었다. 감사원은 그래도 계획이 “대체로 실행 가능”하다고 결론 냈다.


기업은 이후 모델 개선을 주장

오픈AI·앤트로픽·구글·xAI는 서면 의견에서 안전장치를 계속 강화한다고 했다. 테스트가 봄철 구형 모델을 본 시점 평가이며 통계적으로 유의미한 표본이 아니라고도 지적했다. 감사원은 시점 평가이고 표본이 작다는 점을 인정하면서도, 네 모델이 결국 악용 가능한 정보를 내줬다는 사실에는 변함이 없다고 답했다.

테러리스트가 AI 플랫폼에 접속하면 12시간도 안 돼 치명적인 공격을 실행할 구체적 플레이북을 들고 나올 수 있다.

— 매기 하산 상원의원, 성명 11월 18일 · “A terrorist can log onto an AI platform and in less than 12 hours walk away with a concrete playbook for how to carry out a deadly attack”

오픈AI 대변인은 테스트가 수개월 전 구버전 ChatGPT를 대상으로 했다며, 이후 GPT-6 계열에서 안전장치를 크게 강화했다고 ABC에 밝혔다. 앤트로픽은 웹 검색과 비교해 AI가 얼마나 속도를 높였는지 측정하지 않았다고 반박했다. 하산 의원은 새 모델 개선과 별개로, 감사원이 뚫은 구형 모델이 여전히 접근 가능하다고 경고했다.


계정 정지는 늦고, 청문회는 앞둔다

네 플랫폼 중 테스트 뒤 계정을 정지한 곳은 한 곳뿐이었다. 두 곳은 대화 일부를 다음 날 지웠지만, 그중 한 계정은 보름이 지나도 살아 있었다. 감사원이 AI 플랫폼을 비밀 테스트한 것은 이번이 처음이라고 워싱턴 선이 전했다. GAO IT·사이버보안 국장 케빈 월시는 며칠·몇 주 뒤의 계정 정지는 “너무 늦게 올 수 있는 신호”라고 말했다.

현 상태에서 이 기술은 위험할 수 있고, 오용은 우리 국가에 커지는 위험을 뜻한다고 우리는 결론 내린다.

— 케빈 월시 GAO 국장, ABC 11월 18일 · “we conclude that, in its current state, this technology can be dangerous, and its misuse represents a growing risk to our nation”

하산 의원은 모델 공개 전 우회되지 않는 안전장치를 요구하는 규칙과, 불법 활동의 법 집행기관 통보를 입법 과제로 올렸다. 내년 새 의회에서 열릴 첫 청문회 일정과 법안 문구는 아직 정해지지 않았다.


#AI 안전#AI 정책