무장 승선 준비·항공기 출격…보고서 “완전히 거짓”
미군이 올봄 AI 챗봇이 오인한 정보 보고서로 중동 중국 선박 승선을 준비했다고 CNN이 18일(현지시간) 보도했다.
무장 병력이 승선 준비에 들어갔고 군용기는 이미 떠 있었다. 대상이 중국 국적 선박이어서 작전 한 건이 미·중 무력 충돌로 번질 수 있는 자리였다.
사건 경위에 밝은 소식통 네 명에 따르면, 이란전 와중인 올봄 미군 전역에 중국 선박이 핵무기 프로그램 부품을 운송한다는 정보 보고서가 돌았다. 소식통 두 명은 무장 병력이 승선을 준비했다고 전했다. 다른 두 명은 군용기가 공중에 있었다고 했다.
미군은 선박을 차단할 계획까지 세웠다. 작전 직전 당국이 보고서를 다시 살폈다. 특수작전사령부 분석관이 AI 도움으로 작성했고, 챗봇이 선박 화물을 잘못 식별한 사실이 드러났다. 한 소식통은 보고서가 “완전히 거짓”이었다고 했다.
거의 전쟁을 일으킬 뻔했다.
— 소식통, CNN 9월 18일 · “almost started a war”
특수작전 분석관, 챗봇에 화물 문의
분석관은 하와이 소재 미 특수작전사령부 태평양사령부(US Special Operations Command Pacific)가 낸 선박 적하목록 관련 정보를 챗봇에 물었다.
챗봇은 공개출처정보와 비밀 신호정보(통신·전자신호 감청)를 한데 묶어 화물을 핵 관련 부품으로 결론 냈다. 분석관은 같은 AI로 그 결과를 군 당국이 신뢰하는 형태의 표준 정보 보고서로 묶어 배포했다.
군·정보기관 AI에 밝은 전직 고위 당국자는 내부 도구가 “대부분 상용 제품에 립스틱을 바른 복제본”이라고 했다. 미 특수작전사령부 태평양사령부와 국방부는 논평 요청에 응하지 않았다.
AI 산출물 검증 기준은 통일되지 않아
피트 헤그세스 국방장관은 1월 AI 가속 전략을 내놓으며 실험 확대와 관료적 장벽 제거를 내세웠다. 전략 메모는 민간·군인 300만 명에게 세계 선도 AI 모델을 직접 쥐여 실험과 전환을 조직 전반으로 넓히겠다고 적었다.
당국자들은 타격 대상 선정이나 전력 이동 같은 전장 판단을 더 빨리 내리기 위해 AI를 들이고 있다고 설명해 왔다. 중국 등 상대보다 한발 늦을 수 없다고도 했다.
그러나 도입은 부서마다 도구와 지시, 안전 기준이 다른 분산 구조다. AI가 낸 정보를 어떻게 검증할지 통일된 기준은 없다고 복수의 미 당국자들이 전했다. 체계가 제각각이라 신뢰도와 기능도 제각각이라고 이들은 설명했다.
군 정책에 밝은 다른 소식통은 타격에 AI를 쓰는 일이 확실히 늘고 있다면서 “인간 개입이 민간인 피해나 아군 오인을 어떻게 막을지에 대한 실질 지침은 없다”고 말했다.
AI는 나쁜 생각에 더 빨리 이르게 한다.
— 소식통, CNN 9월 18일 · “AI allows you to get to a bad idea faster”
정보기관에 AI 도구가 퍼진 뒤 이런 환각(입력에 없는 사실을 지어내는 오류)은 이번이 유일한 사례가 아니라고 소식통 한 명은 전했다. 일부 고참 정보 당국자들은 AI가 분석관을 더 빨리 생산·배포하도록 압박한다고 했다. 젊은 분석관일수록 도구를 비판 없이 믿는 경향이 있다고 여러 소식통이 말했다.
상원의원 3명, 감찰관 조사 요구
마크 워너·잭 리드·크리스 쿤스 민주당 상원의원은 19일 헤그세스 장관과 제이 클레이턴 국가정보국장에게 서한을 보냈다. 의원들은 중국 선박 사건을 예로 들며 기관들이 “효과적 거버넌스보다 AI 역량 도입 가속과 ‘실험’을 우선시”해 왔다는 우려가 커졌다고 적었다.
세 의원은 관련 감찰관의 즉각 조사와 최종 결과의 더 높은 공개성을 요구했다. 서한은 올해 언론에 나온 AI 타격 오류뿐 아니라 아직 공표되지 않은 사례에도 감찰관이 제한 없이 접근하게 하라고 요청했다.
의원들은 AI 타격 플랫폼이 낡은 입력이나 환각으로 “허위 산출물을 반복 생성한다”는 공개 보도가 심각한 작전 오류 위험을 낳고, 미 정보와 그에 기반한 무력 행동에 대한 미국 국민과 국제 파트너의 신뢰를 깎는다고 적었다.