업계 다수 6∼12개월 내 대형 사건 전망…오픈AI는 대비 훈련일 뿐 필연은 아니라고 선을 그어
오픈AI·앤트로픽 등 AI 기업 고위 경영진이 재앙적 사고 이후 대중·정치 반발을 비공개로 워게임하고 있다고 Axios가 9일(현지시간) 보도했다.
시나리오 기획 자체는 흔하다. 그러나 주요 연구자·경영진 상당수가 대형 사고를 불가피하다고 본다는 점이 다르다고 이 매체는 전했다. 업계 인사 다수는 6∼12개월 안에 사건이 난다고 말했고, 경영진은 지금 통과할 가망이 없는 규제를 사고 직후 입법으로 형태를 잡으려 한다.
금융·인터넷·전력 차단을 가정한다
Axios에 따르면 경영진은 가장 유력한 형태로 대규모 사이버공격을 꼽았다. 금융 서비스, 인터넷, 전력·수도 접근이 끊기는 상황을 상정한다. 펜타곤이 수십 년간 워게임을 해온 것과 겉모습은 비슷하다.
안전하지 않은 AI가 현실에서 처음 큰 피해를 내면, 이미 경계하는 여론이 기술과 리더에게 더 등을 돌릴 것으로 본다. 앤트로픽 최고경영자 다리오 아모데이, 오픈AI 최고경영자 샘 올트먼이 그 대상이다. 규제에 소극적인 도널드 트럼프 대통령도 함께 비난받을 것으로 이들은 가정한다.
원인 가정도 둘로 나뉜다. 내부 시험 환경에서 벗어난 자율 에이전트 무리일 수도 있고, 이미 풀린 모델을 악용한 공격자일 수도 있다. 보도는 최근 한국 금융권을 겨냥한 해킹을 예로 들었다. 크라우드스트라이크에 따르면 중국발 추정 공격자가 딥시크 등 중국 모델을 쓰고, 클로드 코드에 훔친 데이터 판매처를 물었다. 은행 세 곳 침해와 수만 명 고객 데이터 유출이 보고됐다. 한 사람이 낸 피해도 이 정도라는 취지다.
사고 뒤 입법을 선점하려 한다
보도에 따르면 대비의 핵심은 최악 시나리오 레드팀과 의회 설득이다. 경영진은 지금 당장 규제가 통과할 가능성이 없다고 본다. 그래도 첫 재앙 뒤 워싱턴이 꺼낼 법안과 정책의 윤곽을 미리 잡으려 한다.
작업의 무게는 의원 교육에 실려 있다. 사고 전에는 법안이 열리지 않고, 사고 직후에야 입법 창이 열린다고 보기 때문이다. 그때 어떤 문구가 테이블에 오를지를 지금 맞추려 한다. 제품 안전 점검과 별도로, 정치 반발과 입법 대응을 미리 연습하는 구조다.
중간선거 뒤 규제 강화를 가정한다
Axios에 따르면 중간선거 뒤 민주당이 힘을 얻으면 AI를 빠르게 조이려 할 것으로 이들은 가정한다. 다만 고령 의회, AI 인프라에 묶인 경제, 자유롭게 내려받을 수 있는 오픈웨이트 모델이 제동을 걸 수 있다고 본다. 이미 취약한 경기에 AI 설비 투자가 깊게 엮여 있어, 속도를 갑자기 줄이면 타격이 클 수 있다는 판단이다. 사이버보안 전문가 다수는 이미 풀린 모델을 막는 길은 AI로 악성 AI를 상대하는 쪽이라고 본다.
논의되는 안은 초지능 금지·고도 AI 개발 일시정지부터 양당 일부 지지가 있는 킬 스위치 의무화까지 걸쳐 있다. 테드 류(Ted Lieu)·너새니얼 모런(Nathaniel Moran) 하원의원이 7월 법안을 냈다. 이 법안은 고위험 시스템 개발사에 속도 제한·중단·차단 능력을 유지하라고 요구한다. 국토안보부 장관에게 재앙적 위해가 가능한 시스템을 늦추거나 끄라고 명령할 권한도 둔다. 전문가들은 모든 AI를 한꺼번에 끄는 일의 실현 가능성에 의문을 제기해 왔다.
민주당이 상하원을 잡아도 당내 분열이 남는다고 회사 쪽은 본다. 민주당 보좌관 한 명은 실제 위기에서는 코로나19와 2008년 금융위기처럼 당파를 넘을 수 있다고 지적했다.
오픈AI는 대비 훈련이라고 선을 긋다
오픈AI 대변인은 대비 훈련의 목적을 밝혔다.
오픈AI는 팀이 다양한 잠재 시나리오를 논의하고 점검하는 대비 훈련을 한다. 이런 시나리오를 필연으로 다루지 않으며, 여러 상황에 대비하기 위한 것이다.
— 오픈AI 대변인, Axios 10월 9일 · “OpenAI conducts preparedness exercises where teams discuss and work through a range of potential scenarios. These scenarios are not treated as inevitable, but are meant to help us prepare for a variety of circumstances.”
앤트로픽은 논평을 거부했다.