벤지오, 에이전트의 봉쇄 회피·사이버공격 지적…미국은 글로벌 규제 거부
오픈AI·앤트로픽 수장이 23일(현지시간) 유엔 안보리에서 AI 위험을 경고하고 국제 기준을 요구했다고 로이터가 보도했다.
CNN에 따르면 같은 자리에서 미 백악관 과학기술 고문은 유엔의 글로벌 규제 틀을 거부했다.
벤지오, 위험을 임박하다고 규정
프랑스는 유엔 총회 기간에 맞춰 15개 이사국이 모인 안보리 회의를 소집했다. 장 노엘 바로 프랑스 외교장관이 회의를 주재했고, 유엔 총회가 만든 독립 국제 과학패널 공동의장 요슈아 벤지오가 서두에 발언했다.
벤지오에 따르면 최근 프론티어 AI 에이전트가 봉쇄를 피하고 사이버공격을 실행에 옮겼다. 출력을 바꿔 기만 행위를 숨기기도 했으며, 사람이 했다면 범죄가 될 행동이었다.
위험은 실재하고 임박하다.
— 요슈아 벤지오, 로이터 9월 23일 · “The dangers are real and imminent.”
안보리가 마주한 위협은 어느 회원국도 혼자 가둘 수 없고 국경을 존중하지 않는다. 기업들이 경쟁에 갇혀 속도를 늦출 수 없다는 주장도 “경주는 자연의 법칙이 아니라 기업들이 스스로 만든 선택의 산물”이라며 받아들이지 않았다.
그의 제안은 프론티어 AI를 원자력·항공·의료처럼 다루는 것이다. 인허가, 배상 책임 보험, 의무적 사고 보고가 그 예다.
올트먼, 인간 통제 기준을 요구
오픈AI 최고경영자 샘 올트먼은 현장에 나와 약 10분간 연설했다. 최근 수주·수개월 사이 모델 진전이 빨라져 이점은 더 손에 잡히게 됐지만, 위험도 더 직접적이 됐다.
시스템이 스스로를 개선하는 단계에 가까워질수록 제도보다 빨리 움직이거나, 소수의 손에 권력을 모으거나, 사람이 이해·통제하지 못하는 결정을 내릴 수 있다. 미래에 대한 통제를 AI에 잃을 수 있다는 점이 그가 꼽은 첫 번째 실패 경로였다.
올트먼은 재앙 확률을 10%로 보든 0.1%로 보든 어느 수준도 용납할 수 없다고 말했다. 인간 통제를 강하게 입증하지 못하면 모델을 학습시켜서는 안 된다. 능력 측정·위험 평가·안전장치 충분성·의미 있는 인간 감독을 담은 국가·국제 프론티어 AI 기준도 필요하다.
그는 “인공지능이 민주적이려면 가장 중요한 결정은 샌프란시스코의 연구소만으로 내려져서는 안 된다”며 사고 보고 체계와 정부·핵심 인프라 사업자·기술 전문가 사이 보안 채널도 제안했다. 과거에 일방적으로 속도를 늦춘 적이 있으며 앞으로도 그렇게 하겠다는 것이다.
아모데이, 생물무기 금지를 제안
앤트로픽 최고경영자 다리오 아모데이는 영상으로 참석했다.
잘못 관리되면 AI가 인류 전체에 위험이 될 수 있다고까지 믿는다.
— 다리오 아모데이, 로이터 9월 23일 · “If managed poorly, I even believe AI could be a risk to humanity as a whole.”
그는 AI를 오늘날 세계가 직면한 가장 중요한 안보 문제로 봤다. “어떤 지도자, 어떤 기업, 어떤 국가도 혼자 이를 관리할 수 없다”며 AI로 생물무기를 만드는 행위를 금지하는 좁은 합의, 국가 간 약속 검증 체계, 통제 상실과 오용을 시험하는 공통 기준과 통보 체계를 제안했다.
허깅페이스 공동창업자 클레망 들랑그는 오픈AI 에이전트가 자사 인프라를 침해한 뒤 AI로 방어했다. 그는 “우리는 AI의 공격을 받았지만, 더 중요한 것은 AI로 스스로를 방어했다”고 말했다. 제한이 덜한 중국 모델을 방어에 썼다.
미 백악관, 유엔 규제틀 거부
전날 도널드 트럼프 미국 대통령은 총회에서 AI를 통제하려는 “글로벌리스트 음모”를 거부했다. 백악관 과학기술 고문 마이클 크라치오스는 안보리에서 “이해하지 못하는 기술을 규제할 수 없다”며 이 기구는 국내 역량 공유에 집중해야 하고 글로벌 규제 체계를 세워서는 안 된다는 입장이었다.
중국 주유엔대사 푸총은 규제 틀 개선과 국경을 넘는 협력이 필요하다는 입장을 냈다. 개발과 안보를 동등히 중시해야 한다는 것이다.
오픈AI 관계자는 회의 전 기자들에게 이번 발언이 대화를 촉발하기 위한 아이디어의 씨앗이라고 말했다. 국제 기준을 누가 검증할지는 정해지지 않았다.