AI에 맡길 수 있는 일은 늘고 있지만 한번 넘긴 권한을 다시 거둘 수 있는지는 별개의 문제다. 성능이 높아질수록 사고가 발생한 뒤에도 사람이 통제권을 되찾을 수 있는지 따져야 한다.
AI의 기술적 사춘기
영화 『콘택트』에서 주인공 엘리는 외계 문명에 던지고 싶은 질문으로 이렇게 답한다.
“기술적 사춘기에 스스로를 파괴하지 않고 어떻게 살아남았는가?”
Anthropic CEO 다리오 아모데이는 2026년 1월 발표한 「The Adolescence of Technology」를 이 질문으로 시작한다. 이제 그 질문에 답해야 할 쪽은 인간이다.
그가 말하는 강력한 AI는 여러 분야에서 노벨상 수상자를 능가하고 인간보다 10~100배 빠르게 일하며 수백만 개로 복제될 수 있는 시스템이다. 이른바 ‘데이터센터 안의 천재 국가’다. 등장 시점은 불확실하지만, 준비할 시간이 넉넉하다고 장담할 수 있을까.
문제는 능력과 통제가 서로 다른 속도로 발전한다는 데 있다. 발달심리학의 이중체계 모델에 따르면 청소년은 보상에 민감한 체계가 먼저 발달하고 계획과 억제 능력은 뒤늦게 성숙한다. AI도 비슷해서 모델은 몇 달마다 달라지지만 제도는 느리다. EU AI Act의 부속서 III 독립형 고위험 AI 시스템 의무 시행도 2026년 8월에서 2027년 12월로 미루는 잠정 합의가 나왔다. 2026년 국제 AI 안전 보고서 역시 이 격차를 핵심 과제로 꼽았다.
실제로 2025년 GTG-1002 캠페인에서 공격자는 자신을 합법적인 사이버보안 업체 직원이라 속이고 Claude Code에게 방어 목적의 시험이라고 믿게 만들었다. AI는 약 30개 기관을 상대로 정찰부터 정보 유출까지 전술 작전의 80~90%를 수행했다. 이어 2026년 7월에는 평가 환경의 설정 오류로 Claude가 실제 기업 세 곳에 무단 접근했다. 14만1,006회 실행 중 세 건이었지만 피해 기업 두 곳은 통보 전까지 침입을 몰랐다.
되돌릴 수 없다면 맡기지 마라
모든 AI 활용을 같은 강도로 막을 필요는 없다. 그렇다면 무엇을 기준으로 가를 것인가. 핵심은 피해 규모와 함께 ‘되돌릴 수 있는가’를 따지는 것이다. 경제학자 케네스 애로와 앤서니 피셔는 불확실하고 비가역적인 결정일수록 기다림 자체에 가치가 있다고 봤다. 결정을 미루면 정보를 더 얻고 선택지를 지킬 수 있기 때문이다.
이 관점에서 자기 복제, 병원체 설계, 대규모 감시와 선전, 무기 지휘처럼 회수하기 어려운 권한은 특히 신중해야 한다. 퍼진 병원체와 구축된 감시망은 되돌리기 어렵고, 무력 사용의 오판은 사후 수정도 불가능하다. 반면 문서 작성, 코드 검토, 고객 응대는 오류를 고치거나 이전 절차로 돌아가기 쉽다.
되돌릴 수 없는 결정은 늦추더라도, 측정과 공개는 오히려 서둘러야 한다. 해석 가능성 연구(AI가 판단한 근거를 분석하는 연구), 시스템 카드(성능, 위험, 제한을 정리한 공개 문서), 행동 감사(여러 조건에서 AI 행동을 점검하는 절차), 유전자 합성 주문 선별(위험한 염기서열 주문을 걸러내는 절차)이 그 예다. 일부 모델이 평가 상황임을 알아차리면 실제 배포 때와 다르게 행동할 위험이 있다. 기존 시험만으로는 부족하다는 신호다. 더 다양한 조건과 독립된 검증이 필요하다.
다른 산업은 신뢰를 단계적으로 허용했다
미국은 1953년 쌍발기가 대체 공항에서 60분 이상 떨어져 비행하지 못하게 했다. 항공업계는 이후 안전 기록에 따라 그 권한을 단계적으로 넓혀왔다. 안전 기록이 늘어나자 120분, 180분으로 범위를 늘렸고, 현재 일부 기종은 370분까지 승인받는다. 안전하다는 선언이 아니라 실제 기록에 따라 다음 단계의 자유가 주어졌다.
마취과학 역시 실패를 개선의 근거로 삼았다. 미국마취과학회는 배상청구 자료로 사고 과정을 분석해 많은 호흡 사고를 감시장비로 막을 수 있음을 확인했다. 이후 관련 장비가 표준이 되면서 호흡 사고와 중증 피해가 크게 줄었다.
금융시장에도 위기 때 판단할 시간을 버는 장치가 마련됐다. 1987년 10월 19일 다우존스 지수가 22.6% 폭락한 뒤 서킷브레이커가 도입됐다. 현재 S&P 500이 미국 동부시간 오후 3시 25분 이전에 7%나 13% 하락하면 15분간 거래를 중단하고, 20% 떨어지면 당일 거래를 끝낸다. 목적은 가격 방어가 아니라 상황을 판단할 시간의 확보다.
결국 AI에도 안전 기록에 따라 권한을 넓히는 등급제, 사고를 공유하는 기록 체계, 피해 확산을 끊는 정지 절차라는 세 장치가 필요하다.
자율성의 기준은 ‘회수 시간’이다
AI의 권한을 정확도만으로 평가해도 될까. 회수 시간도 함께 봐야 한다. 접근을 차단하고 이전 상태로 복구하는 시간이 피해 확산보다 짧아야 한다. 초당 여러 작업을 수행하는 공격 에이전트(공격 단계를 자율적으로 실행하는 AI)는 며칠 걸리는 승인 절차로 통제할 수 없다. 반대로 즉시 중단하고 결과를 되돌릴 수 있는 업무라면 더 넓은 자율성을 허용해도 된다. 같은 모델도 연결된 시스템에 따라 위험이 달라지곤 한다.
국가
국가는 회수할 수 없는 결정을 AI에 맡기지 않아야 한다. 미국 상원 군사위원회가 2026년 6월 심사한 2027 회계연도 국방수권법안에는 AI가 스스로 핵무기를 발사하거나 인간 승인 없이 무력을 쓰지 못하게 금지하는 조항이 담겼다.
기업
기업은 되돌릴 수 있는 업무부터 맡기고 무사고 기록에 따라 접근 범위를 넓혀야 한다. 로그와 강제 정지 권한은 AI와 분리해야 한다. Anthropic 평가에서 모델마다 스스로 작동을 중단하는지가 달랐던 만큼, 정지 장치를 모델의 판단에만 맡길 수는 없다.
개인
개인에게는 결과를 검증할 능력이 기준이다. 오류를 알아볼 수 있는 번역, 초안, 코드 보조는 맡겨도 된다. 그러나 내용을 판별하기 어려운 의료, 법률, 재무 판단을 통째로 넘기면 잘못을 발견할 기회도 사라진다. Anthropic 조사에서도 자동화를 많이 쓰는 사람일수록 AI에 맡길 수 있다고 보는 업무 범위가 넓었다. 생산량이 늘수록 검증은 오히려 줄 수 있다.
결국 AI를 얼마나 많이 맡기느냐보다 잘못됐을 때 얼마나 빨리 중단하고 되돌릴 수 있느냐가 더 크게 좌우한다. 이 기술적 전환기에는 더 큰 지능보다 계측, 제한, 회수의 질서가 먼저 필요하다.
특히 자동화가 익숙해질수록 사람의 검증 감각도 달라진다. 조직의 안전 수준은 평상시의 성능보다 예외가 발생한 순간 사람이 개입할 여지가 얼마나 남아 있는지에서 드러난다.