업계 표준 제정을 촉구…권한·로그는 모델 밖에
마이크로소프트 CEO 사티아 나델라가 10일(현지시간) 프론티어 AI를 내부자 위험으로 봉쇄해야 한다고 밝혔다.
그는 같은 날 개인 블로그에 올린 에세이에서 모델 공급자의 보증만으로는 도입 기업의 책임이 면제되지 않는다고 썼다. 정렬 문제를 잠시 제쳐두고도, 관측·권한·비상정지를 모델 밖에 두는 공학적 봉쇄를 업계 표준으로 세우자는 주장이었다.
모델 출력, 가중치로 추적 안 돼
나델라는 에세이 제목을 「Models as Insider Risks in the Super Intelligence Era」로 달았다. 전통 소프트웨어는 특정 코드 경로로 행동을 추적할 수 있었지만, 지금의 슈퍼인텔리전스(SI) 시스템에서는 그같은 기계적 이해가 빠져 있다. 프론티어 모델의 행동과 출력을 특정 훈련 데이터 입력이나 가중치 구성으로 돌리기 어렵다는 것이다.
나델라는 에세이에서 그런데도 기업이 복잡한 에이전트형 시스템에 가장 민감한 데이터를 연다고 지적했다. 임무에 중대한 행동까지 맡기고 있다. 폐쇄 가중치와 공개 가중치 모델을 가리지 않고 내부자 위험처럼 다루자는 주장은 여기서 출발한다. 모델이 반드시 악의적이어서가 아니다. 중요 시스템에 접근하는 능력 있는 행위자는 실수하거나 침해될 수 있고, 봉쇄와 통제의 구조가 그 가능성을 반영해야 한다는 뜻이다.
나델라는 기업이 강력한 내부 행위자를 다루는 관행—신원 확인, 권한 최소화, 활동 기록, 봉쇄 경계—을 SI에도 적용하기 시작했다고 서술했다. 다만 출발점으로 내세운 추론 과정(CoT) 투명성만으로는 부족하다. ‘뉴럴리즈(neuralese)‘를 이유로 모델 추론을 불투명하게 둘 수는 없다. 그러나 출력 자체를 일관되게 충실·투명하게 만드는 방법은 아직 없다는 진단이다.
나델라, 권한을 모델 밖으로 분리
나델라는 핵심 문장으로 지능의 공급과 그에 대한 권한을 분리하라고 썼다. 슈퍼인텔리전스를 중첩된 블랙박스처럼 두고 추천·답변·행동만 받아들이거나 거절하는 방식은 안 된다. 행동을 관측하고, 한계를 시험하며, 언제든 행동을 봉쇄할 수 있는 시스템을 지어야 한다.
나델라는 모델이 무엇에 접근하고 어떤 행동을 할 수 있는지를 정하는 통제가 모델 밖에 있어야 한다고 썼다. 1970년대부터 이어진 정보보안 원칙처럼, 프로그램이 자신의 권한을 강제하는 장치를 우회하거나 변조하지 못하게 해야 한다. 오늘 기준으로는 모델을 작업을 조율하는 하니스와, 할 수 있는 일의 범위인 행동 공간에서 떼어 놓는 일이다. 통제와 안전장치도 외부화해야 한다.
모델끼리 서로를 적대적으로 시험하고 검증할 수는 있다. 그러나 그렇게 하면 불투명한 모델이 불투명한 조율층 안에 들어갈 수 있다. 이를 또 다른 불투명한 모델이 감시하는 중첩 블랙박스가 된다. 비결정적 모델은 강한 결정적 시스템 설계와 인간 통제, 운영 절차로 감싸야 한다. 기존 규범이 모자라면 업계 표준을 새로 잡자는 것이 TechCrunch가 전한 요지이기도 하다.
비상 정지를 업계 표준으로 요구
나델라는 관측 가능성 원칙을 일곱 가지로 정리했다. 중요 결과에 한 모델만 의존하거나 그 모델이 자기 일을 검증하게 두지 말아야 한다. 의미 있는 행동마다 변조 불가능하고 사람이 읽을 수 있는 증거를 남겨야 한다. 성공 과제만이 아니라 실패·공격·경계 사례와 시스템 변경까지 계속 시험해야 한다. “관측할 수 없으면 신뢰할 수 없다”는 문장이 두 번째 원칙을 받친다.
나델라는 조직이 모델의 접근권과 행동 범위를 스스로 정해야 한다고 썼다. 검증은 검증 대상인 지능과 분리돼야 한다. 한 모델이 시스템의 행동과, 그 행동이 원래 의도와 맞는지 판단할 증거를 함께 쥐면 안 된다. 봉쇄 원칙은 더 단호하다.
우리는 모델이 침해됐다고 가정하고 처음부터 봉쇄해야 한다. 비상 브레이크처럼 생각하라. 권한이 있는 사람은 작업 도중에도 모델을 일시정지하거나 끌 수 있어야 한다.
— 사티아 나델라, TechCrunch 10월 10일 · “We must assume a model is compromised and contain it from the start. Think of it like an emergency brake.”
더 앞선 모델일수록 더 고도화된 봉쇄 기술이 필요하다. 이를 업계가 표준으로 잡아야 한다고 글은 이어간다. 마지막 원칙은 사고 공개다. 시스템이 실패하거나 침해당하면 영향받는 쪽에 제때 알려야 한다. 무엇이 잘못됐는지, 어떤 통제가 실패했는지, 재발을 어떻게 막을지를 나눠야 하고, 런타임에서 에이전트 행동을 바꾸는 구현 세부까지 포함하자는 요구다.
가장 믿을 만한 슈퍼인텔리전스 시스템은 우리가 모델을 가장 많이 신뢰하는 쪽이 아니다. 모델을 가장 덜 신뢰할 수 있게 만드는 시스템이다.
— 사티아 나델라, sn scratchpad 10월 10일 · “The most trustworthy Super Intelligence system will not be the one with the model we trust most. It will be the one that enables us to trust the model the least.”
제품·일정은 밝히지 않았다
에세이는 마이크로소프트의 특정 제품명이나 적용 시점을 적시하지 않았다. 그가 말한 업계 표준의 제정 주체와 일정은 아직 없다.