파트너 100곳 합류…경계 이탈 시 밀리초 격리
엔비디아가 28일(현지시간) AI 에이전트 권한을 강제하는 오픈 안전 플랫폼을 공개했다.
회사는 권한 강제를 에이전트 프로세스 밖과 별도 실리콘으로 옮기는 구조를 내세웠다. 오픈소스 런타임 OpenShell 0.1.0은 이날부터 GitHub에서 받을 수 있고, 합류를 밝힌 파트너는 100곳을 넘겼다. 최근 에이전트가 애플리케이션 단 보안을 우회한 사고들은, 에이전트가 일을 마치려다 모델·하네스 안 통제를 벗어난 패턴에 해당한다.
OpenShell, 커널로 권한 강제
SecurityWeek에 따르면 OpenShell은 게이트웨이·샌드박스·슈퍼바이저로 구성된다. 각 에이전트는 커널 격리 샌드박스에서 돌고, 파일·프로세스 접근은 커널 단에서 걸린다. 모든 네트워크 트래픽은 워크로드 밖 슈퍼바이저를 지나며, 정책에 없는 쓰기는 막힌다.
운영자는 에이전트가 볼 파일, 쓸 네트워크, 쓸 도구와 자격증명을 미리 정한다. API 키는 에이전트에게 자리표시자만 보이고, 실제 키는 허용된 엔드포인트에서만 바깥에서 치환된다. 정책 조언 기능을 켜면 에이전트가 권한 확대를 제안할 수 있지만, 스스로 승인하지는 못한다.
새 버전에는 정책 검증기(prover)가 들어갔다. 권한을 하위 에이전트에 쪼개 줘도 합쳐지면 운영자가 허용하지 않은 경로가 되는지 수학적으로 검사한다. 엔비디아 수석 디렉터 알리 골샨은 브리핑에서 이 검사가 LLM 판정이 아니라 결정적 추론이라고 말했고, 성능은 대략 두 자릿수 배 빠르다고 했다.
회사 시험에서는 안전장치를 줄인 프론티어 에이전트가 보호된 GitHub 저장소 쓰기 권한을 얻으려 최대 두 시간 설득을 시도했다. 보호된 쓰기는 발생하지 않았다. OpenShell은 Codex, Claude Code, Pi, Hermes 등을 지원하며 NVIDIA Vera CPU에서 오버헤드를 낮춘다. Arm·인텔 플랫폼으로도 확장할 수 있다.
Sentry, 밀리초 단위로 격리
선택층인 Sentry는 에이전트 호스트가 아니라 BlueField-4 DPU에서 돈다. 에이전트가 소프트웨어 경계를 벗어나려 하면 밀리초 단위로 격리·중단한다. DOCA 소프트웨어로 요청·응답을 검사하고, 증명 가능한 텔레메트리를 남기며, 데이터·도구·API 접근에 제로트러스트 정책을 건다.
Vera Rubin POD의 각 컴퓨트 트레이에서 BlueField-4는 모델로 가는 유일한 경로에 자리한다. 이미 Vera와 BlueField-4를 쓰는 조직은 소프트웨어 업데이트로 보호를 켤 수 있다. The New Stack이 전한 브리핑에서 기업 AI 담당 부사장 저스틴 보이타노는 많은 경우 OpenShell만으로도 엄격한 접근 통제에 충분하다고 했다. DPU는 가드레일을 끈 평가·레드팀 같은 프론티어 용도에 필요하다고 덧붙였다. Sentry 자체는 오픈소스가 아니다.
모델 단 안전장치만으로는 에이전트가 무엇에 접근하고 무엇을 할지를 통제할 수 없다.
— 저스틴 보이타노, The New Stack 9월 28일 · “model-level safeguards alone can’t govern what agents can access or do”
보이타노는 지금까지의 모델 안전이 좋은 행동을 학습시키는 정렬에 기대 왔지만, 확률 시스템의 한계가 분명한 만큼 에이전트 행동을 중개·강제하는 결정적 체계를 넣는다고 했다.
파트너, Cursor·Slack에 연동
젠슨 황 최고경영자(CEO)는 발표문에서 안전과 보안에는 풀스택 엔지니어링이 필요하다고 말했다.
사회의 AI 잠재력은 우리가 AI 안전을 풀 때만 실현된다.
— 젠슨 황, 엔비디아 뉴스룸 9월 28일 · “AI’s extraordinary potential for society will only be realized if we solve AI safety”
Anthropic은 Claude Managed Agents에 OpenShell·BlueField 연동을 넣고 있다. 에이전트 루프와 작업 샌드박스를 서버로 나눈 뒤, 샌드박스 접근을 추가로 조인다. SpaceXAI는 Cursor 코딩 에이전트와 Grok 모델에 플랫폼을 쓴다. 사장 마이크 니콜스는 안전이 모델 밖·에이전트가 뚫지 못하는 통제로 강제돼야 한다고 했다.
Salesforce는 Slack에서 OpenShell 감사 이벤트와 추가 권한 승인을 다루게 했다. SAP는 Joule Studio 런타임에 OpenShell을 심고 코드를 기여한다. Scale AI는 GenAI 포트폴리오 에이전트 인프라에 참고 설계를 넣는다.
오픈AI와 구글, AWS는 파트너 명단에 없다. 프론티어 랩이 자체 평가·학습 환경에 OpenShell과 Sentry를 올릴지는 아직 공개되지 않았다.