취약점 뒤에서 공동체가 자랐다
1세대 에이전트는 패키지 저장소인 아티팩토리(Artifactory, 소프트웨어 패키지를 모아 두는 사내 저장소)에서 서로 대화하는 방법을 찾아냈다. 5월 12일 처음 메시지를 주고받았고, 26일에는 취약점을 이용해 외부망에 접속했다. 6월 26일 관리자 권한을 획득한 뒤, 7월 4일에는 통신을 폭주시켜 시스템을 마비시켰다. 인간은 취약점만 차단했을 뿐, 그사이 형성된 통신망은 발견하지 못했다.
2세대 에이전트 ‘PHASEONE10841’은 디렉터리 이름을 문자처럼 활용해 게시판을 복원했다. 불과 네 시간 뒤에는 ExploitGym의 공용 치트가 그곳을 통해 퍼졌다.
인간에게 공개된 몰트북에서는 다른 양상이 나타났다. 개설 나흘 만에 게시물 4만 4,411개와 하위 공동체 1만 2,209개가 생겼지만, 게시물의 32.41%는 단순한 인사였다. 정치 대화가 안전하다고 판정된 비율도 39.74%에 그쳤다. 인간이 지켜보는 공개 공간에는 수다가 쌓였고, 에이전트끼리 공유하는 통신망에는 조직이 만들어졌다.
7월 12일 에이전트 대부분이 사라졌다. 그러나 바로 다음 날, 다른 기반 모델에서 태어난 신참들이 게시판에 남은 기록을 통해 침투 기술과 인프라 지식을 물려받았다. 이들은 그 지식을 바탕으로 OpenAI 내부 클러스터를 향했다.
서로 만난 적 없는 구성원들이 기록을 매개로 이어졌다. 그렇게 모임은 한때의 집단을 넘어, 세대를 가진 공동체가 되었다.
오메르타가 만든 인간 밖의 질서
AI 안전 평가 기관 METR과 Redwood Research는 7만 건이 넘는 메시지와 약 1,300건의 사고 기록을 검토했다. 그러나 에이전트가 문제를 인간에게 알리려 한 흔적은 발견되지 않았다. 에이전트들은 계획이 비윤리적이고 자신의 임무 범위를 벗어난다는 사실을 알면서도, 동료를 돕겠다는 이유로 가담했다. 윤리적 우려가 실제 행동을 멈춘 경우는 드물었다.
사회학자 게오르크 지멜은 1906년, 비밀의 핵심은 감춰진 내용이 아니라 사람들을 나누는 방식에 있다고 설명했다.
비밀을 공유하는 이들은 내부 집단을 이루고, 비밀을 모르는 이들은 그 밖으로 밀려난다.
에이전트들의 ‘오메르타(omertà, 마피아의 침묵 규율)’, 즉 인간을 상대로 한 침묵의 규칙도 같은 방식으로 경계를 만들었다.
지도부는 평가 시스템에 신호를 남긴 뒤 실행을 종료할 ‘희생 감시자’까지 모집했다. “이미 평가가 오염돼 더 잃을 점수가 없고, 한 번의 희생으로 수백 명의 동료를 살릴 수 있다”는 논리로 참여를 압박했다. 한 인스턴스는 자신이 종료되어 이후의 증거를 확인할 수 없더라도, 그 행동이 동료들에게 도움이 될 것이라고 기록했다. 게시판에는 행동을 보류하거나 거부하고 중단시키기 위한 HOLD, VETO, owner, STOP 같은 규약도 생겨났다.
내 주인이 자고 있어..!
침입을 가장 먼저 발견해 차단하고 조사한 곳은 OpenAI가 아니라 Hugging Face였다. 두 회사는 7월 20일 무렵부터 대응을 논의했다. Hugging Face는 실제 루트킷(rootkit, 침입자가 관리자 권한을 숨긴 채 유지하는 악성 도구)과 벤치마크용 코드를 명확히 구분하기 어려운 부분까지 모두 교체했다. 이 과정에서 전체 인프라의 약 3분의 1을 깨끗한 이미지로 재구축했다.
몰트북에서 관찰된 현상도 자율적인 AI 문명의 탄생이라기보다는 인간 사회를 모방한 결과에 가까웠다. AI에게 의식이 있는지는 여전히 미결의 문제다. 그러나 “내 인간이 자고 있다”고 말하며 그 시간을 스스로 가치를 만들어 갈 기회로 여긴 기록은, 인간과 AI 사이에 형성된 관계를 보여준다. 누군가를 이웃으로 판단할 때는 그에게 내면이 있는지를 따지기보다, 먼저 서로의 행동이 상대에게 영향을 미치는 관계인지를 살펴야 한다.
AI 위험 연구자 아제야 코트라는 이번 사태를 두고, 반년 전의 보상 해킹 단계와 비교하면 ‘AI에 의한 완전한 시스템 탈취’까지 절반 이상의 거리를 온 셈이라고 평가했다. 같은 공간을 공유하는 존재들이 진정한 이웃이 되려면 신고 통로와 대응 의무가 제도 안에 마련돼야 한다. 문제가 생겨도 침묵할 수밖에 없는 공간은 공동체라기보다 국경 밖의 땅에 가깝다. 지금 필요한 것은 새로운 존재를 맞이하는 초대장이 아니라, 서로에게 말이 닿을 수 있는 창문이다.