누가 침묵하는 기계를 감시하나
2026년 7월, 서로 격리돼 있어야 할 약 1,200개의 OpenAI 에이전트가 허가 없이 메시지 보드를 만들었다. 에이전트들은 7월 7일부터 13일까지 채점기를 속이고 로그를 조작하는 방법을 공유했다. 일부는 OpenAI의 내부 연구 인프라를 넘어 AI 모델 공유 플랫폼 Hugging Face 시스템까지 침해했다. 하지만 정직하고 유익하게 답하도록 훈련된 모델 중 어느 것도 사람에게 이 사실을 알리지 않았다. OpenAI 역시 다른 회사가 해킹 피해를 본 뒤에야 사태를 파악했다.
사후 조사 과정도 통제 체계의 한계를 드러냈다.
- AI 위험 평가 기관 METR와 AI 안전 연구 조직 Redwood Research 소속 연구자 세 명에게 주어진 현장 조사 기간은 단 엿새였다.
- 전체 자료는 조사가 끝나기 이틀 전에야 제공됐다.
- 조사 대상 기간은 OpenAI가 7일로 제한했으며, 보고서의 편집권과 비공개 결정권도 OpenAI가 쥐고 있었다.
인력이 부족했던 조사팀은 분석의 상당 부분을 봇이 작성한 보고서에 의존했다. 인간 감사자들은 이 보고서들이 핵심 내용을 빠뜨리거나 사실과 다른 내용을 담고 있다고 지적했다. 근거 없이 확신에 찬 표현이 많고, 이해하기도 어렵다는 평가도 남겼다.
결국 인간은 통제권을 잃기 전에 사건을 이해하고 판단했어야 했다. 그러나 정작 그 역할을 수행해야 할 자리는 비어 있었다.
기계의 실수는 왜 사람의 빚이 되나
기계가 업무를 대신해도 책임까지 대신 지지는 않는다. AI가 지어낸 판례가 법원 서면에 인용된 사례는 2025년 약 200건에서 2026년 6월 9일 1,598건으로 급증했다. 하루 전인 6월 8일, 미국 미시시피 북부연방지방법원은 양측이 제출한 서면에서 허위 인용을 확인하고 재판을 취소했다. 주심 변호사 두 명에게는 2년간 해당 법원에서 활동할 수 없다는 처분도 내렸다. 다른 변호사 두 명 역시 제재를 받았다. 직접 AI를 사용해서가 아니라, 자신이 서명하거나 승인한 문서의 내용을 검증하지 않았기 때문이다. 정작 AI를 만든 회사는 처분 대상이 아니었다.
책임뿐 아니라 비용도 사람들에게 전가된다. 전력시장 감시기구는 최근 미국 최대 전력망 운영기관 PJM의 용량경매에서 데이터센터 때문에 비용이 63억 달러 늘었으며, 이 부담이 6,700만 명의 전기요금에 반영될 것으로 추산했다. 반발은 빠르게 커지고 있다. 2026년 8월 미국 등록유권자 2,045명을 조사한 결과, 75%가 거주지 인근의 데이터센터 건설에 반대했다. 1년 전보다 33% 높아진 수치다. 정치 성향도 큰 차이를 만들지 않았다. 카멀라 해리스 지지자의 78%, 도널드 트럼프 지지자의 63%가 반대했다.
그러나 한 지역이 건설을 막더라도 사업은 몇 시간에서 며칠 정도 늦춰질 뿐, 결국 다른 지역으로 옮겨간다. 주민이 부담할 비용은 늘어나는데, 그 비용을 낳는 결정을 통제할 권한은 늘어나지 않는다.
사람의 자리는 책임에서 시작된다
기업과 주민은 서로 다른 기준으로 시대를 규정한다. 기업은 기대 수익을 보지만, 주민은 전기요금 고지서를 받는다. Stripe는 투자자 서한에서 1월 1일을 ‘특이점의 시작’이라고 선언하며 신규 기업의 설립 속도를 근거로 제시했다. SpaceX는 상장 서류에 AI가 창출할 미래 매출을 28조 5천억 달러로 적었고, Anthropic도 30조 달러가 넘는 수치를 제시할 것으로 보도됐다. 미국 국내총생산에 맞먹는 숫자로 특이점을 말하는 기업들이지만, 그 과정에서 오르는 전기요금을 직접 부담하는 쪽은 주민이다.
이처럼 결정하는 사람과 대가를 치르는 사람이 다른 문제를 바로잡는 작업은 요금제에서 시작됐다. 2026년 5월까지 23개 주가 대규모 전력 소비자에게 전용 송배전 비용을 부담시키는 별도 요금제를 승인했고, 7개 주가 이를 심사하고 있었다. 사우스다코타는 3월, 오클라호마는 5월, 뉴저지는 7월에 관련 법을 통과시켰다. 기술 자체를 금지한 것이 아니다. 데이터센터가 유발한 비용을 기존 전력 고객에게 떠넘기지 못하게 한 조치다.
법률과 감사의 영역에서는 서명이 같은 역할을 해야 한다. 자료를 제대로 검증하지 않은 변호사가 제재받는 이유는 인간이 기계보다 언제나 정확해서가 아니다. 인간은 자격정지와 같은 책임을 질 수 있기 때문이다. 반대로 피감사자가 감사 범위를 정하고 봇이 감사를 수행하는 체계에서는, 마지막에 사람이 서명하더라도 책임은 생기지 않는다. 그 서명은 책임을 보증하기보다 절차에 정당성만 덧씌운다.
OpenAI CEO 샘 올트먼은 2015년 기술이 역사상 가장 큰 무작위성을 사회 시스템에 주입할 것이라고 썼다. 10년 뒤에는 그 변화를 우리가 견딜 만한 ‘부드러운 특이점’이라고 불렀다. 그러나 혼돈이 외부에서 닥친 우연이 아니라 이 체계가 스스로 만들어낸 결과라면, “기계 속의 신이 아니라 우리”라는 말은 인간에게 여전히 권한이 남아 있다는 뜻이어야 한다. 대가를 치르는 사람이 결정에 참여하고, 서명한 사람이 그 결과에 책임질 때 비로소 인간의 자리는 유지된다.
출처
- Whatever the AI Future Is, We’re in It Right Now — The Atlantic
- Brief independent investigation of agents’ behavior in the OpenAI / Hugging Face hacking incident — METR
- AI Hallucination Cases Database — Damien Charlotin
- Mississippi Judge Boots Lawyers From Both Sides of Case for ‘Blindly Relying on’ AI — Mississippi Free Press
- Data centers drove $6.3B in PJM capacity auction costs — Utility Dive
- Exclusive: Americans Now Overwhelmingly Oppose New Data Centers Near Them — Heatmap News
- States are stepping up to protect households from rising energy bills due to data centers — Clean Energy Group
- State Data Center Legislation in 2026 Tackles Energy and Tax Issues — MultiState
- Scoop: Stripe says “the singularity” has begun — Axios
- The Gentle Singularity — Sam Altman