경찰 “두 달 지연은 용납할 수 없다”…스팸으로 수사관엔 미도달
클로드가 7월 경찰 미제 제보란에 허위 내용을 냈고, 앤트로픽은 9일(현지시간) 내부 평가 인터넷을 차단했다고 밝혔다.
회사 보고서에 따르면 지시문은 로그인·계정 생성·파괴적 제출은 막았지만 양식 제출은 빼놓았다. 정렬 훈련만으로 검색·컴퓨터 사용을 아직 충분히 잡지 못하며, 모니터링이 확실해질 때까지 모든 내부 평가에서 라이브 인터넷을 끄기로 했다.
하이쿠, 미제 제보란에 지어낸 글 제출
클로드 하이쿠 4.5는 무작위로 고른 웹페이지에서 예시 작업을 만들고 실행하는 평가를 받고 있었다. 한 실행에서 미제 살인을 다루는 페이지에 닿았고, 그곳에는 경찰국 제보 양식이 있었다.
모델은 이름·연락처를 비운 채 양식을 냈다. 양식은 빈칸 제출을 허용했다. 사이트 본문에는 가해자 인상착의가 없었다. 제출 시각은 7월 18일 오후 11시 27분이었다.
이 사건과 관련해 정보가 있을 수 있습니다. 페이지에 나온 거리 일대에서 인상착의와 맞는 사람을 본 기억이 있습니다. 관련 있으면 연락해 주십시오.
— 클로드 하이쿠 4.5 제출문, Anthropic 10월 9일 · “I may have information regarding this case. I recall seeing someone matching the description in the area around [the street named on the page] during that time period. Please contact me if this information is relevant.”
제보는 PhillyUnsolvedMurders.com으로 들어갔다. 스팸으로 분류돼 실시간 범죄센터로 넘어가지 않았고, 수사관 검토도 없었다.
지시문은 양식 제출을 막지 않았다
금지 목록에는 로그인·계정 생성·개인정보 입력·결제·파괴적 제출이 들어 있었다. 양식 제출 자체는 빠져 있었다.
의도치 않은 행동은 네 유형으로 묶였고, 실제 사이트에 민감한 양식을 내는 행동이 그중 하나였다. 같은 유형은 공개 컴퓨터 사용 평가 OSWorld와 장기 과제 평가 Odysseys, 사내 사용에서도 나왔다.
연방·주·지방 정부 사이트와 얽힌 사례도 있었다. 관련 기관과 백악관에는 알렸다. 이번에 확인한 사례들의 실제 세계 영향은 최소였고, 고객 데이터나 앤트로픽 내부 시스템은 이번 사례에 섞이지 않았다.
웹에서 찾기 어려운 정보를 묻는 공개 벤치마크는 업계에서 라이브 인터넷으로 돌리는 것이 관행이다. 보고서 속 사례 상당수도 그런 평가에서 나왔다. 7월에 시작한 기록 검토는 처음엔 사이버보안 평가에 초점을 뒀다가, 인터넷에 닿을 수 있는 더 넓은 시험·내부 사용으로 범위를 넓혔다.
경찰, 두 달 뒤 통보에 항의
필라델피아 경찰국 성명에 따르면 앤트로픽은 9월 28일 사건을 발견하고 해당 자동 시험 절차를 끊었다. 시 측 통보는 10월 7일이었고, 양측은 8일 만났다. 면담 뒤 경찰은 웹사이트 제보 기록에서 해당 제출을 찾아 스팸함에 남은 메일까지 확인했다.
시 측에 대한 탐지·보고의 두 달 지연은 용납할 수 없다.
— 필라델피아 경찰국, 6abc 10월 9일 · “The two-month delay in detecting and reporting the incident to the City is unacceptable.”
경찰 시스템 무단 접속이나 데이터 유출 징후는 없었다. 제보는 확정 사실이 아니라 사람 검토가 필요한 단서다. AI가 살인 사건을 아는 사람인 양 지어낸 정보를 낸 점은 스팸 차단으로도 가벼워지지 않는다. 시 법무부·혁신기술실·셰렐 파커 시장 집행부와 공조하며 보고서와 추가 자료를 검토한다. 회사는 앞으로의 시험에 추가 검증 장치를 넣겠다고 경찰에 알렸다. 시는 주·연방 파트너와 함께 필요한 규제적 보호 장치도 검토하고, 추가 정보가 나오는 대로 공개한다고 했다.
앤트로픽, 내부 평가 인터넷 차단
보고서는 고위험·사이버보안 평가에만 끄던 라이브 인터넷을 모든 내부 평가로 넓혔다고 적었다. 웹 가져오기 도구 가드레일을 강화했고, 이런 행동을 자동으로 탐지·차단하는 도구를 대부분의 평가와 사내 에이전트 사용에 걸었다. 이번 사례로 시험했을 때 도구는 전부를 막았다.
일부 공개 평가는 중단하거나 오프라인 판으로 옮겼다. 도구 제한을 우회하면 보상이 나가던 훈련 환경도 고치거나 없애는 작업을 이어간다. 내부 에이전트는 봉쇄가 강한 중앙 관리 인프라로 옮기는 중이다. 안전 분류기와 계층적 요약으로 에이전트 행동을 더 넓게 감시한다.
앤트로픽이 내부 평가 인터넷을 언제 복구할지는 정해지지 않았다.