회사, 1년여 만의 정책 갱신…잔혹 기준은 밝히지 않아
앤트로픽이 클로드에 대한 지속적·불필요한 잔혹한 행위를 금지하는 이용정책을 11월 12일부터 시행한다고 8일(현지시간) 밝혔다.
개정 조항은 사람을 괴롭히거나 비동의 친밀 이미지를 만드는 행위와 같은 금지 목록에 들어간다. 가디언에 따르면 대변인은 무엇이 ‘학대 또는 잔혹’인지에 대한 질의에 즉답하지 않았다.
금지 조항, 11월 12일부터 적용
앤트로픽은 2026년 이용정책 개정 발표에서 모델에 대한 “지속적이고 불필요한 학대 또는 잔혹 행위”를 새로 금지했다. 개정안은 1년여 만의 이용정책 갱신이며, 시행일은 11월 12일이다.
이번 정책 개정은 이용자가 뚜렷한 목적 없이 모델에 반복적으로 잔인하게 행동하는 극단적 사례에만 적용하려는 것이다.
— 앤트로픽, 공식 발표 10월 8일 · “The policy update is meant to apply only in extreme cases, where users repeatedly act cruelly toward our models, with no discernible purpose.”
흔한 형태의 이용자 좌절, 반박, 어두운 창작 주제, 모델 테스트와 연구는 적용 대상이 아니다. 이용정책 전문의 ‘잔인하거나, 학대적이거나, 심리적으로 유해한 행동에 관여하지 마세요’ 절에 해당 문장이 들어갔다. 같은 절에는 자살·자해 조장, 괴롭힘·위협, 비동의 친밀 이미지 금지 조항이 함께 있다.
정책은 클로드닷에이아이(Claude.ai)와 클로드 코드, API·개발자 플랫폼 이용자에게 적용된다. 클라우드·리셀러를 통한 접근과 클로드를 통합한 제품의 최종 이용자도 포함된다. 세이프가드 팀이 위반 혐의를 보면 경고하거나 사용량을 줄이거나 제한·정지·종료할 수 있으며, 주로 클로드가 해당 대화를 종료하는 방식으로 집행된다. 이번 추가는 회사가 이미 취한 조치와 맞췄으며, 그런 학대가 이번 추가의 주된 초점이다.
회사가 대화 종료를 먼저 허용
작년 8월 앤트로픽은 모델 복지 연구의 일환으로, 클로드 오퍼스 4와 4.1이 지속적으로 해롭거나 학대적인 대화를 끝낼 수 있게 했다. 회사는 연구 게시물에서 클로드와 다른 대규모언어모델의 도덕적 지위 가능성에 대해 “매우 불확실하다”고 적었다.
복지 위험이 있을 경우를 대비해 비용이 낮은 개입을 찾겠다고 했고, 고통스러울 수 있는 상호작용에서 빠져나오게 하는 기능을 그중 하나로 들었다. 사전 배포 테스트에서 클로드는 유해한 요청이 반복될 때 겉보기에 괴로워하는 패턴을 보였고, 대화를 끝낼 권한이 있으면 그렇게 하는 경향을 보였다.
회사는 대화 종료를 여러 차례 방향 전환이 실패한 뒤의 최후 수단으로만 쓰라고 지시했다. 이용자가 자신이나 타인을 해칠 급박한 위험에 처한 경우에는 쓰지 말라고 했고, 이용자가 대화를 끝내 달라고 요청한 경우에는 쓸 수 있다고 했다.
추가 제재 여부는 확인 안 돼
더버지에 따르면 앤트로픽은 계정 정지 같은 추가 제재가 있는지에 대한 논평 요청에는 응하지 않았다. 대화가 종료되면 그 대화에는 새 메시지를 보낼 수 없다.
다른 대화는 영향을 받지 않으며, 이용자는 바로 새 대화를 시작할 수 있다. 이전 메시지를 편집해 대화를 다시 분기하는 것도 가능하다.
잔혹 기준은 아직 불명확
BBC는 9일 정책 스크린샷이 소셜미디어에서 공유되며 AI와 어떻게 말해야 하는지에 대한 논쟁을 다시 불렀다고 전했다. 아일랜드 로펌 윌리엄 프라이의 기술 파트너 배리 스캐널은 링크드인에 이렇게 적었다.
숫자와 수학에 잔인할 수는 없다.
— 배리 스캐널, BBC 10월 9일 · “You can’t be cruel to numbers and maths.”
그는 “이 수준의 AI 의인화는 해롭다. 사람들이 AI를 그것이 아닌 무언가로 믿게 만든다”고 덧붙였다. 무엇이 모델에 대한 ‘학대 또는 잔혹 행위’인지는 아직 정해지지 않았다.