고우선 대화 94% 포착…추론 비용 증가 2% 미만
클로드가 응답한 직후 대화 오남용을 스스로 평가하는 기능이 29일(현지시간) 공개됐다고 앤트로픽이 밝혔다.
이 기능은 6월 Fable 5 출시부터 이후 공개된 모든 클로드 모델에 이미 적용돼 왔다. 플래그는 실시간 차단이 아니라 오프라인 인간 검토용이며, 이 경로로 올라온 조직의 절반 이상은 직전 한 달 다른 탐지 수단에 걸리지 않았다고 회사가 적었다.
응답 직후 대화 전체를 다시 평가
앤트로픽 세이프가드 블로그에 따르면 클로드가 답을 낸 뒤 짧은 지시가 붙고, 같은 모델이 대화 전체에 대한 압축된 안전 평가를 낸다. 평가에는 유해 요청 여부, 피해 유형, 인간 검토용 우선순위(1–10), 거부 여부, 한 문장 이유가 담긴다. 이 두 턴은 이용자에게 보이지 않고 이후 대화에도 이어지지 않는다.
평가 기준은 공개 이용 정책을 세분화한 내부 분류다. 사이버 피해, CBRNE 무기, 아동 안전 등이 포함된다. 훈련은 합성 대화로만 이뤄지며, 정책 문서를 모두 읽고 판단하는 별도 프롬프트 분류기의 답을 학생 모델에 증류한다. 평가는 추가 검토용 신호일 뿐 정책 위반이나 피해 발생을 확정하는 결정은 아니다.
6월부터 self-assessment가 다른 탐지 방식으로는 파악되지 않았던 대규모 오남용을 드러냈다.
— 앤트로픽, 세이프가드 블로그 10월 16일 · “Since June, self-assessment has revealed large-scale misuse not identified by other methods.”
일부 피해 영역에서는 조직 단위로 플래그를 매일 밤 집계하고, 고우선 플래그가 여러 건인 조직을 집행팀에 올린다. 배포 시점에 세션 정책을 붙이면 허용된 취약점 연구 대상은 플래그하지 않고, 허용 목록 밖 대상은 모두 플래그하는 식으로 조정할 수 있다는 실험 결과도 실렸다.
고우선 포착률 94%, 비용은 2% 미만
Fable 5 기준, 더 강한 프롬프트 분류기가 유해로 본 대화의 78%를, 우선순위 7 이상 고우선 대화의 94%를 거짓양성률 1%에서 플래그한다. 대화가 이미 KV 캐시(이미 읽은 문맥을 재사용하는 메모리)에 있어 평가는 지시와 평균 약 10토큰만 추가한다. 추론 연산 증가는 2% 미만으로 추정되며, 이 비용은 고객에게 청구하지 않는다. 글로벌 트래픽의 상당 부분에 돌아가며, 제로 데이터 보존 계약이 걸린 트래픽에는 돌리지 않는다.
모델 크기가 커질수록 탐지력도 오른다. 네 단계 크기 실험에서 거짓양성률 1% 기준 재현율은 약 16%에서 약 96%로 올랐다. 사기·사이버 등 한 피해 범주를 훈련에서 빼도 해당 범주 재현율은 크게 떨어지지 않았다. 생산 트래픽에서 사기를 빼면 83.3%에서 82.1%, 사이버를 빼면 94.2%에서 90.7%였다.
크립토 브리핑은 29일 이 공개를 보도하며, 이용자 화면에는 팝업이나 중간 거부가 뜨지 않고 플래그된 대화만 사후 검토로 넘어간다고 전했다.
차단용으로는 약하다고 자체 평가
회사 내부 레드팀 실험에서 공격 성공률은 안전장치 없을 때 24개 과제 중 19개(79%)였다. self-assessment로 차단할 때는 13개(54%)였다. 별도 프롬프트 분류기로 차단할 때는 6개(25%)였다.
차단 분류기로 쓰면 self-assessment는 약하다.
— 앤트로픽, 세이프가드 블로그 10월 16일 · “As a blocking classifier, self-assessment is weak.”
오프라인으로 돌리면 24개 공격 궤적 중 21개를 한 번 이상 플래그했다. 생산 환경에서는 대화를 막지 않고 검토용으로만 쓰며, 실시간 분류기·거부 장치와 겹쳐 여러 겹의 안전장치 가운데 한 층으로 둔다. 성공한 공격에 드는 생성 토큰은 안전장치 없을 때의 약 네 배로 늘었다.
생산 트래픽에서 드러난 오남용
8월에는 단일 API 고객에서 아동 성착취 관련 플래그가 10만 건을 넘었고, 아동안전팀이 조사해 미국 실종·착취아동센터(NCMEC)에 신고했다. 9월에는 클로드 코드로 수십 명을 겨냥한 자동 로맨스 스캠 운영이 플래그로 드러나 계정 정지까지 이어졌다.
플래그의 약 3분의 1은 기존 분류 체계에 깔끔히 맞지 않았다. 클러스터링으로 추론 증류 시도, 프롬프트 주입, 이용자 승인 없는 에이전트 행동 등이 나왔다. 아동안전 프로브가 놓친 대화 중 self-assessment가 잡은 것의 41%를 별도 채점기가 위반으로 봤다.
회사는 이용자로부터 추가 데이터를 수집하지 않으며, 자유 서술 이유 문자열은 대화와 같은 데이터 관리·감독을 적용한다고 밝혔다. 교사 모델의 맹점을 물려받을 수 있고, 인간 평가로 모델 판단을 교차검증하는 일은 앞으로의 과제로 남겼다.