Osmani, 검증을 완료 조건으로 제시…중문권 가이드도 화제
Claude 코드 리뷰를 슬롯머신에 비유한 글이 11일(현지시간) 퍼졌고, Anthropic 엔지니어가 ‘완료’의 정의로 답했다.
Anthropic의 공식 Code Review는 PR을 승인하지 않으며 “그건 여전히 인간의 결정”이라고 적어 두었다. 사내 도입 뒤 실질적 리뷰 코멘트가 달린 PR 비율은 16%에서 54%로 올랐다.
리뷰할수록 새 버그가 나온다
개발자 Lucas는 11일 X에 Claude 코드 리뷰를 슬롯머신에 비유하는 글을 올렸다. 게시물은 약 12시간 안에 조회 67만 회, 좋아요 6,600건, 답글 680건을 넘겼다.
Claude에 코드 리뷰를 맡기는 것은 슬롯머신이다. 매번 새 버그를 찾고, 다시 돌리면 또 나오며, 열 번째에도 뭔가를 찾는다. 버그가 바닥나지 않는데, 코드가 실제로 끝났다고 어떻게 판단하나.
— Lucas, X 10월 11일 · “Asking Claude to review your code is a slot machine. Every review finds brand new bugs. Review again: more. Review a tenth time: it still finds something. It never runs out of bugs to find… so how do you decide your code is actually done?”
답글 다수는 특정 프롬프트나 모델 버전 대신, 끝의 기준이 없다는 쪽에 모였다. 인용 게시물도 90건을 넘겼다.
Osmani, 검증을 완료 조건에 묶다
Anthropic에서 Claude Code를 다루는 Addy Osmani는 같은 날 이 글을 인용했다. 에이전트에서 좋은 결과를 얻으려면 검증이 가장 중요하며, 코드 리뷰를 시작하기 전에 ‘완료’를 분명히 정의해야 한다고 답했다. 버그를 찾으라는 요청만 받은 리뷰어는 사람이든 에이전트든 여전히 개선할 점을 집어낼 수 있다고 했다. Claude가 돌릴 수 있는 검사(셸 명령, 테스트, 브라우저로 앱 클릭)를 주고 끝났다고 말하기 전에 그것도 통과시키라고 덧붙였다. 머지와 배포를 막는 것이 없을 때라는 게 그의 기준이다.
그가 앞서 쓴 글에 따르면 줄 단위 인간 리뷰가 줄어드는 대신, 읽지 않은 코드를 믿을 근거는 검사와 소유권에 둬야 한다. 2026년 2분기 Anthropic 엔지니어의 하루 머지량은 2024년 대비 약 8배에 달했고, 그 속도에서는 모든 줄을 꼼꼼히 읽는 방식이 버티지 못한다.
Anthropic, 승인 권한은 인간에게
멀티에이전트가 PR의 버그를 찾고 검증한 뒤 심각도로 순위를 매긴다. 평균 리뷰 시간은 약 20분이다. 1,000줄이 넘는 대형 PR에서는 84%가 지적을 받고, 엔지니어가 잘못된 지적으로 표시한 비율은 1% 미만이었다.
Osmani가 O’Reilly Radar에 재게재한 에이전트 코드 리뷰 글에서는 쓰기의 병목이 풀린 뒤, 코드를 믿을지 말지를 정하는 일이 가장 영향력 큰 기술로 남았다고 했다.
같은 날, 검증을 스킬로 묶는 가이드
중국어권에서는 개발자 Chasen Liao가 같은 날 Agent 엔지니어 입문 가이드를 정리해 올렸다. 기술 스택 요약에 따르면 학습 모듈마다 프로젝트와 수락 기준을 짝지었고, 프롬프트 수정 전후 비교·테스트 문항·한 줄 기동 같은 검증 가능한 산출을 요구했다. 원 게시물은 북마크 약 1,500건을 기록했다.
Anthropic은 이번 논쟁에 대해 별도 제품 발표나 정책 변경을 내놓지 않았다. 개별 팀이 완료 정의와 실행 가능한 검증을 얼마나 문서화할지는 아직 정해지지 않았다.