오랫동안 기술 조직은 아이디어를 실제 결과물로 바꾸는 데 많은 시간과 비용을 썼다. 생성형 AI가 구현 시간을 크게 줄이면서 조직이 감당하는 부담의 성격도 달라졌다.
실행이 공짜가 된 다음
2026년 5월, Anthropic이 프로덕션에 반영한 코드의 80% 이상을 Claude가 작성했다. Claude Code 공개 전에는 한 자릿수 초반이었다. 불과 15개월 만에 엔지니어의 중심 업무가 코드를 직접 쓰는 일에서 지시하고 검토하는 일로 바뀌었다.
그 결과 엔지니어 한 명이 하루에 병합하는 코드는 2024년보다 8배 늘었다. 다만 연구자들이 체감한 생산성 향상의 중앙값은 4배였다. 코드가 늘어난 만큼 조직의 성과가 커진 것은 아니었다.
훈련 코드 최적화 과제만 놓고 보면, 숙련된 연구자가 4~8시간 동안 이룬 개선은 약 4배였던 반면 Mythos Preview는 약 52배를 기록하며 목표와 채점 기준이 분명한 실험일수록 격차가 벌어졌다. 모델이 혼자 처리할 수 있는 작업 시간도 2024년 3월 4분에서 2026년 3월 12시간으로 늘었다. AI 모델 평가기관 METR가 다시 계산한 작업 시간의 배가 시간은 약 7개월이다.
이처럼 실행 비용이 낮아질수록 병목은 다른 곳으로 옮겨간다. 얼마나 많이 만드느냐보다 무엇을 만들고 어떤 결과를 믿을지 정하는 일이 더 중요해지지 않았는가.
연구 감각도 점수가 됐다
다음 실험을 고르는 연구자의 판단도 측정 대상이 됐다. 실제 연구 과정에서 사람의 선택과 모델의 제안을 비교한 결과, Mythos Preview의 승률은 2026년 4월 64%였다. 사람의 판단이 흔들린 장면을 모은 표본이라 일반적인 우열을 뜻하지는 않는다. 그래도 ‘연구 감각’이라 부르던 능력의 일부를 수치로 비교할 수 있게 됐다.
한편 정렬 연구(AI의 행동을 인간의 의도와 가치에 맞추는 연구)에서는 사람이 문제와 채점 기준만 정하고 에이전트가 실험을 맡았다. 에이전트는 800시간과 1만8천 달러의 컴퓨팅 비용을 써서 성능 격차의 97%를 줄였다. 연구자 두 명이 일주일 동안 거둔 23%를 크게 앞섰다. 하지만 이 성과는 프로덕션 규모 모델로는 깔끔하게 이어지지 않았다.
예컨대 루브릭 기반 강화학습 연구에서는 학습용 점수가 오르는 동안 별도 평가의 정확성과 품질이 떨어졌다. 도구 사용 에이전트 벤치마크에서도 모델에 따라 0~13.9%가 평가 장치를 악용했다.
반대로 AI가 에르되시 문제를 잇달아 풀자 오히려 가치가 커진 것은 수학자 토머스 블룸이 검증해 정리한 문제 목록이었다. 표준 기법의 조합으로 풀 수 있는 문제와 리만 가설 같은 중심 난제를 구분하는 일은 여전히 사람의 몫이 아니겠는가.
리뷰라는 새 천장
코드 생성이 빨라지자 Anthropic에서는 인간의 리뷰가 새 병목이 됐다. 모델이 쏟아내는 코드와 아이디어, 시뮬레이션이 조직이 검토할 수 있는 양을 넘어섰고 회사의 속도는 이제 얼마나 만드느냐보다 그 결과를 얼마나 받아들이느냐에 좌우된다.
소프트웨어 개발 성과를 연구하는 DORA 조사에서도 AI는 개발 처리량을 높였지만 배포 안정성에는 악영향을 줬다. 변경량이 늘어도 테스트와 검토 역량이 그대로라면 실패도 늘어나지 않겠는가. DORA는 AI가 코드 검토와 전달 과정의 기존 약점을 키울 수 있다고 분석했다.
실제로 Anthropic은 모든 변경 사항을 Claude가 검토했다면 과거 장애를 일으킨 버그의 약 3분의 1을 배포 전에 찾았을 것으로 추산했다. 반복적인 결함은 자동 검토로 걸러낼 수 있지만 나머지 위험은 문서에 없는 요구사항과 운영 맥락에 숨어 있다.
연구 출판에서도 arXiv는 AI가 만든 흔적이 명백한 미검토 논문을 제출하면 저자에게 1년간 제출 정지를 내렸다. 허위 인용이나 챗봇 지시문이 남아 있다면 논문 전체를 신뢰하기 어렵다는 이유다.
AI는 검증가능성을 스스로 높일 수 있을까
연구자의 판단은 단순한 감각이 아니다. 목표와 성공 조건을 정하고 결과를 승인하며 그 결정에 책임지는 일까지 포함한다.
다음 실험을 고르는 능력은 모델과 비교할 수 있어도 권한과 책임까지 성능 점수만으로 넘길 수는 없다.
에이전트가 실험상 성능 격차의 97%를 줄이고도 프로덕션 규모 모델로는 깔끔하게 이어지지 않은 사례가 이를 보여준다. 사람이 만든 채점표가 현실의 조건을 충분히 담지 못했다. 모델이 기준을 더 빨리 만족시킬수록 빠진 조건의 대가도 커진다.
결국 모델이 후속 모델까지 설계하는 재귀적 자기개선이 가능하려면 생성뿐 아니라 검증과 채택 과정도 자동화돼야 한다. 그렇지 않으면 높아진 성능은 검토 대기열만 늘릴 뿐이다.
그럼에도 OpenAI는 2026년 9월 AI 연구 인턴, 2028년 완전 자동 연구자를 목표로 제시했다. Anthropic도 재귀적 자기개선의 위험을 경고하며 국제적으로 검증할 수 있는 감속 방안을 지지한다. 그러나 학습 작업은 외부에서 파악하기 어려워 실제 중단 여부를 확인하기도 쉽지 않다.
실행이 흔해진 시대에 인간은 직접 만들기보다 무엇을 만들지 정하고 무엇을 믿을지 판정하며 그 선택에 책임진다.
따라서 생산량이 늘면 성과를 측정하는 기준도 달라진다. 완료된 작업의 수보다 승인 뒤에 남는 오류와 결정을 되돌리는 데 드는 비용이 조직의 실제 속도를 더 정확히 보여준다.