검증자 법칙, 해결보다 확인이 먼저다
AI의 실질적인 효용은 답을 얼마나 빨리 만드느냐보다 그 답이 맞는지 얼마나 싸게 확인할 수 있느냐에 달려 있다.
3D 프린터용 어댑터 설계는 출력해 끼워 보면 정답인지 금방 알 수 있다. 설명과 추론을 처음부터 읽을 필요가 없다. 해결은 어려워도 확인이 쉬운 과제부터 AI가 잘 다룬다는 것이 검증자 법칙 이다.
세무 신고서와 법률 문서, 원고는 전문가가 거의 전부를 다시 읽어야 한다. 법원이나 재판기관이 AI가 만든 허위 판례 인용을 확인한 누적 사례는 2026년 1월 719건에서 6월 9일 1,598건으로 늘었다. 단순 의혹은 집계에서 제외된다.
2026년 5월 Claude 대화에서 콘텐츠 창작과 카피라이팅은 전체 요청의 22.7%로 가장 큰 비중을 차지했다. 하지만 글은 사실, 논리, 어조를 사람이 다시 살펴야 한다. 많이 쓰인다고 반드시 많은 시간을 아끼는 것은 아니다.
직업의 이름보다 업무 구조가 검증 비용을 결정한다. 같은 업무도 오류를 자동으로 잡는 장치가 있으면 검증 비용이 낮아진다. 반대로 그런 장치가 없으면 AI가 초안을 빨리 만들어도 사람이 절약하는 시간은 적다.
아낀 시간의 40%가 되돌아온다
Workday가 AI 사용자 3,200명을 조사한 결과 AI로 아낀 시간의 약 40%가 오류 수정과 재확인에 다시 들었다. 일상적으로 AI를 쓰는 직원의 77%는 사람이 한 작업만큼 또는 그보다 꼼꼼하게 결과를 검토했다. 재작업 비용을 빼야 실제 생산성 향상을 알 수 있다.
2025년 METR의 무작위 대조 실험에서 숙련된 오픈소스 개발자들은 AI를 쓸 때 작업 시간이 실제로 19% 늘었지만 자신은 20% 빨라졌다고 판단했다. 체감 속도와 측정값이 반대로 움직였다.
검수에 시간을 돌려줘도 장시간 감시 중에는 맥워스 시계 실험에서 30분 만에 신호 탐지율이 10~15% 떨어졌다. 유방촬영 판독 실험에서는 경험이 적은 방사선과 의사가 숙련된 의사보다 부정확한 AI 정보에 유의하게 더 흔들렸으며 오류를 놓치는 정도는 세 그룹 사이에 차이가 없었다. 숙련자도 반복 검수 중에는 오류를 놓친다.
W. Edwards Deming은 완제품의 전수검사보다 생산 과정에서 품질을 확보하라고 강조했다. 이 원칙 은 AI 업무에도 적용된다. 완성된 초안을 매번 통독하는 대신 생성 과정에 제약과 검사를 넣는다.
싼 검사는 정해진 조건만 판정한다
검증 비용은 업무 자체가 아니라 환경에 따라 달라진다. 같은 코드라도 테스트, 타입 검사, 지속적 통합(CI)이 갖춰진 저장소에서는 AI가 만든 여러 후보를 자동으로 걸러 낸다. 이런 장치가 없으면 코드를 확인하는 비용이 직접 작성하는 비용에 가까워진다.
생물학에서는 실험이 검사기 역할을 한다. 자율 단백질 결합체 설계에서는 15개 표적에 후보 1,320개를 만든 뒤 습식 실험으로 354개의 결합을 확인했다. 보고된 적중률은 22.6~35.1%였다. 연구자는 모든 후보를 직관으로 평가하는 대신 실험 결과로 선별했다.
다만 값싼 검사는 정해진 조건만 판정한다. 결합 여부를 확인했다고 안전성, 특이성(다른 표적과는 반응하지 않는 정도), 동물시험과 임상 결과까지 보장되지는 않는다. 자동 검사를 통과했다는 말과 결과물 전체가 믿을 만하다는 말은 다르다.
검사는 완성 단계에만 둘 필요도 없다. 목차, 사실 목록, 계산 중간값처럼 수정 비용이 낮은 단계에서 조건을 확인하면 완성본을 뜯어고칠 가능성이 줄어든다.
되돌릴 수 있는 실패 vs. 없는 실패
검증에 돈이 든다면 모든 결과를 같은 강도로 볼 필요는 없다. Robert Townsend의 비용이 드는 상태 검증 모형에서는 평소에 보고를 그대로 받아들이는 계약이 효율적이다. 위험 신호가 나타날 때만 내부 정보를 확인하면 된다.
미국 국세청도 모든 신고서를 읽지 않는다. 개인 신고서 감사율은 약 0.40%, 즉 250건 중 1건꼴이며 고소득자와 사업소득 보유자를 더 자주 조사한다. 위험도가 높은 신고서를 우선하는 방식 은 AI 산출물에도 그대로 적용된다.
AI에 업무를 맡기는 기준은 세 가지로 나뉜다.
- 첫째, 컴파일러, 실측치, 재무 대조표처럼 기계가 합격 조건을 확인할 수 있는 수단이 있는지다.
- 둘째, 확인 비용이 생성 비용보다 충분히 싸면 여러 후보 중 자동 검사를 통과한 것만 남긴다.
- 셋째, 실패를 되돌릴 수 있는지에 따라 다르게 다룬다. 법적 책임과 평판이 걸린 결과는 사람이 전량 확인하고 나머지는 표본과 위험 신호 중심으로 살핀다.
자동 판정이 어렵다면 합격 조건부터 문서화한다. 글은 확인할 사실과 출처, 금지 표현을 정하고 제안서는 수치를 다시 계산하는 스크립트를 만든다. 두 번째 AI에는 전체적으로 좋은가라고 묻는 대신 정해 둔 조건을 하나씩 확인하게 한다. 다만 AI끼리의 교차검토는 독립된 증거가 아니므로 중요한 사실은 결국 원자료나 사람이 확인한다.
AI의 생산 속도를 실제 이익으로 바꾸는 요인은 업무 설계다. 무엇을 자동으로 검사하고, 어느 단계에서 멈추며, 어떤 위험을 사람이 끝까지 책임질지 정하는 일이다.