정책 자문가 딘 볼(Dean Ball)은 AI가 사회의 매개 제도를 대체해 간다고 설명하며 “AI가 정부 안에 있는 게 아니라 AI가 정부가 될 것”이라고 말했다. DOGE(정부효율부)는 이 구상을 규제 철폐 도구로 구현했다. 이 도구는 연방규정 약 20만 건을 훑어 폐지 대상을 고르고 초안까지 작성했으며 주택도시개발부(HUD)와 소비자금융보호국(CFPB) 업무에도 투입됐다.
이 같은 자동화는 감원 이후에 확대됐다. 조달청은 인력이 약 40% 줄어든 상태에서 정규직 500명의 연간 업무량에 해당하는 100만 노동시간을 자동화하겠다고 발표했다. 연방기관의 AI 사용 사례도 2025년 3,611건으로 늘었지만 평가는 처리 시간과 비용에 치우쳤고, 결과의 품질은 왜 거의 측정하지 않았을까.
곡물 등급과 통계표
정부는 복잡한 현실을 통계와 범주로 압축해 다룬다. 시장의 가격 신호도 마찬가지 방식으로 작동한다. 이처럼 추상화는 복잡성을 감추기에 유용하면서도 위험하다.
19세기 시카고의 곡물 등급제는 원격 거래의 길을 열었지만 창고주는 등급 안에서 품질을 섞어 차익을 얻었다. 한편 마오 시기 중국에서는 지방 관리가 부풀린 수확량을 토대로 중앙정부가 곡물을 징발했고 대규모 아사가 발생했다. 요약 기준을 어떻게 정하느냐에 따라 누가 이익을 얻고 누가 오류의 비용을 부담하는지가 달라지지 않을까.
평균에 맞춘 AI가 놓치는 사람들
언어모델은 흔한 사례에 맞춰 성능을 높이는 과정에서 드문 사례를 놓친다. 2024년 국제학술지 네이처(Nature) 연구에서는 뜻이 같은 문장을 아프리카계 미국식 영어로 바꾸자 모델이 더 낮은 직업과 높은 범죄 가능성을 배정했다. 인종 표기가 없어도 방언 표현만으로 판정이 달라졌다.
실제 행정에서도 네덜란드 세무당국은 이중국적과 외국식 이름을 부정수급 신호로 사용해 약 2만6,000가정을 잘못 지목했다. 거액의 일시 상환 요구가 이어졌고 2021년 마르크 뤼터 내각이 총사퇴했다. 이런 오류는 예외적인 고장이 아니라, 사람을 분류하는 기준에서 되풀이된 것은 아닐까.
오판은 자동, 구제는 부재
미시간주의 실업급여 자동판정 시스템 MiDAS는 부정수급을 자동 판정하면서 근거를 알리지 않았고 사람의 심사도 두지 않았다. 감사 표본 2만2,000건 가운데 무려 93%는 부정수급이 아니었다! 4만 명 이상이 급여의 약 다섯 배를 요구받거나 임금과 세금 환급금을 압류당했다.
행정기관의 감독 체계도 이 오류를 걸러내지 못했다. 2026년 GAO(미 연방 회계감사원) 점검에서는 연방기관 20곳이 AI 목록을 제출했는데 그중 15곳의 자료가 부정확하거나 불완전했다. 같은 미시간주는 저소득층 식비 지원제도인 SNAP 심사에도 AI를 도입해 석 달 동안 1만7,500건을 처리했고, 이에 시민단체는 판정 근거와 오지급 방지 장치를 공개하라고 요구했다.
효율이 청구하는 값
AI가 행정의 일부를 맡으면 판단 능력보다 판단을 되돌리는 절차가 먼저 흔들린다. 담당 인력이 당사자에게 근거를 알리고 기록을 보존하며 이의를 접수한다. 자동화가 분류와 문서 작성은 앞당기지만 검토 조직의 판단 속도는 그만큼 빨라지지 않는다.
예컨대 조달청은 인력을 줄인 뒤 100만 시간의 자동화 목표를 세웠고 GAO는 기관들이 AI의 용도조차 정확히 기록하지 못한다고 확인했다. DOGE가 내세운 인건비 93% 절감도 근거 고지와 재심 절차를 담당할 사람을 남겨 두면 그대로 달성하기 어렵다. 그 절감액은 오류를 발견하고 결정을 수정하던 인력의 비용까지 줄인 결과다.
어디까지 허용할 것인가
그렇다면 행정을 자동화할 때 어디까지 허용할 것인가. 그 범위는 평균 정확도만으로 정하기 어렵다. 오류가 생겼을 때는 당사자가 판정 사실과 근거를 확인해야 하며 사람이 이를 다시 심사해 취소할 수 있어야 한다. 캘리포니아는 2025년부터 AI가 표시한 보험금 지급 거절을 의사가 검토한 뒤에만 통보하도록 했다. 자동 판독은 유지하되 불이익을 확정하는 단계에는 사람을 둔 방식이다.
정부는 이전에도 사람과 사건을 범주로 요약해 왔으며 AI는 그 작업량을 크게 늘렸다. 그러나 처리 속도가 빨라질수록 오류가 누적되는 시간은 짧아지고 피해 규모는 커진다. 판단 근거와 기록, 이의 창구, 번복 권한이 없는 자동화에서는 정부가 줄인 비용만큼 잘못 분류된 시민의 부담이 늘어난다.
효율은 처리 건수가 아니라 잘못된 결정을 찾아 원상회복하는 비용까지 포함해 계산된다.