AI가 숫자를 계산하는 것과 그 숫자를 업무에 써도 되는지는 서로 다른 문제다. 자동화 범위가 넓어질수록 계산 이전에 누가 어떤 기준을 정했는지가 결과를 더 크게 좌우한다.
품질 검사는 숫자의 뜻을 모른다
데이터 품질 관리는 누락, 중복, 형식 오류를 잡아내지만 숫자의 의미까지 검증하지는 못한다. orders 테이블만 보고는 매출이 총액인지 순액인지, 세금과 환불을 어떻게 반영하는지, 주문과 출하 중 언제 인식하는지 알 수 없다. 규칙이 따로 없으면 AI는 매번 의미를 추측한다.
이 때문에 틀린 숫자도 모든 검증을 통과한다. 마진 공식이 잘못돼도 타입과 스키마는 맞고 합계까지 정확하게 나온다. 같은 지표가 ERP, 웨어하우스, 대시보드에 조금씩 다르게 구현되면 한곳을 고쳐도 다른 곳에는 옛 규칙이 남는다.
이런 정의 불일치는 지표를 쓰는 시스템이 늘수록 늘어난다. 데이터가 깨끗하다고 해서 문제가 잘 보일까. 오히려 발견하기 어렵다. 마치 물품을 정확히 세어도 지점마다 한 박스의 기준이 다르면 전체 재고는 맞지 않는 것과 같다.
AI에게 원시 스키마만 주면 생기는 일
마진 계산은 환불, 세금, 사내거래를 포함할지, 주문, 출하, 수금 중 언제 인식할지, 계정, 법인, 사업부 중 무엇을 기준으로 묶을지에 따라 값이 달라진다. 환율과 기간, 테스트 계정 제외 여부도 결과를 바꾼다.
조인 규칙도 문제다. 거래 한 건에 여러 이력 행이 연결되면 합계가 부푼다. SQL은 오류 없이 끝나므로 잘못된 집계도 정상 결과처럼 보인다. 원시 스키마만 받은 AI는 조인 경로와 집계 기준까지 스스로 정해야 한다.
여기에 정의와 매핑까지 문서화되지 않으면 업무 지식은 담당자 개인에게만 남는다. 본사 기준의 마진을 학습 데이터로 쓰면 AI도 본사의 회계 규칙을 배운다. 예측값이 그 기준에는 맞더라도 지역의 발주나 재고 배분에는 맞지 않는다.
그래서 Airbnb는 Minerva 에서 지표와 차원을 한 번 정의해 여러 도구가 함께 쓰도록 했다. Uber의 uMetric도 정의부터 활용까지 한 흐름으로 관리한다. 숫자의 의미를 BI 설정이 아니라 데이터 플랫폼의 자산으로 보는 것이다.
추천을 넘어 실행하는 AI
추천형 AI의 오류는 사람이 검토하며 걸러낼 수 있지만 에이전틱 AI는 조회, 판단, 실행을 한 번에 처리한다. 잘못된 마진으로 발주량을 계산하면 같은 실수가 하루에도 수백 번 반복된다. 숫자 차이가 보고서를 넘어 실제 시스템을 바꾼다.
특히 쓰기 권한이 위험을 키운다. AI가 전표를 처리하고 벤더 정보를 바꾸며 지급까지 승인한다면 어떤 신원과 권한으로 작업했는지 추적이 필요하다. 공용 계정이나 직원 계정을 쓰면 사람과 AI의 행동이 뒤섞인다.
공유 로그인은 AI의 작업도 사람의 행동으로 기록한다.
Cloud Security Alliance의 2026년 분석에서는 조직의 16% 이상이 AI 관련 아이덴티티 생성을 추적하지 않았다.
신원만이 문제가 아니다. 외부 도구 연결도 점검 대상이다. MCP(AI가 외부 도구, 데이터에 연결하는 표준 프로토콜) 서버 약 1,800개 중 30% 이상에서 악용 가능한 취약점이, 약 5.5%에서 툴 포이즈닝이 발견됐다. 결제, 이메일, 외부 웹훅은 실행 후 되돌리기도 어렵다. 자율 실행에는 권한 관리와 함께 승인, 기록, 복구 절차가 필요하다.
숫자의 정의부터 관리하라
먼저 같은 이름으로 쓰이는 정의가 몇 개인지 확인하는 게 출발점이다. 시스템별 계산식과 제외 조건을 비교하면 통합할 것과 따로 유지할 것이 가려진다. 세법이나 반품 관행이 다르면 지역별 마진 공식도 달라야 한다. 문제는 정의의 수가 아니라 차이가 기록되지 않은 상태다.
각 정의에는 소유자, 버전, 적용 범위가 필요하다. 리눅스 재단 Bitol의 Open Data Contract Standard 는 소유권, 의미, 품질, 이용 조건을 기계가 읽을 수 있는 계약에 담는다. AI에는 원시 DDL(데이터베이스 구조를 정의하는 언어) 대신 승인된 지표와 계산 규칙의 특정 버전만 제공한다.
그렇다고 기존 시스템을 모두 바꿀 필요는 없다. Snowflake의 시맨틱 뷰 처럼 지표와 관계를 관리하는 계층을 덧붙이면 된다. YAML 정의는 1MB로 제한되고 권장 컬럼 수도 50~100개 이므로 AI가 자율 실행에 쓸 정의부터 관리하는 편이 현실적이다.
아울러 되돌리기 어려운 작업 앞에는 사람의 승인 단계를 둔다. 승인 화면에는 실행 내용과 판단 근거, 예상 영향, 복구 방법, 만료 시각을 보여준다. 이 기록은 판단 자료이자 감사 증거가 된다.
AI에 쓰기 권한을 주기 전에 준비할 것은 합의된 숫자 정의와 소유자, 버전, 실행 주체를 식별할 감사 로그다. 이 기반이 있어야 사람 사이의 숫자 차이가 AI의 대규모 실행 오류로 번지는 일을 막는다.
결국 자동화가 늘수록 데이터 관리는 값의 정확성만 다루는 업무로 남기 어렵다. 같은 숫자를 두고 사람 사이에서 조정하던 해석의 차이가 이제는 시스템 설계의 일부가 된다.