기업이 AI를 도입하면 오래된 데이터 문제는 더 이상 내부의 불편으로 머물지 않는다. 자동화가 깊어질수록 필드 정의가 모호하거나 변경 관리가 허술한 부분에서 비용과 통제 범위의 차이가 커진다.
AI 파일럿은 왜 데이터에서 막히는가
데이터 부채는 AI가 만든 문제가 아니다. 오래된 기간계와 ERP, 인수합병을 거치며 데이터는 중복되고 정의는 제각각이 됐다. 그동안은 애널리스트와 재무팀이 수작업으로 오류를 찾아내 처리했기 때문에 문제가 겉으로 드러나지 않았다.
Wiss의 CIO 흐리시케시 피파디팔리의 말처럼 AI는 데이터 문제를 만드는 것이 아니라 드러내고 가속한다.
AI가 들어오면 사람이 시간으로 내던 비용이 운영비로 바뀐다. 실제로 BIRD 벤치마크에서 GPT-4의 실행 정확도는 도메인 설명이 있을 때 54.89%, 없을 때 34.88%였다. 95개 데이터베이스와 37개 전문 영역을 다룬 실험 에서 필드의 의미를 아는 것만으로 약 20%포인트 차이가 났다.
더 복잡한 스키마로 시선을 옮기면, 컬럼이 1,000개가 넘는 웨어하우스를 포함한 Spider 2.0에서 상위 모델의 성공률이 17~24%대에 그치고, 중첩 스키마에서는 10.34%까지 떨어질 만큼 기업 데이터는 복잡하다. 현실의 업무 환경을 반영한 평가 에 따르면 AI 파일럿이 실패하는 원인은 흔히 모델에 있을까. 모델이 아니라 조직의 데이터 이해 부족에 있다.
95% 정확도의 함정
기존 BI에서는 데이터가 일부 틀려도 사람이 최종 판단을 고칠 수 있었다. 하지만 에이전트는 오류를 고객과 계정에 곧바로 적용한다. 단계마다 성공률이 95%면 충분할까. 전체 성공률은 10단계에서 59.9%, 20단계에서 36%로 떨어진다. 단계 수가 늘수록 이 하락 폭이 커지기 때문에 짧은 데모와 실제 운영의 결과는 달라진다.
게다가 첫 단계의 오류가 다음 단계로 이어지는 경우도 있다. ‘활성 고객’을 잘못 정의하면 조회와 분류, 제안, 실행이 모두 틀어진다. 의미 변화, 중복, 널값 오독, 스키마 변경 같은 문제가 있으면 기존 검증을 통과하고도 에이전트 성능이 떨어지는데, 시스템이 멈추지 않고 그럴듯한 오답을 내놓아 발견도 늦다.
이런 문제는 인수합병 뒤 ERP 데이터에서 특히 두드러져, 실무 자료에 중복 계정 5~15%, 고아 레코드 10~20%, GL(총계정원장, General Ledger) 코딩 불일치 30~50%가 보고된다. 보고서에서는 사람이 조정할 수 있는 오차 도 자동화 과정에서는 반복된다. 두 시스템의 수치가 모두 맞아도 ‘수익’을 다르게 계산했다면 에이전트는 어느 쪽을 따라야 할지 판단하지 못한다.
청소가 아니라 배관
데이터 정비는 일회성 청소로 끝나는가. 그렇게 처리하면 문제가 다시 발생한다. 업무가 바뀔 때 데이터의 구조와 의미도 달라지기 때문이다. 생산자가 스키마와 품질 기준을 데이터 계약으로 정하고, 데이터가 생기는 지점에서 검사해야 한다. 우선 기계가 읽을 수 있는 규칙 10~20개를 품질 게이트에 연결 하면 문서로만 남지 않고 실제로 작동한다.
같은 식으로 지표와 조인 방식, 접근 정책은 실행 가능한 의미 계층에 담아 둔다. 에이전트가 승인된 지표만 쓰면 잘못된 테이블과 집계 단위를 고를 가능성이 줄어든다. 필드 간 의존 관계를 실행 중에 수집 하는 컬럼 단위 리니지(데이터 계보 추적)는 변경의 영향을 받을 보고서와 모델도 미리 알려준다.
여기에 더해 소유자에게는 오류를 고칠 권한과 예산이 필요하다. ERP 이관 일정에도 데이터 정비 기간이 필요하다. 일례로 SAP ECC 6.0의 주류 유지보수가 2027년에 끝나지만, 정제하지 않은 데이터를 S/4HANA로 옮기면 부채도 그대로 따라간다. 그러니 전사 카탈로그를 기다리기보다 에이전트가 실제로 읽고 쓰는 필드부터 정의와 계약, 소유자, 리니지를 붙이는 편이 낫다.
AI의 자율성은 검증 비용이 정한다
AI의 자율 범위는 결과를 검증하는 비용이 정한다. 문서 요약, 티켓 분류, 내부 검색은 오류를 빨리 확인할 수 있어 제한적으로 자동화하기 좋다. 반면 가격과 재고, 정산, 고객 안내는 오류가 검토 전에 외부로 퍼진다. 데이터 정의와 스키마를 통제하지 못하는 영역에서는 자동 실행보다 사람의 승인이 앞선다.
그래서 도입 초기에는 한 팀과 한 프로세스, 측정 가능한 결과에 집중하는 편이 낫다. 범위가 좁아야 오류 지점과 손실 규모를 추적하기 쉽다. 전사 확장 단계에서 데이터 부채는 재무 위험이 된다. 실제로 미국 통화감독청과 연준은 2024년 데이터 거버넌스 개선이 미흡했던 Citigroup에 1억3,560만 달러의 제재 를 부과했다.
EU AI법 역시 고위험 시스템의 데이터 설계와 수집, 전처리, 편향 점검을 문서화된 거버넌스로 관리 하도록 요구한다. 정의와 리니지가 없으면 규제기관에 낼 근거도 만들기 어렵다. 모델 호출료가 내려가도 재작업과 예외 처리 비용은 남는다.
결국 자동화는 데이터 부채의 이자를 단계마다 키운다. 하고 싶은 유스케이스에 데이터를 억지로 맞추기보다, 정의와 소유권이 분명한 영역부터 읽기와 쓰기 권한을 넓히는 편이 낫다.
운영에 맡길 수 있는 AI의 범위는 검증 가능한 데이터의 범위를 넘지 않는다.
모델 성능이 높아져도 데이터 관리 비용은 없어지지 않고 다른 운영 항목의 지출로 나타난다. 같은 AI를 써도 조직마다 허용하는 자율 범위가 다른 이유는 어디에 있을까. 기술보다 데이터를 얼마나 신뢰하느냐에 있다.