로그는 남았는데 행위자는 사라졌다
“사후에 행위자를 가릴 수 있을까?”
금융사를 비롯한 규제 산업은 AI 에이전트를 실제 업무에 투입했다. 에이전트는 사람이 매번 지시하지 않아도 시스템을 조회하고 문서를 작성하며 승인 요청까지 올리는 소프트웨어다.
그런데 도입 속도에 비해 행동 기록은 부실하다. Cloud Security Alliance가 2026년 1월 IT, 보안 실무자 228명을 조사한 결과, 85%는 에이전트를 프로덕션 환경에서 운용했지만 68%는 사람과 에이전트의 행동을 명확히 구분하지 못했다.
이 구분이 없으면 결정 과정을 사후에 재구성하기 어렵다. 누가 자료를 골랐고 어느 단계에서 승인했는지 알 수 없으므로 규제기관에 판단 근거를 설명할 수도 없다. 기록의 양보다 행위자를 식별할 수 있는지가 먼저다.
게다가 접근 범위는 회계와 고객관리 같은 핵심 업무 시스템까지 넓어졌다. 사람과 비슷한 권한으로 여러 시스템을 오가는데 실행 주체를 가려내지 못하면 사고가 난 뒤 계정 기록만으로 책임과 원인을 확인하기 어렵다.
승인 버튼에는 잡히지 않는 사람의 판단
에이전트별로 도입 승인을 받는 것만으로는 부족하다. 규제기관이 확인하는 대상은 개별 도구보다 입력과 판단, 검토와 실행이 이어지는 업무 흐름이다. 금융 소프트웨어 기업 Zafin의 최고제품, 기술책임자 샤히르 다야도 거버넌스의 단위를 에이전트가 아닌 워크플로로 제시한다.
그렇다면 지시와 실행 사이에는 상시 작동하는 통제 계층이 필요하다. 먼저 에이전트를 붙이기 전에 사람이 판단할 단계를 정한다. 각 단계에는 필요한 최소 권한만 부여하고 다른 시스템에는 접근하지 못하게 한다.
사람의 개입도 승인 버튼을 눌렀다는 사실만 남겨서는 부족하다. 검토자가 어떤 자료를 봤고 수정하거나 반려할 권한이 있었는지까지 기록해야 실제 판단이었는지 확인할 수 있다.
그래서 지시 내용과 실행 순서, 조회한 자료, 사람의 검토 여부는 작업 증거로 보존한다. 대출 거절에 이의가 제기됐을 때 최종 결과와 모델 이름만 제시해서는 자료를 누가 선택했는지, 중간 검토가 실질적이었는지 밝힐 수 없다.
실제로 기록 의무는 이미 법률에 들어왔다. 유럽연합 인공지능법은 고위험 AI 시스템이 작동 중 사건 기록을 자동으로 만들도록 규정한다. 2026년 8월 2일부터 관련 의무가 적용됐으며 로그는 최소 6개월 보관해야 하고 위반 시 최대 1,500만 유로 또는 전 세계 연 매출의 3% 중 큰 금액이 부과된다.
기록은 사후 보고서를 작성하기 위한 재료만이 아니다. 실행 당시의 지시와 권한, 검토 과정을 연결해 두어야 잘못된 결정과 통제 절차의 실패를 구분할 수 있다. 나중에 관계자의 기억으로 채운 설명은 같은 증거가 되지 못한다.
검증을 줄이면 위험하고, 늘리면 비용이 뛴다
“비용은 어디서부터 어긋날까?”
에이전트는 사용량이 늘수록 연산 비용도 커진다. 계약 기간에 따라 정해지던 소프트웨어 비용과 달리 실행 횟수, 모델 크기, 검증 단계가 비용을 바꾼다. 다야는 Uber가 2026년 코딩용 AI 예산을 4월에 소진했고 Safe Software의 월 비용은 반년 만에 2만 달러에서 10만 달러로 늘었다고 설명했다. 쓰일수록 청구서가 바뀐다는 말이다.
업무 위험도에 따라 연산 예산을 다르게 배정하는 방식은 비용이 발생한 뒤 총액을 제한하는 방식과 다르다. 작업을 시작할 때부터 사용할 모델과 검증 횟수, 재시도 범위를 정한다.
신용 판단처럼 위험이 큰 작업에는 성능이 높은 모델과 교차 검증을 배정한다. 정형화된 반복 작업은 가벼운 모델과 적은 검증으로 처리한다. 작업별 위험 등급과 검증 수준이 실행 단계에서 연결된다.
이렇게 배정하면 같은 계층에서 누가 승인했는지, 어떤 자료를 썼는지, 연산비가 얼마나 발생했는지도 확인할 수 있다. 위험 관리와 감사, 비용 통제가 부서별 문서로 흩어지지 않고 실제 실행 기록을 함께 사용한다.
그러나 모델 심사는 도입 시점의 적합성만 판단한다. 에이전트의 위험은 권한을 사용하고 결정을 실행할 때마다 생긴다. 일회성 승인은 실행 중 발생하는 위험을 다루지 못한다. 거버넌스 범위에 단계별 기록 항목과 사람의 개입 지점, 중단 권한, 작업별 연산 한도가 빠지면 실행을 볼 근거도 사라진다.