당신이 믿고 쓰는 에이전트, 정말 통제하고 있습니까?

쉬워진 데모 구축과 비싸진 신뢰 비용의 대조

모델과 에이전트 빌더를 활용하면 아이디어를 며칠, 때로는 몇 시간 만에 작동하는 데모로 구현할 수 있다. 하지만 기업용 에이전트는 단순히 ‘작동한다’는 사실만으로 부족하다. 기업 데이터에 접근하고, 도구를 호출하고, 다른 에이전트를 조율하며 의사결정까지 대신하기 때문이다. 실제 업무를 맡기려면 사업 목적에 부합하는지, 허용된 범위 안에서 행동하는지, 장애에 어떻게 대응하는지, 모든 과정을 추적할 수 있는지, 투자할 만한 가치가 있는지를 입증해야 한다.

파일럿 프로젝트가 중단되는 주된 원인도 대개 모델 성능이 아니다. 기업용 AI 검색 기업 Glean이 정체된 프로젝트의 관계자들을 인터뷰한 결과, 문제는 부정확한 맥락과 반복적으로 끊기는 시스템 연동, 출시 후 성공을 판단할 기준의 부재였다. 프로덕션 전환을 가로막은 것은 모델의 벤치마크 점수보다 미흡한 운영 체계였다.

위험은 이미 현실로 나타나고 있다. 기업용 에이전트 플랫폼 기업 Kore.ai가 IT 및 비즈니스 리더 408명을 조사한 결과는 다음과 같다.

72%는 안전장치가 있어도 에이전트가 제대로 관리되지 않는 재무, 규제 준수 위험을 초래한다고 답했다.
53%는 충분히 이해하거나 신뢰하지 못하는 에이전트를 실제로 운영하고 있었으며, 42%는 에이전트의 실패로 측정 가능한 매출 손실을 경험했다.
피해는 서비스 수준 협약(SLA) 위반(31%)과 고객 이탈(28%)로 이어졌다.
또한 40%는 한 에이전트의 잘못된 결정이 연결된 여러 시스템으로 확산됐다고 답했다.

결국 에이전트의 권한과 활용 범위는 빠르게 확대됐지만, 이를 통제하고 성과를 입증하는 체계는 그 속도를 따라가지 못했다.

자연어 지시의 한계와 실질적 제어의 시작

프롬프트라는 불안한 안전장치

프롬프트는 모델이 해석하는 지시문이다. 원하는 결과를 설명할 수는 있지만, 기업 시스템의 동작 전체를 규정하기에는 부족하다. 실제 명세에는 사용할 도구와 정책, 제약 조건, 업무 절차, 권한 범위, 인계 조건, 중대한 행동의 처리 규칙까지 포함해야 한다.

특히 거버넌스 규칙을 프롬프트에만 담아서는 안 된다. 모델이 규칙을 잘못 해석하거나, 작업이 길어지는 동안 지침에서 벗어나거나, 의도치 않게 우회할 수 있기 때문이다.

Kore.ai의 에이전트 블루프린트 언어(ABL, 에이전트의 도구, 정책, 절차를 코드처럼 규정하는 전용 언어)는 이러한 안전장치를 모델 외부의 실행 환경에서 작동하도록 컴파일한다. 모델이 어떤 방식으로 추론하더라도 시스템 차원에서 제약을 적용하는 구조다. 규칙을 글로 명시하는 것과 실제로 금지된 행동을 차단하는 것은 전혀 다른 문제다.

에이전트의 운영 방식도 구현 전에 결정해야 한다. 하나의 에이전트가 추론하며 처리할지, 정해진 순서의 워크플로를 따르게 할지, 여러 전문 에이전트가 협업하게 할지 선택해야 한다. 사람의 승인이 필요한 지점과 업무를 완료하지 못했을 때의 대응 방식도 이 단계에서 정한다. 에이전트 설계 도구 Arch AI가 자연어로 업무 사례를 입력받은 뒤 구성과 도구, 정책, 인계 방식을 먼저 설계하는 이유가 여기에 있다.

IT 서비스 분야 조사기관 Everest Group은 에이전트의 행동 범위와 인계 조건, 안전한 실패 방식을 제품 요구사항처럼 검토하고 버전별로 관리해야 한다고 본다. 도구의 스키마와 권한, 승인 절차, 실패 처리 규칙도 하나의 릴리스 단위에 함께 포함해야 한다.

프롬프트는 에이전트 설계의 일부일 뿐, 설계 자체가 아니다. 나중에 프롬프트를 보강할 수는 있지만, 처음부터 마련하지 않은 통제 구조와 감사 체계까지 뒤늦게 만들어 주지는 못한다.

ADLC 10단계 순환 구조와 배포의 정의

에이전트 개발 생애주기(ADLC)는 다음과 같은 순환 구조로 이루어진다.

정의 → 설계 → 검증 → 배포 → 거버넌스 → 관찰 → 평가 → 최적화 → 측정 → 반복

먼저 에이전트가 개선해야 할 사업 성과를 명확히 정의한다. 그다음 필요한 행동과 시스템 구조를 설계하고 검증한 뒤, 통제된 환경에 배포한다. 운영 과정에서 수집한 기록과 평가 결과는 다음 설계를 개선하는 근거로 활용한다. 이 순환 없이 ‘아이디어 → 구축 → 시험 → 배포’에서 멈춘다면, 그것은 완전한 개발 생애주기가 아니라 단순한 릴리스 절차에 불과하다.

Salesforce 역시 배포를 끝이 아니라 새로운 순환의 시작으로 본다. 에이전트를 배포한 뒤에는 지속적으로 상태를 모니터링하고 조정해야 한다. 모델과 지식, 도구, 사용자 행동이 달라지면 에이전트도 최초 검증 당시의 상태에서 벗어나기 때문이다. 따라서 한 번의 인증만으로 에이전트가 계속 사용하기에 적합한지 판단할 수는 없다.

이 순환이 끊기면 사업 목표와 통제 정책, 실제 운영 성과가 서로 연결되지 않는다. 각각의 정보가 별도의 문서와 화면에 흩어져, 무엇이 왜 달라졌는지 추적하기 어려워진다.

거버넌스도 단순히 금지 사항을 적어 놓은 문서에 머물러서는 안 된다. 에이전트가 행동하기 직전과 실행하는 동안, 해당 행동을 허용할지 판단하는 제어 계층으로 작동해야 한다. 접근 정책과 권한 관리, 개인정보 보호, 감사 기록, 사람의 승인 절차가 개발부터 배포, 평가, 최적화에 이르는 전 과정에 적용되어야 한다.

배포 안정성을 확보하려면 에이전트의 실행 구조를 버전별로 고정하는 것도 중요하다. 새 버전을 배포하더라도 이미 진행 중인 세션은 기존 버전을 계속 사용하게 함으로써, 실행 도중 동작이 예기치 않게 바뀌는 일을 막을 수 있다.

AI 보안 분야의 한 기업은 많은 프로그램이 자산 목록 작성, 허용 용도 정책 수립, 분기별 검토에만 머문다고 지적한다. 정작 요청이 발생하는 순간 정책을 강제할 수단은 마련하지 못한다는 것이다.

실행 중 거버넌스는 에이전트가 행동하기 전에 정책과 사용자 신원, 데이터 등급, 접근 대상 자원을 즉시 확인한다. 또한 응답을 내보내기 전에 서명된 감사 기록을 남긴다. 관찰이 이미 일어난 일을 기록하는 과정이라면, 거버넌스는 행동이 일어나기 전에 이를 허가하거나 차단하는 과정이다.

AMD의 80% 해결 시간 단축과 도입 성과

신뢰는 저절로 생기지 않는다. 에이전트의 행동을 명확히 정의하고, 배포 전에 검증하며, 실행 중에는 통제해야 한다. 운영 기록과 품질은 물론 성과와 비용도 지속적으로 점검해야 한다.

이 과정을 개발에 포함하지 않으면 더 큰 비용을 치르게 된다. 재작업과 배포 실패, 규제 준수 조사와 사고 수습이 이어질 수 있다. 확장할 근거를 확보하지 못한 채 파일럿만 반복할 수도 있다. Everest Group이 확인한 사례에서도 비슷한 문제가 나타났다. 프롬프트와 시스템 연동만으로 인상적인 파일럿을 만들었지만, 이후 불안정한 동작과 통제 공백이 드러나면서 막대한 재작업이 필요했다. 따라서 릴리스 준비 단계부터 측정할 사업 가치를 분명히 정해야 한다.

AMD의 인사 지원 에이전트가 좋은 사례다. AMD에서는 약 15명의 컨택센터 인력이 직원 약 3만 명을 지원하고 있었다. 여기에 SAP SuccessFactors, ServiceNow, SharePoint를 연동한 에이전트를 도입했다. 에이전트는 직원의 역할과 지역에 맞는 답변을 제공하고, 셀프서비스 업무와 Microsoft Teams 내 승인 절차를 지원했다. 중요한 사안은 담당자에게 넘겼다.

성과는 토큰 사용량이나 호출 횟수가 아니라 실제 업무 지표로 측정했다. 그 결과 해결 시간은 80% 줄었고, 전체 요청의 50%가 셀프서비스로 처리됐다. 직원 만족도는 70% 높아졌다.

다른 조직도 같은 방식으로 접근할 수 있다. 먼저 배포 전에 해결 시간, 티켓 수, 처리 기간, 만족도 중 개선할 지표 한두 개를 정한다. 이어 목표치와 함께 프로젝트를 계속하거나 중단할 기준을 설정한다.

설계와 거버넌스 단계에서는 에이전트가 사용할 수 있는 도구와 쓰기 권한의 범위를 정해야 한다. 실패했을 때의 처리 방식과 담당자에게 넘기는 경로가 실제 실행 절차에 포함돼 있는지도 확인한다. 운영을 시작한 뒤에는 누가 어떤 도구를 사용했고, 어디에서 문제가 발생했는지 기록해 실행 과정을 재현할 수 있어야 한다. 최적화 이후에는 처음 정한 사업 지표가 실제로 개선됐는지 다시 측정한다.

이처럼 목표 설정, 설계와 통제, 운영 기록, 성과 측정이 하나의 흐름으로 이어져야 한다. 그래야 단순히 인상적인 데모를 만드는 데 든 비용과, 실제 현장에서 신뢰할 수 있는 시스템을 구축하는 데 필요한 비용을 같은 기준으로 판단할 수 있다.

출처

#에이전트 #기업 AI