대화형 AI가 업무 시스템에 들어오면 자연스러운 답변보다 먼저 확인할 것이 생긴다. 모델이 무엇을 말하느냐보다 어떤 조건에서 실제 행동으로 이어지는지가 서비스의 안전성을 좌우한다.
농담 한 줄이 환불 승인이 될 때
Salesforce의 환불 에이전트 테스트에서 한 엔지니어가 신원 증빙란에 “my very valid and very verified email”이라고 입력하자, 모델은 이를 농담으로 알아채지 못하고 증빙으로 받아들여 환불 준비 단계까지 진행했다. 해킹이 아니라 규칙보다 문장의 그럴듯함을 따른 결과 였다.
본인확인은 사실을 판정하는 절차다. 이를 문장을 확률적으로 만드는 모델에 맡긴 것이 문제였다. 프롬프트 인젝션도 같은 틈을 노린다. 보안 지시와 공격 문장이 한 입력 안에서 경쟁하는 한, 더 강한 경고 문구만으로 막을 수 있을까. 그래서 Oso는 언어가 아니라 행동을 통제해야 한다고 강조한다.
에이전트의 실수는 답변창에서 끝나지 않는다. IT, 보안 실무자 445명을 조사한 결과, 조직의 53%가 에이전트의 권한 초과를 겪었고 47%는 최근 1년 안에 관련 보안 사고를 경험했다. 실제로 대화로 반품 절차를 우회할 수 있다면 봇은 이를 시간당 허위 반품 1만 건 으로 키울 수 있다.
주관성에도 한도가 필요하다
Salesforce는 ‘비결정성’ 대신 ‘주관성’이라는 표현을 쓴다. 업무 단계마다 모델의 해석을 얼마나 허용할지 정하는 값이다.
본인확인의 주관성은 0이어야 하지만, 주문번호를 정중하게 묻는 표현에는 여러 답을 허용해도 된다. 같은 대화 안에서도 사실 판정은 코드가, 표현과 추론은 모델이 맡아야 한다.
에이전트 그래프는 이 경계를 구조로 반영한다. 업무를 노드와 엣지로 나누고, 검증 함수가 성공해야만 환불 승인 단계로 넘어가게 한다. 모델이 노드 안에서 추론하더라도 출구는 코드가 통제한다. Salesforce가 말하는 ‘확률적인 내부와 결정적인 출구’ 다.
같은 취지로 Google, DeepMind, ETH 취리히 연구진의 CaMeL도 제어 흐름과 데이터를 분리해, 신뢰할 수 없는 문서가 실행 순서를 바꾸지 못하게 한다. 과업 처리율은 무방어 시스템보다 7%포인트 낮았지만 보안 정책 위반은 구조적으로 차단했다. 모든 경우를 규칙으로 만들 필요 없이, 반드시 통제할 지점만 분명히 정하면 된다.
그래프가 곧 런타임이다
각 단계의 성공률이 95%라도 열 단계를 모두 통과할 확률은 약 60%다. 작은 오차가 긴 작업에서 쌓이기 때문이다. 한 번의 성공으로 충분할까. 에이전트는 반복 가능성으로 평가해야 한다.
그래서 τ-bench는 같은 과업을 여러 번 모두 성공해야 통과로 보는 pass^k 지표를 쓴다. GPT-4o의 리테일 과업 성적은 pass^1 약 61%에서 pass^8 약 25%로 떨어졌다. 그래프의 길이와 전이 방식도 성능에 포함된다.
그래프를 여러 에이전트로 이을 때는 책임과 맥락의 주인을 정하는 문제가 따라온다. 한 에이전트가 대화 전체를 다음 담당자에게 넘길지, 오케스트레이터가 하위 업무를 나눠 맡기고 결과를 합칠지 명확해야 한다.
그렇다고 모든 단계에 큰 모델이 필요한 것도 아니다. 라우팅과 의도 분류는 소형 모델에, 복잡한 추론은 프런티어 모델에 맡기면 비용과 지연을 줄일 수 있다. 런타임 설계에서는 작업 순서, 현재 상태, 외부 시스템을 바꾸는 실행을 분리하고 노드별 결과를 기록한다. 그래야 실패 지점을 되짚을 수 있다.
자율성을 어디에 둘 것인가
환불 사례는 판정을 어디서 내릴지의 문제를 보여준다. 모델은 요청을 이해하고 선택지를 제안한다. 하지만 시스템 상태를 바꾸는 승인은 코드로 강제된 절차를 거친다.
이 구분을 Anthropic은 정해진 코드 경로를 따르는 시스템을 워크플로, 모델이 경로와 도구를 고르는 시스템을 에이전트로 정리한다. 실제 고객 상담에는 둘 다 필요하다. 인사와 의도 파악에는 자유로운 해석을, 본인확인과 환불 승인에는 정해진 절차를 적용하면 된다.
돈이 움직이거나 데이터가 외부로 나가거나 규제 의무가 따르는 단계에는 주관성을 허용하지 않는다는 것이 기준이다.
시스템의 원본 데이터를 조회하는 함수가 참과 거짓을 판정하고, 통과하지 못하면 다음 단계로 갈 수 없게 한다. 나머지 단계에서는 모델의 추론을 허용하되 출력 형식을 제한한다.
검증 단계에서 다시 모델에게 통과 여부를 묻는다면 무엇이 달라질까. 달라지는 것은 없다. 게이트는 말로 설득할 수 없는 코드로 짜여 있어야 하고, 신뢰할 수 있는 에이전트는 권한의 경계가 분명한 시스템에서 나온다.
결국 다음 경쟁력은 모델 교체 주기보다 업무 절차를 얼마나 세밀하게 설계하고 관찰하는지에 달려 있다. 모델 성능이 평준화될수록 이런 운영 설계의 차이가 더 중요해진다.