AI 에이전트는 답변이 매끄러울수록 오류를 알아채기 어렵다. 문장만으로는 어떤 판단을 거쳐 결과가 나왔는지 드러나지 않는다.
유창해서 더 위험한 오답
영국 중고차 플랫폼 Motorway의 하루 경매에는 차량 최대 2,500대가 나오고 딜러 8,000명이 참여한다. 딜러들은 자연어로 재고를 찾는 에이전트를 쓰기 시작했다. 문제는 검색 결과가 틀려도 답변은 늘 자연스럽고 단호했다는 점이다.
오류는 주로 세 곳에서 생겼다.
- 엉뚱한 도구를 고르거나, 검색어를 잘못 해석하거나, 대화 중 앞서 말한 조건을 잊었다.
어느 경우든 결과는 그럴듯한 문장으로 포장됐다.
확신에 찬 답변이라고 정확할까. 2026년 COLM 논문은 과도한 확신을 만드는 기능이 일부 MLP(신경망 내부 연산을 담당하는 계층)와 어텐션 헤드에 모여 있으며 답의 정오와 독립적으로 작동한다고 분석했다. Motorway의 도구 선택 정확도 역시 87%로 높아 보였지만, 잘못된 검색 결과도 여덟 번 중 한 번꼴로 나왔다.
도구, 추론, 출력을 따로 보라
Motorway와 AWS는 평가를 도구 사용, 추론, 출력 품질로 나눴다. 통과 기준은 각각 95%, 85%, 90%였고 세 기준을 모두 넘어야 배포할 수 있었다. 하나의 점수로 합치면 실패 지점을 어떻게 찾을까.
| 평가 항목 | 판정 방식 | 통과 기준 |
|---|---|---|
| 도구 사용 | 코드 검사 | 95% |
| 추론 | LLM 판사 | 85% |
| 출력 품질 | LLM 판사 | 90% |
도구 선택과 실행 순서, 파라미터처럼 정답이 분명한 항목은 코드로 검사했다. ‘디젤 SUV’가 구조화 필터에 제대로 전달됐는지도 코드만으로 확인됐다.
반면 LLM 판사는 추론의 타당성과 결과의 유용성처럼 규칙으로 판단하기 어려운 영역에만 썼다. 21개 판사 모델을 조사한 연구에서도 일치도는 계산 방식에 따라 33.8~41.2% 차이 났고, 모델 순위는 최대 14계단 바뀌었다. 이 평가 체계 아래에서는 도구 선택 단계에서 어긋난 답변은 이후 문장이 매끄러워도 탈락 판정을 받는다.
한 번의 성공을 믿지 마라
같은 입력과 설정도 항상 같은 결과를 내지는 않는다. Qwen3-235B를 온도 0으로 1,000회 실행한 실험에서도 80가지 출력이 나왔다. 한 번의 테스트 성공이 다음 실행의 성공을 보장할까.
Motorway는 후보를 다섯 번씩 실행했다. 시행별 성공률이 75%여도 세 번 연속 성공할 확률은 약 42%다. 도구 기반 고객 응대 벤치마크 τ-bench에서도 GPT-4o 에이전트의 소매 과제 pass^8은 25% 아래로 떨어졌다.
대화가 길어질수록 불안정성이 커져, 20만 건이 넘는 모의 대화에서 멀티턴 성능이 단일턴보다 평균 39% 낮게 나타났다. 그래서 Motorway는 대화 시뮬레이션으로 조건 유지율을 71%에서 94%로 높였다. 이후 섀도우 모드에서 최소 4시간 검증하고, 편차가 2% 이내일 때만 5% 트래픽의 A/B 테스트로 넘어갔다.
8분의 1을 50분의 1로
기반 모델을 바꾸지 않았는데도 도구 선택 정확도는 87%에서 98%, 과제 완수율은 82%에서 96%로 올랐다. 월간 사고는 12건에서 2건으로 줄었고, 잘못된 검색 결과도 8분의 1에서 50분의 1 수준으로 감소했다. 모델은 그대로 두고 통과 기준만 조정해 얻은 변화다.
이후 운영 중 발견한 실패는 다음 배포의 회귀 테스트에 넣었다. AgentCore Evaluations는 실제 트레이스(에이전트 실행 기록)를 표본 평가하고 온디맨드 평가를 CI/CD에 연결할 수 있다. 한 번 발생한 오류는 테스트 사례로 남아 재발을 막는다.
이런 체계를 이어가려면 평가 비용이 낮을수록 지속하기 쉽다. 예제 평가 스위트를 한 번 실행하는 비용은 5~10달러, 개발, 테스트 환경은 월 55~105달러, 동시 사용자 1,500명 규모의 프로덕션은 월 829~1,269달러다. 적은 표본으로 시작해 비용을 보며 늘리면 된다.
에이전트의 신뢰는 유창한 답변에서 나오지 않는다. 과정별 검사와 반복 실행, 배포 전 검증, 운영 실패를 테스트에 반영하는 체계에서 나온다.
그런데 사용자는 답변과 시스템의 신뢰도를 쉽게 같은 것으로 받아들인다. 인터페이스가 자연스러울수록 드러나지 않는 불확실성도 제품 품질의 일부다.