AI 에이전트의 초기 성과가 이후의 유지보수까지 보장하지는 않는다. 결과가 충분히 좋아도 운영 과정에서 수정과 검증이 어려워지면 설계는 다시 평가 대상이 된다.
Ver1. 자기 히스토리를 소설처럼 읽는…
Meltwater의 Admiral은 기자 프로필을 갱신하는 리서치 에이전트다. 첫 버전부터 비용은 85%, 작업 시간은 90% 줄었고 정확도와 커버리지는 12% 높아졌다. 그런데도 개발팀은 기능 하나를 고칠 때마다 다른 부분까지 흔들려 시스템을 다시 만들었다.
v1은 검색 결과와 중간 판단을 컨텍스트에 계속 추가했다. 계속 불어나는 히스토리가 문제였다. 한두 번의 검색은 괜찮았지만 자료가 적은 기자를 서너 번 조사하면 앞선 기록을 매번 다시 읽어야 했다. 비용도 함께 늘었다. 개발팀은 이를 자기 히스토리를 소설처럼 읽는 상태라고 표현했다.
그렇게 길어진 컨텍스트에서는 필요한 증거가 검색 기록에 묻혔다. 하나의 프롬프트가 검색, 판단, 정리, 데이터베이스 매칭까지 맡으니 오류 지점조차 찾기 어려웠다.
Ver2. 히스토리 대신 요약을 넘겼다
v2는 일을 다섯 단계로 나눴다. Research가 자료를 찾고 Compress가 핵심만 정리한다. Evidence Review는 자료가 충분한지 판단한다. 이후 Outlet Match가 매체를 연결하고 Enrich가 최종 프로필을 작성한다. 각 단계는 한 가지 일만 맡고 정해진 형식으로 결과를 주고받는다.
Compress는 검색이 한 차례 끝날 때마다 확인된 고용주, 최근 기사, 소셜 계정, 서로 충돌하는 정보만 정리해 다음 단계로 넘긴다. 다음 검색은 이 요약과 리뷰 의견만 보고 시작한다. 덕분에 검색을 여러 번 반복해도 입력 크기가 거의 늘지 않았다. v1에서 계속 커지던 라운드별 비용도 v2에서는 비슷한 수준을 유지했다.
입력이 짧아지자 단순한 요약과 정형화 작업에는 작은 모델도 쓸 수 있었고, 그 결과 프로필당 비용은 약 40% 줄었다. 더 깊은 조사와 작아진 컨텍스트, 전문화된 컴포넌트가 함께 작용해 예측 정확도는 약 10% 높아졌다. 에이전트 수를 늘려서가 아니라, 각 호출에서 불필요한 기록과 책임을 덜어낸 결과였다.
기준을 못 넘으면 배포하지 않는다
Evidence Review는 프로필을 쓰기 전에 근거부터 살핀다. 고용주, 최신 기사, 소셜 계정, 이메일 출처를 항목별로 검사하고 부족한 정보는 Research에 다시 요청한다.
판정도 프로필 전체가 아니라 필드(데이터베이스의 개별 입력 항목)별로 내린다. 각 값에는 신뢰도와 판단 근거, 출처가 붙는다. 확실한 값은 자동 반영하고 애매한 값만 사람이 검토한다. 정보의 위험도에 따라 기준도 다르게 적용할 수 있다.
평가 지표도 정확도, 커버리지, 정답과의 불일치로 나눴다. 그래야 채운 필드는 늘었지만 오답도 많아진 변화처럼 엇갈리는 결과를 제대로 볼 수 있다.
이 지표를 기준으로 프롬프트나 모델을 바꾸면 같은 데이터셋으로 이전 버전과 비교한다. 정답 데이터도 사람이 매달 갱신한다. 기준을 넘지 못한 변경은 배포하지 않는다. 프롬프트 수정도 비용과 품질 회귀(변경 후 기존 품질이 나빠지는 현상)를 확인해야 하는 소프트웨어 변경이다.
자유 탐색과 정형 출력을 분리하라
v1의 한계는 모델보다 작업을 연결한 방식에 있었다. 자유롭게 탐색하는 일과 정해진 형식으로 답을 쓰는 일은 서로 다른 설정이 필요하다. 규칙이 분명한 조회와 매칭 작업도 따로 시험할 수 있어야 한다.
같은 문제를 줄이려면 비슷한 시스템을 운영할 때도 세 가지 경계를 나눌 수 있다.
- 다음 라운드에는 원시 기록이 아니라 검증된 요약만 넘기고,
- 검색 방향을 정하는 단계와 최종 결과를 작성하는 단계를 분리하며,
- 데이터베이스 조회와 이름 매칭 같은 결정론적 작업은 독립된 컴포넌트로 옮긴다.
구조를 나눈 뒤에는 라운드별 비용과 필드별 품질을 추적해야 한다. 같은 데이터셋과 평가 기준 없이 컴포넌트만 늘리면 복잡성이 줄었는지, 다른 곳으로 옮겨갔는지 알 수 없다.
에이전트를 나눌 기준은 처리량이 아니다. 작업의 성격으로 판단해야 한다. 한 루프 안에 서로 다른 모델 설정과 성공 기준이 필요한 단계가 여럿 있다면 책임을 분리할 때다. 좋은 에이전트 시스템은 모든 일을 한 번에 해내느냐가 아니라, 각 단계의 책임과 평가 기준, 중단 조건을 따로 확인하고 고칠 수 있느냐에 달려 있다.
결국 에이전트의 성능은 단일한 모델 선택만으로 설명하기 어렵다. 시스템이 커질수록 무엇을 자동화했는지보다 어느 단위에서 결과를 확인할 수 있는지가 운영 가능성을 좌우한다.