체크포인트 복원 시 '권한 부활'을 차단하는 API 계약 설계의 정석

Opus 5도 못 넘은 가중 점수 75% 장벽

MobilePA-Bench는 모바일 에이전트가 실제 도구를 얼마나 정확하게 사용하는지 평가하는 벤치마크다. 13개 분야의 모바일 도구 212개를 활용해 총 1,705개 과제를 수행한다. 평가 항목은 기본 도구 사용 1,040개, 서브에이전트(상위 에이전트가 일부 작업을 위임하는 하위 에이전트) 협업 89개, 메모리 활용 376개, 스킬 활용 200개로 구성된다. 최고 성능을 기록한 Claude Opus 5조차 기본 도구 과제에서는 83.85%의 성공률을 보였지만, 모든 항목을 반영한 가중 총점은 75.52%에 그쳤다.

평가는 실제 환경을 모사한 샌드박스(외부와 격리된 실험용 실행 환경)에서 진행된다. 샌드박스는 도구 인터페이스와 실행, 검증 장치, 그리고 상태 변경과 작업 기록을 보존하는 데이터베이스로 이루어진다. 화면을 직접 구현하지 않아도 과제 수행 후의 최종 상태를 확인해 성공 여부를 판정할 수 있다. 또한 각 도구 호출의 결과가 환경에 그대로 누적되므로, 잘못된 실행 순서나 예상하지 못한 부수효과도 이후 단계에 영향을 미친다.

정책 관련 업무 507개를 평가한 Thinkingbox에서는 신뢰성 문제가 더욱 뚜렷하게 나타났다. 최상위 모델의 한 차례 실행 성공률은 65.36%였지만, 같은 과제를 20회 연속으로 모두 성공한 비율은 25.25%에 불과했다. 실패한 실행 중 상당수는 오류를 드러내지 않은 채 자연스럽게 종료됐으며, 실제로 시스템의 상태를 변경하기도 했다. 따라서 답변이 그럴듯하고 완성도 높아 보인다는 사실만으로는 충분하지 않다. 의도하지 않은 부수효과 없이, 시스템에 정확한 최종 상태를 남겼는지까지 확인해야 한다.

ContractBench에서 정확도 80%는 전멸

에이전트는 최종 답만 맞혀서는 안 된다. 정해진 절차를 따르고, 도구가 요구하는 계약을 지키며, 재시도 과정에서 같은 작업을 중복 실행하지 않아야 한다.

AgentLTL은 작업의 순서와 분기, 반복, 근거 지정 규칙을 선형 시간 논리(시간에 따른 순서, 조건을 형식적으로 기술하는 논리)로 표현해 실행 기록 전체를 검사한다. 덕분에 최종 답은 맞더라도 절차를 어긴 실행을 찾아낼 수 있다. 규칙을 위반하는 도구 호출을 사전에 차단하고 경고했더니, 실험 대상 7개 모델 중 5개에서 절차 준수율이 높아졌다. 준수 점수를 보상으로 삼아 학습한 모델은 처음 접한 절차에서도 정확도가 38%, 준수율이 17.5% 향상됐다.

도구가 반환한 임시 URL이나 OAuth 토큰을 다룰 때는 유효기간뿐 아니라 원본 바이트도 그대로 유지해야 한다. 이런 계약 준수 능력을 평가하는 ContractBench의 33개 과제를 38개 모델 변종에 적용한 결과, 정확도 80%를 넘긴 모델은 하나도 없었다.

모델	정확도
Claude Opus 4.6	77.8%
Qwen 3.5 (4B)	0%
Qwen 3.5 (9B)	56.6%
Qwen 3.5 (397B)	70.7%
GPT-5 계열 (변종별)	71% → 49% → 75%

이는 계약 준수 능력이 모델 크기만이 아니라 학습 방식에도 크게 좌우된다는 점을 보여준다.

기존 시스템은 재시도의 안전성을 모델의 판단에만 맡기지 않는다. 예를 들어 Stripe API는 호출자가 생성한 멱등성 키(같은 요청이 여러 번 들어와도 한 번만 처리되도록 붙이는 식별자)를 최소 24시간 보관한다. 같은 키로 요청이 다시 들어오면 첫 번째 처리 결과를 그대로 반환하며, 그 결과가 500 오류였을 때도 마찬가지다. 반대로 서버가 매번 키를 생성하면 타임아웃 후 재시도할 때 새로운 키가 발급될 수 있다. 그러면 같은 요청임을 식별하지 못해 중복 처리를 막을 수 없다.

체크포인트에서 복원된 에이전트가 이전 요청을 조금이라도 다르게 만들어 다시 보내는 경우에도 같은 문제가 생긴다. 서버는 이를 기존 요청의 재시도가 아니라 새로운 요청으로 인식하기 때문이다. ACRFence는 이 과정에서 발생하는 중복 결제를 ‘액션 재실행’으로, 이미 사용한 자격 증명을 다시 쓰는 일을 ‘권한 부활’로 분류했다.

두 단계 권한 결정으로 공격률 낮추기

AuthBench는 실제 터미널 작업 120개를 바탕으로 AI 에이전트의 권한 사용을 평가한 벤치마크다. 각 작업에는 사람이 검수한 권한 목록과 실행 검증기가 함께 제공된다.

평가 결과, 최상위권 모델조차 작업에 꼭 필요한 권한은 빠뜨리면서 실제로 사용하지 않을 민감한 권한까지 허용하는 경향을 보였다. 추론량을 늘려도 최소권한 원칙에 가까워지지는 않았다. 오히려 모델마다 원래 가지고 있던 권한 부여 성향이 더 강해졌다.

반면 두 단계로 권한을 결정하는 방식은 효과가 있었다. 먼저 작업의 실행 과정을 미리 따라가며 필요한 권한을 수집하고, 이후 각 권한의 필요성과 민감도를 다시 검토하는 방식이다. 이 절차를 적용하자 민감한 작업의 성공률은 최대 15.8% 높아졌고, 모든 모델에서 공격 성공률은 낮아졌다. 다만 권한을 줄이면 작업 성공률도 낮아진다는 통념은 항상 성립하지 않았다. 두 지표의 관계는 권한을 어떤 절차로 산출하느냐에 따라 달라졌다.

문제는 실제 에이전트 프레임워크에서도 드러났다. LangChain, LangGraph, LlamaIndex, Stripe Agent Toolkit을 분석한 결과, 이들은 대체로 에이전트가 특정 도구를 보유했는지만 확인할 뿐, 개별 호출의 맥락이 정당한지는 다시 검증하지 않았다. 예를 들어 결제 권한을 가진 에이전트가 프롬프트 인젝션(입력에 악의적 지시를 숨겨 모델을 조종하는 공격) 공격에 조종되면, 서버에 부여된 권한을 이용해 시스템상 정상으로 보이는 이체를 실행할 수 있다.

현장의 대비 수준도 충분하지 않다. 2026년 6개국 보안책임자 306명을 대상으로 한 조사에서 81%가 AI의 과도한 접근 권한을 우려했다. 그러나 배포된 에이전트를 모두 식별하고 있다는 응답은 47%에 그쳤다. 에이전트의 연결을 통제한다는 응답은 46%, 개별 행위를 인가한다는 응답은 45%였다. 응답자의 21%는 공유 자격 증명이나 권한 범위가 넓은 서비스 계정을 사용하고 있었다.

따라서 권한을 좁힌 뒤 벤치마크 점수가 떨어졌다고 해서 곧바로 성능이 나빠졌다고 해석해서는 안 된다. 기존 점수에는 실제 업무 환경이라면 허용되지 않았을 접근 권한으로 얻은 성과까지 포함돼 있을 수 있기 때문이다.

가역성과 비가역성 액션의 충돌 비용

MobilePA-Bench에서는 차원마다 최고 성능을 낸 모델이 달랐다. 협업은 Gemini 3.1 Pro가 77.53%, 메모리는 Qwen 3.8 Max가 64.63%로 가장 높았다. 스킬과 기본 도구에서는 Claude Opus 5가 각각 78.00%와 83.85%로 1위를 차지했다. 반면 차원별 하한은 협업 43.82%, 메모리 33.78%, 스킬 46.50%, 기본 도구 68.94%였다. 모델과 능력에 따른 편차가 상당했다.

문제의 양상도 차원마다 달랐다.

위임 과정에서는 책임 범위가 불분명해졌고, 메모리는 잘못된 상태를 저장해 다시 사용했다.
스킬은 적절한 도구 묶음도 잘못된 맥락에서 사용했다.
심지어 능력 밖의 과제를 받았을 때 되묻지 않고 존재하지 않는 도구를 호출하기도 했다.

이처럼 총점만 봐서는 어느 부분을 고쳐야 하는지 알기 어렵다.

더 큰 문제는 단계별 오류가 누적된다는 점이다. 그 결과 처음부터 끝까지 과제를 완수하는 종단 성공률은 개별 차원의 점수보다 낮았다. 장기 실행 연구에 따르면 단일 단계의 정확도가 조금만 높아져도 완주 가능한 작업 길이는 지수적으로 늘어난다. 그러나 앞선 오류가 문맥에 남으면 다음 단계에서도 오류가 발생할 가능성이 커진다. 모델의 규모를 키워도 이러한 자기조건화 문제는 사라지지 않았다.

따라서 실패를 피하는 것만큼 복구 지점을 설계하는 일이 중요하다. 액션을 멱등, 가역, 보상 가능, 비가역의 네 유형으로 분류하면 어디까지 되돌릴 수 있는지 판단할 수 있다. 서로 충돌하는 보상 가능 액션은 추가적인 적응 비용을 낳고, 비가역 액션끼리 충돌하면 명세를 완수할 수 없게 된다.

이때 가장 이른 충돌 지점으로 되감는 규칙을 적용하면 전면 재시작과 같은 수준의 결과를 유지하면서도 낭비되는 단계를 한 자릿수 배수만큼 줄일 수 있었다. AgentRewind도 비슷한 원리를 사용한다. 에이전트의 문맥과 환경 상태를 함께 저장하고, 복원할 때는 실패 정보를 남겨 같은 실수를 반복하지 않도록 한다. 이 방식은 장기 공학 과제의 성공률과 진척도를 모두 높였다.

안전을 위한 실무 체크리스트

실무에서는 각 도구에 전제조건과 가역성 등급을 명시해 조건을 위반하는 호출을 사전에 차단할 수 있다. 권한은 실행 경로를 미리 점검해 필요한 만큼만 부여하고, 실행 후 감사를 통해 다시 축소한다. 비가역 액션을 실행하기 직전에는 에이전트의 문맥과 환경 상태를 함께 저장해야 한다. 복원 후 요청을 다시 생성할 때는 중복 실행을 막기 위해 멱등성 키를 적용해야 한다.

다만 벤치마크 점수 자체도 그대로 믿어서는 안 된다. 벤치마크 10개를 점검한 연구에서는 7개에서 결과 타당성 결함이, 또 다른 7개에서 과제 타당성 결함이 발견됐다. 10개 모두 결과를 보고하는 방식에 한계가 있었다. τ-bench는 빈 응답을 성공으로 처리했고, SWE-bench Verified는 약한 테스트 때문에 측정 성능이 상대 기준으로 최대 100%까지 부풀려질 수 있었다.

따라서 벤더가 제시한 점수를 비교하기 전에 평가 조건부터 확인해야 한다. 특히 실행 순서, 권한 제한, 상태의 영속성, 실패 복구 조건 가운데 무엇을 비활성화한 채 얻은 수치인지 살펴봐야 한다. 총점은 출발점일 뿐이다. 실제 신뢰성은 어디에서 실패하고, 그 실패를 어떻게 감지하며, 어느 지점까지 안전하게 복구할 수 있는지에 달려 있다.

출처

#에이전트 #AI 안전