많이 적는다고 더 똑똑해지지는 않는다
코딩 에이전트용 지침은 탐색 시간을 줄여주지만 판단력까지 높이지는 않는다. 싱가포르경영대, 하이델베르크대 등 공동연구진이 실제 풀리퀘스트 124개를 비교한 결과, AGENTS.md를 읽은 에이전트는 실행시간과 출력 토큰을 각각 28.64%, 16.58% 줄였다. 하지만 과제 완수 능력에는 뚜렷한 차이가 없었다.
ETH Zurich 연구진의 실험에서는 자동 생성한 컨텍스트 파일이 오히려 성공률을 2~3% 낮추고 비용을 20% 넘게 늘렸다. README와 코드에서 알 수 있는 내용을 다시 적어 모델의 주의를 흩뜨렸기 때문이다. 반대로 기존 문서가 전혀 없는 저장소에서는 성능이 2.7% 올랐다. 에이전트가 직접 알아낼 수 없는 규칙과 예외만 남기는 편이 낫다.
문서는 코드가 바뀌는 순간 낡기 시작한다. 컨텍스트가 100만 토큰에서 1,000만 토큰으로 늘었을 때 성능이 64.1점에서 48.6점으로 떨어진 실험도 있다. 메모리는 모아 두는 게 아니라 계속 정리해야 하는 대상이다.
압축은 언제 기억 파괴가 되는가
ACE(에이전트가 스스로 메모리를 편집하는 컨텍스트 관리 방법론) 연구의 AppWorld(에이전트의 다단계 작업 수행 능력을 측정하는 벤치마크) 실험에서는 60단계 동안 모은 18,282토큰의 메모리가 66.7%의 정확도를 냈다. 그런데 다음 단계에서 이를 통째로 다시 쓰면서 메모리가 122토큰으로 줄었고 정확도도 57.1%로 떨어졌다. 아무런 적응을 하지 않은 기준선 63.7%보다도 낮은 수치다.
| 상태 | 메모리 | 정확도 |
|---|---|---|
| 60단계 누적 | 18,282토큰 | 66.7% |
| 통째로 다시 쓴 뒤 | 122토큰 | 57.1% |
| 적응 없는 기준선 | — | 63.7% |
요약문이 이전 요약문을 계속 덮어쓰면 무엇이 언제 빠졌는지 알 수 없다. 원문이나 실행 로그, 이전 판본이 없다면 오류를 되돌리기도 어렵다.
ACE는 그래서 전체 메모리 대신 작은 항목만 고친다. 새 정보를 기존 목록에 합치고 항목별로 도움이 된 횟수와 해가 된 횟수를 기록한다. 겹치는 내용만 골라 정리하므로 정보 손실과 처리 비용을 함께 줄인다. 실제로 다른 방식보다 적응 지연과 롤아웃(에이전트 실행 시도)을 크게 줄이면서도 AppWorld 평균 59.4%를 기록했다.
예컨대 의료 기록을 고칠 때도 원문을 감추지 않고 날짜, 작성자, 사유를 남겨야 신뢰할 만한 기록이 된다.
반복된 피드백이 진실은 아니다
모델이 한 번에 기울이는 주의력에는 한계가 있다. 따라서 좋은 컨텍스트는 무조건 짧은 문서가 아니라, 행동에 필요한 정보만 중복 없이 담은 문서다. 자주 쓰는 규칙은 기본 컨텍스트에 두고 드물지만 중요한 예외는 조건이 맞을 때 검색해 불러오는 편이 압축과 구조화, 적시 검색을 함께 쓰는 방식이다.
무엇을 저장할지만큼 출처를 따지는 일도 중요하다. MemSyco-Bench는 에이전트가 메모리에 근거하기보다 사용자 의견에 지나치게 맞추면서 사실적 정확성을 희생하는 문제를 다룬다. 실패인지 성공인지 불분명한 경험을 여러 번 기록한다고 검증된 지식이 되지는 않으며, 잘못된 피드백은 반복해서 기록할수록 더 위험해진다.
각 메모리에는 최근 사용 횟수, 적용 후 성공률, 마지막 검증 시각을 붙인다. 그래야 자주 쓰지 않아도 중요한 규칙은 남기고 오래됐거나 효과 없는 항목은 만료한다. 추가하는 사람뿐 아니라 지우는 기준과 책임도 필요하다.
판단의 족보를 남겨라
메모리의 관리 단위는 파일 전체가 아니라 나중에 맞고 틀림을 판정 가능한 최소 항목이어야 한다. 항목마다 식별자와 적용 결과가 있어야 실제 판단에 도움이 됐는지 확인하고 필요한 부분만 고친다.
보관 기간도 정보의 성격에 따라 달라야 한다.
- 검색 자료는 요청이 끝날 때까지, 작업 상태는 해당 태스크가 끝날 때까지만 두면 된다.
- 전략은 반례가 나올 때까지, 도구 스키마는 코드 버전에 맞춰 관리한다.
수명이 다른 정보를 NOTES.md 하나에 섞으면 끝난 작업과 검증되지 않은 추측이 장기 규칙처럼 남는다.
평가 기준을 토큰 수에만 두어서도 안 된다. 어떤 항목이 없었을 때 에이전트의 결정이 달라졌을지, 즉 결정 기여도를 함께 봐야 한다. 대규모 메모리 시스템인 MOSS가 관계형 데이터베이스와 단계별 기록으로 수천만 토큰과 수많은 지식 조각의 이력을 추적한 이유도 판단 근거를 되짚기 위해서다.
새 정보는 항목으로 추가하고 폐기할 때는 바로 지우지 말고 만료로 표시한다. 고칠 때는 새 판본과 이유를 남기고 근거가 된 실행 로그까지 연결한다.