더 찾는데 왜 더 틀릴까
에이전트가 검색을 여러 번 반복하면 문서 사이의 관계도 스스로 찾을 수 있을 것처럼 보인다. 하지만 복잡한 질문에서는 검색 횟수가 곧 정확도로 이어지지 않는다. MuSiQue에서 단발 dense RAG(질문마다 벡터 유사도로 한 번만 검색하는 방식)의 정확도는 20.99%, 검색과 추론을 반복하는 에이전트 기법인 Search-o1은 12.62%, Search-R1은 14.42%였다. 반면 GraphRAG는 47.95%를 기록했다.
그래프의 강점은 여러 문서의 근거를 차례로 이어야 할 때 두드러진다. 여섯 개 QA 데이터셋을 비교한 RAGSearch에서 그래프가 높인 평균 점수는 일반 QA에서 2.43점에 그쳤지만 여러 단계를 거쳐 근거를 연결해야 하는 multi-hop QA(다단계 추론 질의응답)에서는 26점이 넘었다. 관계를 알면 다음에 살펴볼 문서의 범위가 좁아지기 때문이다. 실행할 때마다 결과가 크게 흔들리지 않는다는 장점도 있다.
그렇다고 모든 질문에 GraphRAG가 필요한 것은 아니다. 그래프 기반 RAG를 평가하는 벤치마크인 GraphRAG-Bench의 일부 구현은 질의당 약 4만 토큰을 사용한 반면 일반 RAG는 약 1천 토큰을 썼다. 개념 사이의 연결이 필요한 과제에서 효과가 컸다는 결과도 이 비용과 함께 봐야 한다. 단순한 사실 확인에는 그래프가 과한 설비일 수 있다.
매번 찾지 말고 경로를 남겨라
GraphRAG는 문서에서 개체와 관계를 뽑아 길을 미리 만든다. 에이전틱 검색은 질문을 받았을 때 필요한 길을 그때그때 찾는다. 평범한 질문이라면 즉석 검색으로 충분하지만 여러 근거를 연결해야 한다면 미리 정리한 관계가 탐색 실패를 줄인다.
발견한 길이 남느냐도 다르다.
에이전트가 A와 B, B와 C의 관계를 찾아도 보통 그 경로는 답변과 함께 사라진다.
다음 질문에서는 같은 문서를 찾고 관계를 다시 조립해야 한다. 자주 쓰는 연결을 검토해 저장하면 이 비용을 반복해서 낼 필요가 없다.
저장 비용도 낮아지고 있다. HippoRAG 2는 MuSiQue 코퍼스 색인에 900만 토큰을 사용했다. 비교 대상 파이프라인의 1억1,500만 토큰보다 약 13배 적다. 다만 자동으로 찾은 관계를 그대로 저장해서는 안 된다. 서로 다른 개체를 잘못 합치거나 오래된 관계를 남기면 같은 오류가 계속 재생산된다.
빈도와 변화율로 RAG를 골라라
그래프는 비용을 먼저 내고 여러 질의에서 재사용한다. 에이전틱 검색은 초기 부담이 작지만 질문이 들어올 때마다 추론과 검색 비용을 낸다. 선택 기준은 같은 정보를 얼마나 자주 다시 찾느냐다.
오프라인 그래프의 구축비는 구현에 따라 차이가 크다. Microsoft GraphRAG는 100만 토큰 색인에 20~40달러가 드는 반면 오픈소스 구현체인 LightRAG 계열은 약 0.5달러까지 낮췄다. 색인 단가가 내려갈수록 자주 조회하는 관계를 미리 저장할 이유가 커진다.
반대로 에이전틱 검색은 질의 비용이 높다. 추론 집약적 검색 벤치마크인 BRIGHT에서는 단발 검색보다 2.6배, 금융 문서 벤치마크인 FinanceBench에서는 7.8배 많은 토큰을 썼다. 지연 시간도 단발 RAG의 평균 약 15배였다. 질문이 드물고 자료가 자주 바뀐다면 감당할 만하지만 안정된 자료에 질의가 몰리면 그래프의 초기 구축비가 더 경제적일 수 있다.
규제나 감사가 필요한 업무에서는 비용만으로 결정할 수도 없다. 결론에 어떤 개체와 관계가 쓰였는지 나중에 설명해야 한다면, 유사도 점수만 남기는 검색보다 관계 경로를 기록하는 그래프가 유리하다.
사실에도 유통기한이 있다
사실은 언제나 고정돼 있지 않다. 계약은 월요일에 끝났지만 시스템은 수요일에야 변경 사실을 알 수 있다. 데이터베이스에서는 전자를 사실이 현실에서 유효했던 시간, 후자를 시스템이 그 사실을 보유한 시간으로 구분한다.
시간 인식 그래프 메모리인 Graphiti는 관계에 이 두 시간을 함께 기록한다. 새 정보가 기존 관계와 충돌해도 과거 기록을 지우지 않고 만료 상태로 바꾼다. 덕분에 당시 답변에 어떤 사실이 쓰였는지, 그 사실이 나중에 왜 폐기됐는지 추적할 수 있다. 변경분만 반영하고 시간 정보로 충돌을 처리하므로 그래프 전체를 매번 다시 만들 필요도 없다.
그래프는 검색 정확도를 높이는 데서 그치지 않는다. 큰 모델은 텍스트 속 관계를 점점 더 잘 찾아내고 일반 QA에서 그래프가 주는 정확도 이득은 이미 크지 않다. 그러나 즉석 검색만으로는 사실의 유효 기간과 변경 이력을 관리하기 어렵다.
따라서 그래프가 필요한지는 세 가지로 판단할 수 있다.
- 자료가 얼마나 자주 바뀌는가
- 같은 사실을 얼마나 반복해서 묻는가
- 과거 답변의 근거를 소급해 설명해야 하는가