하이브리드 검색 라우터 시대, 그래프는 롱컨텍스트 앞에서 자리를 지킬 수 있는가

하이브리드 라우터가 표준이 된 현실

롱컨텍스트의 경제성이 바뀌는 동안, 기업은 그래프 인덱스를 어디까지 유지해야 하는가. 답을 가르는 기준은 둘이다. 검색 성능을 끌어올리기 위한 투자인가, 아니면 감사·책임 소명을 위한 기반인가. 이 글은 그 경계를 검색 성능 축과 감사·책임 축으로 나눠 본다.

벡터 검색, 키워드·SQL 검색, 그래프 탐색을 하나의 라우터 뒤에 두는 구조가 제품에 굳어지고 있다. 여러 검색 경로를 같은 평가·라우팅 대상으로 다루는 설계 패턴이, 기능으로 자리 잡는 흐름이다. 여기서 말하는 ‘표준’은 전 기업이 이미 채택했다는 뜻이 아니다. 하이브리드 라우팅이 제품 기능과 평가 프레임으로 다루어지는 문제 설정을 가리킨다.

Google Cloud Spanner는 한 DB 안에서 트랜잭션 일관성을 유지한 채 ANN(근사 최근접 이웃 검색)과 전문 검색을 RRF(상호 순위 융합)로 합치는 방식을 공식화했다. Oracle AI Database 26ai도 같은 방식의 하이브리드 검색을 지원한다. Amazon Neptune Analytics는 벡터 유사도와 그래프 순회를 한 쿼리 안에서 결합하는 패턴을 프로덕션용 참조 아키텍처로 문서화한다. 벤더 쪽에서는 키워드·벡터·SQL·하이브리드를 같은 질문 세트로 비교 평가하자는 방법론까지 나오고 있다.

라우터는 쿼리 의도를 분류해 경로를 고른다.

네 경로는 먼저 질의 형태에 맞는 기술 선택지로 정리된다. 다만 그 선택은 기술만으로 끝나지 않는다. 조직 소유권과 책임 경계라는 별도의 판단축 위에서도 굳어진다.

컨텍스트 로트와 그래프의 방어선

기술 축, 즉 검색 경로 선택부터 보자. 소유권 축은 뒤에서 다룬다.

롱컨텍스트 비용은 계속 내려가고 있다. 그렇다고 길이를 늘리면 성능이 따라오는 것은 아니다. Chroma의 2025년 Context Rot 보고서는 18개 프론티어 모델을 대상으로, 입력이 길어질수록 성능이 고르게 떨어지지 않고 들쭉날쭉하게 하락한다는 점을 실증했다. 일관된 서술 구조의 distractor는 무작위 텍스트보다 간섭이 더 크다. 길이가 늘어날수록 성능이 흔들린다는 문제 설정 자체는 여전히 유효하다.

그래프는 이 로트를 사전 구조화로 줄이려는 시도다. 엔티티와 관계를 명시적으로 인덱싱해 두면, 모델이 전체 문서를 훑지 않고도 좁은 경로만 따라갈 수 있다. 다만 그래프의 추가 효용은 “입력을 줄인다”는 일반론에 있지 않다. 관계 경로와 구조 제약을 살려야 하는 질문에 한정된다. 경로를 고를 때는 관계 깊이, 구조 제약, 갱신 비용, 지연시간, 오류 비용을 공통 축으로 두고 SQL·키워드·벡터·그래프를 같은 기준으로 비교하는 편이 낫다.

예를 들어 이런 가상 쿼리를 떠올려 보자.

이 정책 조항이 A 부서 역할에 적용되는지, 중간 승인 단계와 예외 조건을 거쳐 확인하라.

다단계 관계와 권한 제약이 핵심이면 그래프가 유리하다. 관계가 깊고 구조 제약이 분명하며, 잘못 배제하거나 포함했을 때 치러야 할 비용이 클 때다. 반대로 단순 사실 조회나 어휘 변동이 큰 의미 검색에서는 벡터+키워드 하이브리드가 갱신 비용과 지연시간 면에서 더 싸고 빠르다. 그래프가 모든 쿼리를 흡수하려 들면, 유지 비용이 로트보다 커진다.

소유권·책임이 굳힌 라우팅 경로

라우터가 경로를 고르는 순간, 기술 점수표만으로 끝나지 않는 경우가 많다. 데이터 메시에서 도메인 팀이 자신의 그래프나 SQL 테이블을 소유하면, 그 소유권은 SLA, 접근권한, 장애 시 호출 대상, 조달·계약 비용으로 곧바로 이어진다. policy-as-code와 토큰 단가는 그 경계를 코드와 예산에 박아 둔다. 이 사슬을 거치면 라우팅 규칙은 “어느 저장소가 기술적으로 맞는가”를 넘어 “응답 품질과 장애를 누가 책임지는가”를 담은 결과물이 된다.

그래서 라우팅은 정확도·비용·책임·규제를 한꺼번에 다루는 다목적 최적화에 가깝다. 기술 적합성이 분명하고 조직 요인이 약하면, 의도 분류와 성능·비용 비교가 앞선다. 반대로 도메인 소유권이 강하고, 장애 책임과 계약 비용이 경로마다 다르게 나뉘면, 조직 요인이 기술 점수보다 먼저 라우팅 로직을 굳힌다.

이때 라우팅은 “가장 정확한 증거를 찾는 알고리즘”이라기보다 “누가 호출당하는가”를 적어 둔 책임 할당 코드에 가깝다. 그 사실은 정확도 벤치마크만으로는 보이지 않는다. 장애 시 로그에 남는 호출 경로와 책임 할당을 같이 봐야 한다.

규제 앞에서 그래프가 지키는 마지막 진지

EU AI Act의 고위험 시스템 요건이 본격 적용되면서, 요구 수준이 달라지고 있다. Article 12는 시스템 생애 주기 전체에 걸친 자동 이벤트 기록을 요구하고, Article 13은 배포자가 출력을 해석하고 적절히 쓸 수 있을 만큼의 투명성을 요구한다. 답변에 근거 문장만 달아 두는 것으로는 부족하다. “왜 그 경로를 골랐고, 무엇을 배제했는가”를 나중에 다시 그려 낼 수 있어야 한다.

그래프 구조가 분명하다는 것과 실행 로그가 완전하다는 것은 다른 이야기다. 노드와 엣지가 뚜렷해도, 배제 사유를 사후에 재구성하려면 후보 노드·엣지, 탐색 범위, 필터, 중단 조건을 따로 남겨야 한다. 그래프를 쓴다고 추적 가능성이 저절로 생기는 것은 아니다.

같은 로깅 조건을 벡터 검색에 걸면, 후보군·점수·필터·재랭킹도 남길 수 있다. 그 조건에서 그래프가 상대적으로 나은 지점은 하나다. 관계의 의미와 경로 제약을 사람이 검토하기 쉬운 형태로 남긴다는 점이다. 데이터 계보(lineage)와 프로버넌스가 규제 감사의 핵심이 되면, 그래프의 가치는 검색 정확도가 아니라 추적 가능성 쪽으로 옮아간다.

비터 레슨(The Bitter Lesson)과 조직이 미뤄둔 비용

Sutton의 비터 레슨(The Bitter Lesson)은 이렇게 말한다. 계산 자원을 쓰는 일반적 방법이, 장기적으로는 도메인 특화 지식을 앞선다고. 롱컨텍스트와 에이전트 탐색이 계속 싸지면, 미리 쌓아 둔 그래프는 어느 순간 기술 부채로 남을 수 있다. 아마라의 법칙처럼, 단기에는 과대평가되고 장기에는 과소평가되는 힘이 동시에 작용한다.

그렇다고 컨텍스트 로트를 모델의 고유 결함으로만 보는 시각은 불완전하다. 모델 자체의 길이·배치 민감성과, 조직 데이터의 중복·모순·권한 혼재가 만드는 추가 간섭은 원인이 다르다. Chroma 실험이 보여 준 것은 전자에 가깝다. 정리되지 않은 문서와 방치된 권한 경계가 로트를 키울 수 있다는 후자의 해석은, 조건부 분석으로 남겨 두는 편이 정확하다.

모델이 길이 민감성을 스스로 넘어서는 날이 와도, 그 전까지 그래프 투자는 실물옵션(real option)으로 남는다. 규제와 책임이 셀수록 그 옵션 가치는 올라간다. 다만 이 옵션성은 핵심 엔티티와 고위험 업무부터 단계적으로 쌓아, 확장과 축소를 조율할 수 있을 때만 성립한다. 전면 구축은 그 자체로 되돌리기 어려운 매몰비용이 될 수 있다.

검색 성능 축에서 보면, 컨텍스트 로트가 완화될수록 그래프는 과도기적 수단에 가깝다. 감사·책임 축에서 보면, 규제와 소명 요건이 이어지는 한 그래프는 장기 기반으로 남을 수 있다. 그래프 인덱스의 수명은 이 두 축에서 따로 봐야 한다. 그래프가 지킬 수 있는 영역은 “더 잘 찾는 것”이 아니라 “무엇을 배제했는지 소명할 수 있는 것”으로 좁혀지고 있다.

두 축을 겹치면 판단은 실행 규칙으로 정리된다.

라우터는 그 소명의 경계를 조직 구조 위에 그린다.

#graph-rag#hybrid-search#long-context