Cerebras는 2026년 7월 자사 블로그에서 내부 지식 베이스 ‘Cerebras Knowledge’ 구축 과정을 공개했다. 직원들이 하루 15,000건 이상 질문을 던지고, 출시 3개월 만에 회사에서 가장 널리 쓰이는 내부 도구가 된 이 시스템은 전통적인 기업 RAG와 다른 접근을 보여준다. 핵심은 “단일 진실의 원천(Single Source of Truth)을 만들지 말라”는 인식이다. 정보는 원래 도구에 그대로 두고, 그 위에 통합 검색·답변 레이어를 얹는 방식으로 문제를 해결했다.
분산된 기업 데이터의 현실과 한계
대부분 기업에서 정보는 Slack, Confluence, GitHub, 내부 DB, 인시던트 리포트 등 여러 곳에 흩어져 있다. 각 플랫폼은 고유한 맥락과 용도로 설계되어 있어, 모든 데이터를 하나의 중앙 저장소로 옮기는 작업은 비용과 맥락 손실을 동시에 초래한다. 전통적인 RAG 시스템이 기대만큼 성과를 내지 못하는 이유도 여기에 있다. 단순히 문서를 벡터화해 검색하는 방식으로는 Slack처럼 잡음이 많은 대화형 데이터나, 코드처럼 구조가 복잡한 데이터를 제대로 다루기 어렵다.
Cerebras는 이 현실을 직시했다. 데이터 이동 대신 네이티브 소스를 유지하면서도 일관된 검색 경험을 제공하는 레이어를 만드는 데 집중했다. 그 결과물이 바로 Cerebras Knowledge다.
금고에 가두는 대신, 각자의 자리에 남겨둔 소스들을 다리로 연결한다.
단일 Postgres 테이블 + 플러그인 방식의 데이터 수집
모든 소스에서 추출한 데이터는 하나의 Postgres 테이블에 통합된다. 테이블 스키마는 document, embedding, metadata(출처, 타임스탬프 등)로 단순하게 통일됐다. Slack 스레드, 위키 문서, 코드 조각, 커스텀 DB 레코드 모두 동일한 형식으로 들어간다.
새로운 데이터 소스를 추가하려는 팀은 정해진 스키마에 맞춰 작은 Python 모듈(플러그인)만 작성하면 된다. 이 모듈을 PR로 제출하면 데이터가 자동으로 동일 테이블에 흘러 들어간다. 쿼리 로직은 소스에 독립적이기 때문에 확장성이 높다.
Slack 처리: 가장 중요한 동시에 가장 어려운 소스
Slack은 Cerebras 내부에서 가장 중요한 지식 원천이면서도 가장 잡음이 심한 곳이다. 단순히 메시지를 임베딩하면 “알겠습니다”, “감사합니다” 같은 무의미한 답변이 검색 결과 상위를 차지한다.
Cerebras는 두 가지 장치를 도입했다. LLM으로 Slack 스레드 전체를 구조화된 JSON으로 요약한다. question, summary, resolution, systems, code_refs 같은 필드로 변환한 뒤 임베딩한다. 동시에 긴 스레드에서 중요한 ‘버스트(burst)‘를 추출한다. 동일 작성자의 연속 메시지 덩어리를 단위로 삼아, IDF(희귀 토큰 비율)가 높고, 일정 길이 이상이며, 반응이 있는 버스트만 선별해 별도로 임베딩한다.
검색 시에는 하이브리드 랭킹을 사용한다. 키워드(풀텍스트) 검색과 의미 검색을 병행하고, IDF로 희귀 용어를 부스팅하며, 최신성(나이 디케이)도 반영한다. 각 랭킹 결과를 RRF(Reciprocal Rank Fusion)로 합친다. 이 과정이 Slack 검색 정확도를 크게 끌어올린 핵심이다.
잡음 섞인 대화 더미에서 정제된 지식만 걸러내는 것이 Slack 처리의 핵심이다.
코드와 커스텀 소스 처리
코드 저장소는 CocoIndex라는 오픈소스 프레임워크로 처리한다. 클래스·함수 단위로 청킹하고, 의미 검색과 ripgrep을 함께 제공한다. 대용량 저장소(40GB 이상)에서도 변경된 부분만 재임베딩하는 differential sync 방식으로 효율을 유지한다.
커스텀 데이터베이스를 가진 팀은 앞서 언급한 플러그인 방식으로 손쉽게 연결할 수 있다.
Planner → Executor → Synthesizer 파이프라인
사용자 질문이 들어오면 세 단계로 처리된다. Planner(작은 LLM)는 질문을 분석해 어떤 도구를 쓸지 결정한다. Executor는 선택된 도구를 병렬로 실행해 증거 행을 수집한다. Synthesizer(LLM)는 수집된 증거를 종합해 최종 답변과 출처를 생성한다.
이 구조는 단순한 RAG를 넘어 에이전트적 검색 패턴에 가깝다. Cerebras는 여기서 한 걸음 더 나아가 저수준 프리미티브를 외부에 노출한다. search_slack, search_code 같은 원시 검색 도구를 제공해, 외부 에이전트가 직접 오케스트레이션할 수 있게 했다. monolithic 답변 엔드포인트 대신 얇은 검색 레이어를 유지한 것이다.
여러 특화 에이전트가 각자의 소스를 검색하고, 그 결과가 하나의 답변으로 합류한다.
프로젝트 스코핑으로 노이즈 줄이기
회사 전체 데이터를 한 번에 검색하면 조직적 노이즈가 커진다. Cerebras는 ‘프로젝트’라는 개념으로 소스 묶음을 정의한다. Slack 채널, 저장소, DB 등을 프로젝트 단위로 그룹화하고, 사용자는 온보딩 시 기본 프로젝트를 선택한다. 검색 범위가 자동으로 제한돼 관련성 없는 결과가 줄어든다.
왜 이 시스템이 성공했는가
Cerebras Knowledge의 성공 요인은 기술적 화려함보다 현실 적합성에 있다. 데이터 이동을 최소화해 기존 도구를 그대로 두면서 검색 경험만 통합했기 때문에 저항이 적다. 가장 어려운 소스인 Slack을 구조화 요약과 하이브리드 랭킹으로 정교하게 다뤘다. 모듈러 플러그인 설계와 primitives 노출로 에이전트 시대에도 확장 가능하다. 프로젝트 스코핑처럼 조직적 맥락을 반영한 장치가 실사용자 경험을 개선했다.
온톨로지·지식 그래프 접근을 고민해 온 기업들이 새로 고려할 점
많은 기업이 지난 수년간 온톨로지 엔지니어링과 지식 그래프 구축에 상당한 자원을 투입해왔다. RDF, OWL, Neo4j 등으로 명시적 관계를 정의하고, 스키마를 정교하게 다듬어 의미 검색과 추론을 가능하게 하려는 시도였다. 이 접근은 도메인이 안정적이고, 관계가 명확히 정의될 수 있는 영역에서는 강력한 효과를 낸다. 그러나 빠르게 변하는 조직 환경에서는 유지보수 비용이 급격히 상승한다.
Cerebras 사례는 다른 경로를 제시한다. 완전한 온톨로지를 사전에 구축하는 대신, 가치가 높은 영역(Slack 스레드)에서만 최소한의 구조화(JSON 요약)를 수행하고, 나머지는 네이티브 소스에 두면서 하이브리드 검색과 LLM 합성으로 보완했다. 기업이 지금 고민해야 할 것은 “그래프를 얼마나 완벽하게 만들 것인가”가 아니라 “어떤 데이터 소스에 어느 정도의 구조화 비용을 투입할 것인가”다.
Slack이나 인시던트 로그처럼 맥락이 빠르게 변하고 잡음이 많은 영역에서는 과도한 온톨로지 시도가 오히려 마찰을 늘릴 수 있다. 반면 코드 의존성, 조직 구조, 제품 스펙처럼 상대적으로 안정적인 영역에서는 그래프나 온톨로지가 여전히 유용하다. Cerebras 방식의 실질적 교훈은 ‘완벽한 지식 표현’ 대신 ‘실행 가능한 검색 레이어’를 먼저 만드는 것이다. 많은 기업이 온톨로지 프로젝트에서 겪는 피로와 낮은 ROI를 줄이려면, 이 우선순위 전환이 필요하다.
칩 설계 회사에서 나온 사례가 국내 전통 기업에 주는 함의
Cerebras는 본질적으로 칩 설계·하드웨어 회사다. Wafer Scale Engine을 만드는 기업이 내부 지식 베이스를 이렇게 빠르게 실용화했다는 점은, 순수 소프트웨어 기업이 아니라는 사실 자체가 의미를 갖는다. 이들은 복잡한 하드웨어 설계 프로세스에서 발생하는 수많은 코드, 스펙, Slack 조율, 인시던트 기록을 매일 다루는 조직이다. 그런 환경에서 내부 도구가 실제로 쓰이려면, 데이터 이동 비용을 최소화하고 기존 워크플로를 존중하는 설계가 필수적이었다.
국내 전통 기업, 특히 제조·중공업·반도체·화학 분야 기업에게 이 사례는 몇 가지 시사점을 준다. 첫째, 내부 지식 관리 문제를 “소프트웨어 회사만 잘할 수 있는 일”로 치부할 이유가 없다는 점이다. Cerebras처럼 엔지니어링 중심의 조직에서도 충분히 실용적인 시스템을 만들 수 있다. 둘째, 기존 레거시 시스템(ERP, PLM, CAD, 메일·메신저, 안전·품질 DB)을 모두 갈아엎거나 중앙화하려는 시도는 비현실적이라는 점을 다시 확인시켜 준다.
대신 얇은 검색·추론 레이어를 기존 소스 위에 얹는 접근이 더 낮은 마찰로 시작할 수 있다. 셋째, 국내 기업이 흔히 겪는 부서 간 데이터 사일로와 인수인계 비용, 전문가 의존 문제를 줄이는 데 실질적 도움이 될 가능성이 높다. 하드웨어·엔지니어링 지식이 핵심 자산인 기업일수록, Cerebras가 보여준 ‘데이터는 원래 자리에 두되 연결은 잘 하자’는 철학이 더 큰 효과를 낼 여지가 있다.
결국 중요한 것은 기술 스택이 아니라, 조직이 데이터를 다루는 방식에 대한 관점 전환이다. Cerebras Knowledge는 그 전환을 구체적인 아키텍처와 운영 결과로 보여준 사례다. 국내 전통 기업이 내부 AI 도입에서 마찰을 줄이고 실질적 생산성 향상을 이루려면, 이 관점에서 출발하는 것이 더 효과적일 수 있다.