유레카 머신이 설계…벤치는 자체 측정
인공지능 분야의 스타트업인 리커시브가 노트북에서 실행되는 코딩 모델 플린트를 아파치 2.0으로 21일(현지시간) 공개했다.
회사는 자동 연구 시스템 유레카 머신이 아키텍처부터 추론 커널까지 거의 전 과정을 설계했다고 밝혔다. 공개된 코딩 벤치마크 점수는 모두 리커시브가 자체 측정한 수치다.
총 40B 중 2.5B만 활성화
공식 발표문에 따르면 플린트는 전문가 혼합(MoE) 구조로 총 파라미터 약 40B, 토큰당 활성 파라미터는 2.5B다. 코드베이스를 읽고 버그를 고치며 기능을 구현하고 테스트를 쓰는 코딩 에이전트용으로 설계됐다.
소수 인력이 에이전트와 함께 네 달 미만 만에 처음부터 만들었고, M4 프로 맥북 프로에서 초당 125토큰 이상, 64GB RTX 스파크에서 150토큰 이상을 냈다. 비슷한 크기 모델보다 최대 두 배, 비슷한 코딩 점수의 25–40B 밀집 모델보다 다섯 배 이상 빠르다고 적혀 있다.
허깅페이스 모델 카드는 규모를 총 39.8B, 활성 약 2.5B로 적시한다. 층은 49개로, 앞의 2개는 밀집층이고 뒤 47개는 MoE다. 각 MoE 층은 라우팅 전문가 256개 가운데 6개를 고르고, 항상 켜지는 공유 전문가 하나를 더한다.
주의 35개 층은 513토큰 슬라이딩 창을 쓰고, 14개 층은 전체 주의를 쓴다. 문서화된 컨텍스트는 26만2144토큰이며 지식 컷오프는 2026년 6월이다. 4비트 가중치는 약 23GB로 48GB 메모리의 맥이나 GPU에서 돌리도록 맞춰졌고, BF16 체크포인트는 약 80GB다.
가중치는 아파치 2.0으로 내려받을 수 있다. 텍스트만 다루며 추론과 오픈AI 호환 도구 호출을 지원하고, 서버에서는 B300 또는 H200 한 장으로 복제본을 돌린다.
유레카 머신, 설계부터 커널까지
리처드 소처 최고경영자(CEO)는 유레카 머신이 아이디어 제안·구현·검증을 돌리고 다음 실험을 고른다고 말했다.
회사 발표 기준 시스템은 총 35B·활성 3B에서 전문가 구성을 탐색해 총 40B·활성 2.5B 형태를 골랐다. 출력층까지 4비트로 줄인 뒤 증류로 정확도를 되찾는 절차도 제안했고, 최종 NVFP4 모델은 16비트 대비 벤치마크가 0.7점 이내다. 기여에는 크기를 71% 줄인 저비트 학습과 애플·엔비디아 칩별 맞춤 커널이 포함된다.
모델 파이프라인 거의 모든 측면을 실제로 AI가 수행하고 개선했다.
— 리처드 소처, 와이어드 10월 21일 · “Nearly every aspect of the entire model pipeline was actually done and improved upon by AI.”
테크크런치에 따르면 같은 맥에서 플린트는 초당 약 131토큰을 냈다. 구글 젬마 4와 엔비디아 네모트론 3.5 라이트닝의 58–69토큰보다 약 두 배 빨랐다. 여섯 개 시험 평균에서는 알리바바 퀀3.8 27B만이 플린트보다 높았다.
오프라인 실행으로 코드를 외부 서버에 보내지 않고 쓸 수 있다. llama.cpp, 올라마, LM 스튜디오, vLLM, SGLang에서도 돌아가며, 맥용 추론 엔진 rec도 함께 나왔다. 큰 유료 코딩 보조도구보다 안내가 더 필요할 수 있어 큰 작업을 작은 단계로 나누라는 권고도 발표문에 있다.
회사, 동급 MoE 선두를 주장
모델 카드 기준 플린트는 터미널벤치 2.1에서 54.9%, SWE벤치 프로 v2에서 89.7%, SWE벤치 베리파이드에서 74.2%를 기록했다. IFEval은 95.1%다. 총 50B 미만 MoE 가운데 에이전트형 코딩 벤치마크에서 선두로 적혀 있다.
에이전트 점수는 최소 다섯 번 시도의 평균 pass@1이며, 터미널벤치는 웹 검색으로 얻은 답을 실패로 센다. 다만 카드 자체는 평가 설정이 출처마다 다르다고 적는다. 밀집 모델과의 격차는 남아 있다.
와이어드의 윌 나이트는 48GB 맥에서 할 일 목록과 웹 조사 도구 등을 만들어 본 뒤, 비슷한 크기 모델보다 오류가 적고 요청을 매번 처리했다고 적었다. 소처는 이 결과를 두고, 이 정도로 작은 팀이 동급에서 실제로 더 나은 모델을 만들 수 있는 유일한 방법이라고 말했다고 전했다.
오픈라우터는 출시 직후 무료 API 엔드포인트를 열었다.
벤치마크를 독립 기관이 같은 설정으로 다시 측정한 결과는 아직 나오지 않았다.