MIT CSAIL의 아나 트리쇼비치는 2018~2025년에 공개된 언어모델 62개가 인용된 논문 10만8천여 편을 추적했다. 트리쇼비치는 인용문을 배경 설명과 실제 도구 사용으로 나눴고, 오분류는 베이지안 방식(사전 확률에 새 증거를 반영해 추정치를 다시 계산하는 통계 기법)으로 보정했다. 과학 연구에서 개별 모델의 사용량은 출시 뒤 증가하다가 정점을 지나 감소했다. 채택 곡선은 모델마다 역U자 형태였다.
그런데 출시가 1년 늦을 때마다 정점까지 걸린 시간은 27% 줄었다. 수명(사용량이 자체 정점의 절반 이상인 기간)도 23% 줄었으며, 두 결과 모두 p<0.001이었다. 무엇이 이 수명을 갈랐을까. 아키텍처와 오픈 웨이트 여부, 파라미터 수보다 출시 연도가 수명을 더 잘 설명했고, 모델 크기를 통제한 뒤에도 출시 연도별 수명 차이는 유지됐다. 여기서 오픈 웨이트는 모델의 파라미터를 외부에 공개해 누구나 내려받아 직접 실행할 수 있게 하는 방식이다.
스케일링 법칙이 말하지 않은 것
그렇다면 큰 모델은 예외였을까. 10B 이상 모델은 정점 도달 시간이 해마다 33% 짧아졌고 작은 모델은 26% 줄었다. 큰 모델도 연구 기반으로 정착할 시간을 더 확보하지 못했다. 2025년에도 정점 대비 사용량을 많이 유지한 모델은 모두 2022년 이전에 나온 사전학습 베이스 모델이었다.
| 모델 | 2025년 정점 대비 사용량 |
|---|---|
| RoBERTa Large | 79% |
| GPT-2 1.5B | 78% |
| DeBERTa | 72% |
사용 수명은 짧아지지만 성능 연구 쪽은 다른 축을 본다. 스케일링 법칙에 따르면 파라미터와 데이터, 컴퓨트를 늘릴수록 학습 손실은 거듭제곱 관계로 줄어든다. 이후 연구는 고정된 컴퓨트에서 파라미터와 학습 토큰을 비슷한 비율로 늘려야 한다고 보완했다. 두 연구 모두 출시 시점의 성능을 다뤘는데, 그 향상은 이후에도 이어졌다. AI 모델 동향을 추적하는 조사기관 Epoch AI가 집계한 모델은 2026년 5월 1,015개에 달했고 프론티어 성능 향상 속도는 연 15.5점으로 빨라졌다.
오늘의 API를 내일도 부를 수 있는가
그 빠른 교체는 폐기 일정으로도 드러난다. OpenAI는 gpt-4o와 o4-mini의 API 호출을 2026년 2월 중단했고 gpt-4-0314도 3월 26일 종료했으며, gpt-4-0613과 레거시 오디오, 리얼타임, 전사 모델에도 종료 일정을 정했다. 공급자가 API를 닫으면 같은 실험을 다시 실행하지 못한다.
접근이 유지돼도 모델 거동은 시간에 따라 달라진다. 같은 이름의 GPT-4는 소수 판별 정확도가 2023년 3월 97.6%에서 6월 2.4%로 변했다. 이는 무려 석 달 만의 변화다! 2026년 7월 시작된 과학자 무료 접근 프로그램도 웨이트는 제공하지 않아 비용을 낮춰도 재현 가능성까지 보장하지는 않았다.
모델에 묶인 자산
폐기와 거동 변화만의 문제도 아니다. 모델 교체가 API 키 변경에 그쳤던 시기와 달리 최근에는 에이전트 루프, 툴 호출 프롬프트, 평가 하네스(모델의 출력을 채점 규칙에 따라 평가하는 코드 체계)까지 다시 조정해야 한다. 프롬프트는 특정 모델의 반응에 맞춘 동작 명세여서다. 같은 문장이 후속 모델에서 같은 작동을 보장하지 않기 때문이다.
평가도 같은 취약점을 드러낸다. MMLU(대규모 다중작업 언어이해 능력을 측정하는 벤치마크) 구현에 따라 LLaMA 65B 점수는 0.488과 0.637로 달라졌는데 앞 공백이나 주제 줄 같은 서식이 원인이었다. 스클라(Sclar) 연구팀이 320개 서식과 53개 과제를 시험한 결과에 따르면 LLaMA-2-13B에서 최대 76점, GPT-3.5에서 56점 차이가 났다. 그렇다면 평가 점수는 모델만의 속성일까.
모델 크기를 늘리거나 예시를 더 넣어도 서식에 따라 점수가 달라지는 정도는 줄지 않았다. 반면 데이터셋 버전과 과제 정의, 채점 규칙, 평가 설정은 새 모델에도 적용할 수 있으므로 특정 모델의 거동을 알아야 작동하는 프롬프트, 파인튜닝과 달리 모델 호출부에서 분리한 측정 규칙은 남는다.
버전 고정과 그 대가
앞서 수명이 매년 23%씩 줄면 3년 뒤 잔여 수명은 0.77의 세제곱, 약 46%가 된다. 단일 모델에 맞춘 프롬프트와 파인튜닝, 평가 코드를 3년 상각 자산으로 보는 편이 실제 회수 기간에 가깝다. 연구 계획과 서비스 예산은 교체 가능성을 처음부터 비용으로 반영하는 쪽이 실제에 가깝다.
그에 맞춰 다음을 남긴다.
- 논문과 서비스 기록에는 모델 이름 대신 날짜가 포함된 스냅샷 ID를 남긴다.
- 재현이 필요한 실험이라면 오픈 웨이트 사본을 Zenodo 같이 DOI를 발급하는 저장소에 보관한다.
- 평가 하네스는 모델 호출부와 분리한다.
- 프롬프트 서식과 데이터셋 버전, 채점 규칙은 설정 파일로 고정한다.
고정에는 비용이 따르는데, 오픈 웨이트를 택하면 프론티어 모델과의 성능 차이를 받아들이고 저장과 서빙 비용을 계속 부담한다. 평가 하네스를 분리해도 당장 점수가 오르지 않으며 이를 관리할 인력이 필요하다. 재현성과 최신 성능을 동시에 최대화할 수 없으므로 각 실험은 보존할 조건을 먼저 정한다.
그 조건 앞에서 큰 모델이 더 오래 쓰인다는 증거는 없으며, 10B 이상 모델은 정점에 더 빨리 도달했고 크고 작은 모델의 수명 단축률은 같았다. 오래 남은 RoBERTa, GPT-2, DeBERTa는 웨이트가 공개된 베이스 모델이라 공급자의 폐기 일정과 무관하게 실행됐다. 결국 모델의 사용 기간은 파라미터 수보다 누가 접근 조건과 실행 환경을 통제하는지에 좌우된다.