냅킨 계산 60억 명 거의 미접촉…내부 접근층은 약 5천 명
안드레이 카르파티가 11일(현지시간) LLM 능력에 대한 체감 격차를 ‘날카로운 깔때기’로 나눠 공개했다.
오픈AI 공동창업 멤버인 그는 인구 대부분과 내부 프론티어 접근층 사이 체감을 냅킨 계산으로 수치화했다. 닷새 전 오픈AI가 공개한 수학 원고 수백 편이 인간 검토가 따라가지 못하는 사례라고 게시물에 적었고, 조회는 75만 건을 넘겼다.
카르파티, 이용자를 네 층으로 나눔
카르파티에 따르면 세계 인구의 약 75%인 60억 명은 LLM을 거의 접하지 않았다. 약 10억–20억 명(20%)은 무료 챗봇을 가끔 쓰며, 더 나은 검색이나 글쓰기 도구 정도로 본다. 비행기 예약을 시도하는 에이전트 정도가 이 층의 경험에 가깝다.
수학·코딩 밖의 임원 등 많은 직군도 여기 머문다. 대화와 조율이 일의 중심이라, 변화를 머리로는 알아도 체감은 간접적이다.
수학·코딩 현장에서 최전선급 모델을 쓰는 전문가는 대략 2천만 명(0.2%)이다. 이 층은 수주·수개월 걸리던 프로젝트를 에이전트 한 번의 지시로 끝내는 변화를 직접 본다. 앱을 만들고, 베끼고, 옮기고, 바이너리에서 역으로 풀어내는 일이 1년도 안 돼 일상으로 들어왔다. 본인도 1년 전만 해도 코드를 한 글자씩 치며 가끔 탭으로 자동완성을 쓰던 수준이었다.
맨 위 약 5천 명(0.00006%)은 회사 내부 프론티어 시스템에 접근한다. 바깥 세계가 본 것은 미리보기에 가깝다.
이제는 ‘서로 말을 안 듣는 두 집단’이라기보다 날카로운 깔때기에 가깝다.
— 안드레이 카르파티, X 10월 11일 · “It’s now less “two groups of people speaking past each other” and more a sharp funnel.”
수치는 본인이 ‘냅킨 계산’이라고 밝힌 대략치다. 좋아요는 1만4천 건, 북마크는 9천 건을 웃돌았다. 4월 9일에는 같은 격차를 두 집단의 말 엇갈림으로만 묘사했다.
능력은 검증·수익 영역에서 더 올라감
깔때기를 만드는 동력은 세 가지다. 짧은 문답만으로는 시스템을 거의 못 누르고, 크고 어려운 문제를 가진 쪽에서 체감이 커진다. 이 힘이 소비자와 전문가 축을 나눈다.
능력은 디지털이고 검증 가능하며 경제적 가치가 큰 영역에서 더 올라간다. 강화학습이 단위 테스트 통과 여부처럼 확인할 수 있는 보상에 기대기 쉽고, 기업도 매출이 나는 쪽에 인력을 몰기 때문이다. 수학·코드처럼 답이 맞는지를 기계로 확인할 수 있는 영역이 우선 올라간다.
세 번째는 접근 권한이다. 무료·유료·내부로 나뉜다.
아주 얇은 전문가 층이 곡선이 수직으로 솟는 현기증을 겪고 있다.
— 안드레이 카르파티, X 10월 11일 · “And a small sliver of professionals are experiencing the vertigo of the curve going vertical.”
같은 글에서 일반 대중은 시스템을 거의 안 쓰거나 서툰 챗봇으로만 본다. 다수 직장인이 느끼는 향상폭은 여전히 작다.
수학 원고 검토가 인간 한계 예시
내부 층이 보는 미리보기는 수천 에이전트가 수주에 걸쳐 소프트웨어 거대 과제를 돌리는 모습이다. 제로데이 양산, 기계 속도의 사이버 공방, 새 과학·수학 전진이 그 목록에 들어갔다. 업계 최고 전문가에게 수년이 걸릴 일이다.
인간 검토·이해가 뒤처지기 시작했다는 대목의 예가 오픈AI 수학 원고다. 오픈AI는 6일 내부 프론티어 모델이 낸 새 수학 결과를 공개한다고 밝혔다. 깃허브 저장소에는 당시 722편·372개 결과 가족이 실렸고, 모델에 약 4천 문제를 냈으며 결과 하나당 평균 챗GPT 프로 사고 약 3시간 분량이 쓰였다.
뉴사이언티스트에 따르면 임페리얼칼리지런던의 케빈 버저드는 수론 관련 30편 중 인상적인 것은 7편, 린(Lean)으로 형식 검증된 것은 1편뿐이라고 말했다. 그는 커뮤니티가 결과를 받아들이는 데 시간이 필요하다고 했다.
저장소는 이후 사인 오류로 3편을 철회해 현재 719편을 적시한다. 공개 결과 중 무엇이 살아남을지, 내부 프론티어 접근 규모를 각사가 따로 밝힐지는 정해지지 않았다.