모델명·프롬프트는 비공개…린 형식검증은 162편뿐
오픈AI가 공개하지 않은 프론티어 모델이 만든 수학 원고 722편을 6일(현지시간) 깃허브에 한꺼번에 공개했다.
프린스턴 고등연구소가 주관하는 독립 자문그룹 AGMAI가 이번 공개 과정에 함께했다. 모델 이름과 프롬프트는 공개되지 않았다.
원고 722편, 372묶음으로 공개
오픈AI는 공식 발표에서 내부 프론티어 모델이 만든 새 수학 결과를 공개했다. 결과는 깃허브 저장소에 올렸고, 원고 722편은 관련 성과끼리 묶은 372개 묶음으로 나뉜다. 각 묶음은 수학 분과별로 분류됐다.
평가 과정에서 모델에는 연구 문제 약 4000개가 주어졌다. 공개된 결과 하나에는 평균적으로 챗GPT 프로 사고 연산 약 3시간이 쓰였다. 기존 수학 평가가 포화되자 열린 문제로 평가 범위를 넓혔다.
모델의 추론을 요약한 글 10편도 함께 올랐다. 주제에는 원주율의 무리수성 지수, 마흘러 추측, 자유군 인자의 동형 문제 등이 들어 있다. 대부분 결과는 같은 절차로 나왔으나, 리만 제타함수의 영점 부재 영역과 CM 아벨다양체의 호지 추측 관련 작업은 예외다. 실수부 11/12 영점 부재 영역의 원고는 가독성을 위해 사람이 손질했다.
린 형식화는 일부…수론은 1편뿐
저장소에는 컴퓨터가 증명 단계를 검사하는 린(Lean) 형식화도 실렸다. 다만 린이 붙은 원고는 전부가 아니다. 형식화 목록에는 본결과가 린으로 적힌 원고가 162편으로 잡힌다. 형식화되지 않은 결과 중 일부에는 문제가 있을 수 있다. 수정이 나와도 이전 버전은 남는다.
임페리얼칼리지런던의 케빈 버저드 교수는 뉴사이언티스트에 자신의 분야인 수론과 관련한 원고가 30편 들어 있다고 말했다. 그중 인상적인 것은 7편뿐이었고, 린으로 형식 검증된 것은 1편이었다. 버저드 교수는 학계가 이 결과들을 받아들이기까지는 시간이 걸릴 것이며, 수학자들이 검증 작업을 하는 동안 기자들은 기다려야 한다고 말했다.
공개 목록에는 모든 디리클레 L함수(리만 제타함수 포함)가 실수부 7/8을 넘는 반평면에 영점이 없다는 주장도 들어 있다. 회사는 이를 준리만 가설의 증명으로 적었다. 럿거스대의 알렉스 콘토로비치 교수는 쿼츠에 인간이 이 결과를 냈다면 두말할 것 없이 즉시 필즈상을 받았을 것이라는 견해를 전했다.
자문 권고와 실제 공개는 어긋나
오픈AI는 고등연구소의 AGMAI 권고를 참고해 공개 방식을 정했다. 이 그룹의 9월 29일 권고문에는 모델 이름·프롬프트·사고 과정 요약·계산 비용 공개가 들어 있다. 가능하면 증명을 형식화하고, 비슷한 난이도에서 실패한 문제 수와 문제 선정 방식도 문서로 남기라는 내용도 있다. AI 연구소가 통제하지 않는 학술 저장소에 올리라는 항목도 있다.
AGMAI는 6일 성명에서 자문 역할이 결과의 영향이나 확보 과정에 대한 평가·보증으로 읽혀서는 안 된다고 밝혔다. 실제 공개에서 모델 이름과 프롬프트는 나오지 않았다. 사고 요약은 10편뿐이고, 저장소는 회사가 운영하는 깃허브다. 수백 개 열린 문제에 대한 해답도 포함됐다.
이번 공개는 인간 이해와 그 성과가 수학 지식에 편입되는 과정의 시작이지, 완결이 아니다.
— AGMAI, 성명 10월 6일 · “This release is the beginning, not the completion, of the process of human understanding and the incorporation of the work into mathematical knowledge.”
권고가 어느 정도 지켜졌는지는 수학 공동체가 판단할 몫이다.
모델 공개 시점은 정해지지 않아
회사에 따르면 결과를 만든 모델을 책임 있게 공개하기 위한 작업이 진행 중이다. 공개 일정은 제시하지 않았다. 논문의 인용·서술·제시 방식은 앞으로의 공개에서 더 다듬고, 커뮤니티가 주관하는 저장소 대안도 계속 찾는다. AI가 낸 주요 성과를 이해하기 위한 워크숍·학회·특별 프로그램에 자금을 대고, 세부 계획은 추후 공개한다.