Anthropic 공식 연구 발표: 후양자 서명 후보 HAWK와 축소판 AES에서 새로운 공격 기법 확인

2026년 7월 28일 Anthropic Frontier Red Team은 Claude Mythos Preview를 활용해 두 가지 암호 분석 결과를 공식 공개했다. 첫 번째는 NIST 후양자 암호(PQC) 표준화 3라운드 후보인 HAWK 디지털 서명 스킴의 키 강도를 실질적으로 절반 수준으로 낮추는 공격이고, 두 번째는 7라운드 축소판 AES-128에 대한 기존 최고 수준 공격을 200~800배 가속화하는 새로운 기법이다. 두 결과 모두 현재 배포된 시스템에는 영향을 주지 않는다.

확인된 핵심 사실

HAWK 공격의 내용

  • HAWK는 NIST의 추가 후양자 디지털 서명 표준화 과정에서 2026년 5월 3라운드에 진출한 9개 후보 중 유일한 격자 기반 스킴이다. 인간 전문가들의 2년여 검토를 거쳤다.
  • Claude Mythos Preview는 격자 구조에서 이전에 활용되지 않았던 nontrivial automorphism(비자명 자기동형)을 찾아냈다. 이를 이용해 키 복구 공격의 예상 비용을 크게 낮췄다.
  • 가장 작은 파라미터인 HAWK-256의 경우, 기존 예상 공격 비용 약 2642^{64}에서 2382^{38}으로 떨어졌다. 이는 키 강도를 사실상 절반으로 낮추는 효과다.
  • 공격은 여전히 지수 시간이 소요되며, HAWK에 특화되어 다른 격자 기반 스킴(ML-DSA, Falcon 등)이나 일반적인 격자 암호에는 적용되지 않는다.
  • 발견에 약 60시간이 소요됐고, API 비용은 약 10만 달러 수준이었다. Anthropic은 HAWK 설계팀과 NIST에 사전 공유한 뒤 공개했다.

축소판 AES 공격의 내용

  • 대상은 실제 사용되는 10라운드 AES-128이 아닌, 암호 연구용으로 자주 분석되는 7라운드 버전이다.
  • 모델이 ‘Möbius Bridge’라는 새로운 fingerprinting 기법을 고안했다. 기존 meet-in-the-middle 공격에서 필요했던 특정 추측 단계를 제거해 작업량을 크게 줄였다.
  • 결과적으로 이전 최고 공격 대비 200~800배 속도 향상이 확인됐다(측정 방식에 따라 차이). 필요한 선택 평문 수는 21052^{105} 수준으로 여전히 비현실적이다.
  • 이 결과 역시 약 10만 달러의 API 비용과 수일간의 자율 작업(약 10억 토큰 출력)으로 도출됐다. 전체 AES에는 영향이 없다.

Anthropic은 두 결과 모두 “현재 컴퓨터 시스템에 실질적 영향을 주지 않으며, 운영 중인 소프트웨어를 변경할 필요가 없다”고 명시했다.

연구 과정과 AI 역할의 특징

  • HAWK 분석은 한 명의 Anthropic 연구자(격자 암호 전문가가 아닌 이론 컴퓨터 과학 배경)가 프로젝트 관리 수준의 가이드를 제공하며 반자율적으로 진행됐다. 문헌 검토, 수학적 추론, 계산 실험, 자체 검증 파이프라인을 모델이 주도했다.
  • AES 분석은 연구자가 구축한 스캐폴드(가설 제시·실험·검증 루프) 아래에서 거의 완전히 자율적으로 이뤄졌다. 초기에는 모델이 “이미 충분히 연구된 문제라 개선이 어렵다”고 판단해 시도조차 하지 않는 경향을 보였으나, 연구자의 반복적 프롬프팅 이후 돌파구를 찾았다.
  • 검증 단계는 여전히 인간의 병목이었다. 모델의 발견 후 연구자들이 수백 시간을 들여 수식을 확인하고 재현 가능한 코드를 검증했다.
  • 후속 실험에서는 축소판 LEA, Serpent-128 등에서도 추가적인 개선 결과가 나왔으며, 이 역시 최종 배포 버전에 영향을 주지 않는다.

심층 분석

암호학·연구 커뮤니티 관점

이 결과는 AI가 순수 수학적 원천 연구 영역에서 전문가 수준의 새로운 공격을 제안할 수 있음을 보여주는 구체적 사례다. HAWK의 경우 기존 연구에서 automorphism의 존재 가능성과 공격 경로가 이론적으로 논의된 바 있었지만, 실제 HAWK 격자에서 이를 찾아내 공격으로 연결한 것은 이번이 처음이다. AES 쪽은 25년 넘게 쌓여온 meet-in-the-middle 연구 전통 위에 새로운 불변량(cross-ratio 기반)을 도입했다는 점에서 기술적으로 흥미롭다.

동시에 검증 부담이 인간에게 크게 남는다는 점도 명확해졌다. 발견 속도는 빨라졌지만, 정확성 확인과 재현성 확보에 드는 시간은 오히려 늘어날 수 있다. Anthropic이 ETH Zurich, Tel Aviv University, University of Haifa 등과 공동으로 만든 CryptanalysisBench(191개 과제, NIST 경쟁 스킴 중심)는 이 능력을 체계적으로 추적하기 위한 도구로 공개됐다.

보안·안전 관점

HAWK가 아직 배포되지 않은 후보라는 점과 AES 공격이 축소판에만 적용된다는 점은 즉각적 위험을 크게 낮춘다. 그러나 후양자 표준화 과정에서 AI가 인간 검토를 보완(또는 추월)할 수 있다는 신호는 중요하다. NIST의 느리고 보수적인 평가 프로세스가 AI 가속 환경에서도 유효한지, 혹은 평가 주기를 어떻게 조정해야 하는지에 대한 논의가 불가피해졌다.

Anthropic이 Mythos 계열을 제한적으로만 배포하고(Project Glasswing 등), 사전 공개와 책임 있는 공개 절차를 거친 점도 현재 시점의 안전 관리 방식으로 평가된다. 반대로, 유사한 능력을 가진 모델이 더 넓게 접근 가능해질 경우 공격자 측에서도 활용될 여지가 있다는 점은 이중 사용(dual-use) 문제로 남는다.

비용·생산성 관점

약 10만 달러의 API 비용으로 전문 연구 수준의 논문 두 편을 생산했다는 점은 암호 분석 경제학을 바꾼다. 전통적으로 고도의 암호 분석은 소수의 숙련된 연구자가 수개월~수년에 걸쳐 수행하는 영역이었다. 이제는 계산 자원과 잘 설계된 에이전트 스캐폴드가 있으면 상당 부분의 탐색 작업을 자동화할 수 있게 됐다. 다만 최종 검증과 해석은 여전히 인간의 전문성이 필요하다는 점에서 ‘완전 자동화’와는 거리가 있다.

표준화 프로세스에의 시사점

HAWK는 서명 크기와 구현 단순성(부동소수점 연산 회피)에서 경쟁력이 있던 후보였다. 키 크기를 두 배로 늘려야 기존 보안 수준을 유지할 수 있다면, 그 경쟁 우위는 상당 부분 사라진다. NIST가 파라미터를 조정할지, 보안 주장을 수정할지, 혹은 후보 지위를 재검토할지는 아직 결정되지 않았다. 이번 사례는 “AI가 표준화 후보를 사전 스트레스 테스트하는 역할”을 공식적으로 인정받게 만드는 계기가 될 가능성이 높다.

앞으로의 전망

Anthropic은 이번 결과를 시작점으로 보고, AI가 암호 설계 단계에서도 역할을 할 수 있을 것이라는 기대를 밝혔다. 동시에 검증 병목을 해결하기 위한 새로운 프로세스와 학계·산업·정부 간 협력이 필요하다고 강조했다. CryptanalysisBench의 지속적 업데이트와 예정된 AI-암호학 워크숍은 이 분야가 단기적으로 빠르게 진화할 것임을 예고한다.

현재로서는 “AI가 암호 체계를 무너뜨렸다”는 식의 과장과는 거리가 멀다. 그러나 “AI가 인간 전문가가 놓친 수학적 구조를 체계적으로 찾아낼 수 있는 단계에 들어섰다”는 점은 더 이상 가설이 아니다. 암호학과 AI 연구 모두 이 사실을 출발점으로 삼아 다음 단계를 설계해야 하는 시점에 와 있다.