5년 전, 대수 기하학의 난해한 분야를 연구하던 수학자 다웨이 첸(Dawei Chen)과 쿠엔틴 젠드롱(Quentin Gendron)은 미지의 영역에 맞닥뜨렸습니다. 미분 방정식을 다루던 중, 그들의 논리 전개는 수론에서 파생된 기묘한 공식에 가로막혔고, 결국 증명되지 못한 채 ‘추측’으로 발표될 수밖에 없었습니다. 이 미해결 문제는 수년간 학계의 오랜 숙제로 남아있었죠. 그리고 마침내, 인공지능이 이 난제에 대한 해답을 제시하며 학계에 일대 파란을 일으켰습니다.
인간의 한계를 넘어선 AI의 ‘직관’
첸 교수는 수차례 챗GPT에 해결책을 묻는 시도를 했지만, 번번이 실패했습니다. 그러던 중 수학 컨퍼런스에서 촉망받는 수학자이자 AI 스타트업 액시엄(Axiom)의 공동 창립자 중 한 명인 켄 오노(Ken Ono)를 만나게 됩니다. 첸 교수의 이야기를 들은 오노 교수는 다음 날 아침, 놀랍게도 그에게 증명된 해답을 가져다주었습니다. 이 모든 것은 액시엄의 수학 전문 AI인 ‘액시엄프로버(AxiomProver)’의 공이었습니다. 첸 교수는 “모든 것이 자연스럽게 맞아떨어졌다”며 감탄했고, 액시엄과 협력하여 이 증명을 학술 논문 저장소 arXiv에 게시했습니다.
액시엄프로버는 이 문제를 19세기부터 연구되던 특정 수치 현상과 연결 짓고, 스스로 증명 방법을 고안한 뒤 이를 자체적으로 검증했습니다. 오노 교수는 WIRED와의 인터뷰에서 “액시엄프로버가 찾아낸 것은 모든 인간이 놓쳤던 부분이었다”고 강조했습니다. 이처럼 액시엄의 AI는 최근 몇 주 동안 여러 미해결 수학 문제의 해답을 제시했습니다. 비록 아직 가장 유명하거나 막대한 상금이 걸린 문제는 아니지만, 수년간 전문가들을 좌절시킨 문제들을 해결하며 AI의 수학적 능력이 꾸준히 진화하고 있음을 증명했습니다.
LLM과 독자 AI의 시너지: 새로운 증명 패러다임
액시엄의 접근 방식은 대규모 언어 모델(LLM)과 수학 문제를 추론하여 ‘증명 가능한(provably correct)’ 해답에 도달하도록 훈련된 독점 AI 시스템, 액시엄프로버를 결합하는 것입니다. 구글의 ‘알파프루프(AlphaProof)’와 유사한 아이디어지만, 액시엄의 CEO 카리나 홍(Carina Hong)은 자사의 액시엄솔버(AxiomSolver)가 여러 중요한 발전과 최신 기술을 통합했다고 설명합니다.
오노 교수는 첸-젠드롱 추측에 대한 AI 생성 증명이 전문 수학자에게 AI가 얼마나 의미 있는 도움을 줄 수 있는지 보여준다고 평가했습니다. 그는 “이는 정리를 증명하는 새로운 패러다임”이라고 말했습니다. 특히 액시엄 시스템은 단순히 기존 문헌을 검색하는 것을 넘어, ‘린(Lean)’이라는 특수 수학 언어를 사용하여 증명을 검증함으로써 진정으로 혁신적인 문제 해결 방식을 개발할 수 있습니다. 이는 액시엄프로버가 ‘펠의 추측(Fel’s Conjecture)’을 처음부터 끝까지 스스로 증명해낸 사례에서도 잘 드러납니다. 100년 전 전설적인 인도 수학자 스리니바사 라마누잔(Srinivasa Ramanujan)의 노트에서 발견된 공식과 관련된 이 추측은 AI가 단순히 퍼즐의 한 조각을 채우는 것을 넘어, 완전히 새로운 증명 과정을 창조할 수 있음을 입증했습니다.
에디터의 시선
액시엄프로버의 이번 성과는 단순한 기술적 진보를 넘어, 인공지능이 인간 지성의 가장 깊은 영역 중 하나인 ‘추론’과 ‘창조적 문제 해결’에 얼마나 근접했는지 보여주는 상징적인 사건입니다. 저는 이 사건에서 몇 가지 중요한 통찰을 얻을 수 있었습니다.
첫째, AI가 이제 ‘단순 보조’를 넘어 ‘새로운 발견’의 주체로 진화하고 있다는 점입니다. 액시엄프로버가 인간이 수십 년간 놓쳤던 연결고리를 찾아낸 것은, 방대한 데이터와 복잡한 패턴 속에서 인간의 인지적 편향이나 한계를 뛰어넘는 AI만의 독자적인 ‘직관’이 발현된 결과로 해석할 수 있습니다. 이는 과학 연구의 방법론 자체를 바꿀 잠재력을 내포합니다.
둘째, LLM과 특수 목적 AI의 ‘하이브리드’ 접근 방식이 미래 AI 개발의 핵심이 될 것이라는 확신입니다. LLM이 광범위한 지식과 맥락 이해를 담당한다면, 액시엄프로버처럼 ‘린’과 같은 형식 언어를 통해 논리적 타당성을 검증하는 시스템은 AI 결과물의 신뢰성을 비약적으로 높입니다. 이는 ‘블랙박스’ 문제에 대한 현실적인 해법을 제시하며, AI의 적용 범위를 더욱 확장할 것입니다.
셋째, 수학이 ‘현실 세계의 시험장(sandbox)’이라는 액시엄 CEO 카리나 홍의 말처럼, 이러한 AI의 증명 능력은 첨단 수학을 넘어 상업적으로 높은 가치를 지닌 분야로 확장될 것입니다. 예를 들어, 소프트웨어 코드의 ‘증명 가능한 신뢰성(provably reliable)’을 보장하거나, 사이버 보안 공격에 더 강력한 시스템을 개발하는 데 활용될 수 있습니다. 이는 AI가 단순한 도구를 넘어, 산업 전반의 안정성과 효율성을 혁신하는 핵심 인프라가 될 가능성을 시사합니다.
물론 아직 가장 복잡한 문제들을 해결한 것은 아니지만, AI가 인간의 오랜 숙제를 풀고 새로운 증명 패러다임을 제시한 것은 분명 새로운 시대의 서막입니다. 앞으로 인간 수학자들은 AI를 단순 계산기가 아닌, 새로운 아이디어를 탐색하고 미지의 영역을 개척하는 강력한 공동 연구 파트너로 인식하게 될 것입니다. 인간과 AI의 지능적 협업이 가속화될 미래가 더욱 기대되는 시점입니다.