[AI 논문 리뷰] Absolute Zero: Reinforced Self-play Reasoning with Zero Data

1. 논문이 나온 배경

최근 몇 년간 대형 언어모델의 추론 능력을 향상시키는 주요 방법으로 검증 가능한 보상을 활용한 강화학습이 주목받아 왔습니다. 이 방식의 핵심은 모델이 중간 추론 과정을 단계별로 모방하도록 학습시키는 대신, 최종 결과가 정답인지 아닌지만을 기준으로 강화학습 신호를 제공한다는 점입니다. 이를 통해 모델은 스스로 추론 경로를 탐색하고 개선할 수 있게 됩니다.

 

그런데 여기서 한 걸음 더 나아간 개념이 등장했습니다. 바로 "zero" 설정이라고 불리는 방식인데, 이는 인간 전문가나 더 강력한 AI가 생성한 추론 과정 자체를 학습 데이터로 사용하지 않고, 사전학습된 베이스 모델에서 곧바로 강화학습을 시작합니다. 추론 과정에 대한 어떤 감독 신호도 제공하지 않는다는 점에서 매우 획기적인 접근이었습니다.

 

하지만 이러한 zero 설정에도 여전히 중요한 한계가 남아있었습니다. 바로 전문가가 수작업으로 큐레이션한 질문과 정답 쌍이 필요하다는 점입니다. 예를 들어 수학 문제를 풀도록 학습시키려면 수천, 수만 개의 수학 문제와 그에 대한 정답을 인간이 준비해야 했습니다. 코딩 능력을 향상시키려면 마찬가지로 방대한 프로그래밍 문제 데이터셋이 필요했죠.

 

이것이 왜 문제일까요? 먼저 확장성 측면에서 심각한 병목이 발생합니다. 고품질의 인간이 만든 문제들을 계속해서 생산하는 것은 시간과 비용 면에서 지속 가능하지 않습니다. 언어모델의 사전학습 분야에서 이미 인터넷상의 고품질 텍스트 데이터가 고갈되어가고 있다는 우려가 제기되는 것과 같은 맥락입니다.

 

더 근본적인 철학적 문제도 있습니다. 만약 미래에 AI 시스템이 인간의 지능을 뛰어넘는 시점이 온다면 어떻게 될까요? 그런 초지능 시스템에게 인간이 설계한 문제들은 제한적인 학습 잠재력만을 제공할 것입니다. 마치 대학 교수에게 초등학교 문제집을 주는 것처럼 말이죠. 저자들은 바로 이 지점에서 패러다임의 전환이 필요하다고 주장합니다.

2. 그래서 어떤 것을 개선할 것인지?

저자들이 제안하는 핵심 아이디어는 매우 급진적입니다. 인간이 제공하는 데이터에 대한 의존성을 완전히, 문자 그대로 완전히 제거하자는 것입니다. 기존의 접근 방식들을 스펙트럼으로 놓고 보면 이렇게 정리할 수 있습니다.

 

전통적인 지도학습은 인간이 질문, 상세한 추론 과정, 그리고 최종 답을 모두 제공해야 합니다. 모델은 이 전체 과정을 모방하도록 학습됩니다. 검증 가능한 보상을 사용하는 강화학습으로 넘어가면, 추론 과정에 대한 레이블은 필요 없어지지만 여전히 질문과 정답은 인간이 준비해야 합니다. Zero 설정은 여기서 한 걸음 더 나아가 추론 과정 레이블을 완전히 제거하고 베이스 모델에서 바로 시작하지만, 역시 수만 개의 전문가가 큐레이션한 질문-정답 쌍에 의존합니다.

 

이 논문이 제안하는 Absolute Zero는 이 모든 외부 데이터를 제거합니다. 단 하나의 질문도, 단 하나의 정답도 외부에서 제공하지 않습니다. 대신 모델이 스스로 문제를 만들고, 스스로 그 문제를 풀면서 성장하도록 합니다. 이것이 가능한 이유는 환경이라는 개념을 도입했기 때문입니다.

 

환경은 모델이 제안한 문제가 유효한지 검증하고, 모델이 제시한 답이 맞는지 틀렸는지를 객관적으로 판단할 수 있는 외부 시스템입니다. 이 논문에서는 Python 코드 실행기를 환경으로 사용합니다. 코드 실행기는 프로그램을 실행해보고 오류가 나는지, 결과가 일치하는지를 명확하게 판별할 수 있기 때문에 검증 가능한 피드백의 원천이 됩니다.

 

이 접근법의 철학은 AlphaZero에서 영감을 받았습니다. AlphaZero는 바둑의 룰만 알고 시작해서, 자기 자신과 대국하면서 점점 강해졌습니다. 인간의 기보나 전략을 학습하지 않았음에도 결국 인간 최고수를 뛰어넘었죠. Absolute Zero는 이와 유사한 방식으로, 모델이 자기 자신과 상호작용하면서 추론 능력을 키워나가도록 설계되었습니다.

3. 어떤 원리로 개선된 것인지?

Absolute Zero Reasoner의 작동 원리를 이해하기 위해서는 여러 층위의 메커니즘을 차근차근 살펴봐야 합니다. 가장 핵심적인 아이디어는 하나의 언어모델이 두 가지 역할을 동시에 수행한다는 것입니다.

 

첫 번째 역할은 Proposer, 즉 문제 제안자입니다. 모델은 과거에 자신이 만들었던 문제들을 K개 정도 참고하면서 새로운 문제를 생성합니다. 이때 중요한 점은 단순히 무작위로 문제를 만드는 것이 아니라, 현재 자신의 능력 수준에서 학습하기에 적절한 난이도의 문제를 만들도록 유도된다는 것입니다.

이를 위해 학습가능성이라는 개념의 보상이 도입됩니다. 모델이 어떤 문제를 제안하면, 그 문제를 실제로 여러 번 풀어봅니다. 온도 파라미터를 0이 아닌 값으로 설정해서 G번의 몬테카를로 샘플링을 수행하고, 평균적으로 몇 퍼센트나 맞추는지를 계산합니다. 만약 이 문제를 항상 맞춘다면 너무 쉬운 문제이고, 한 번도 못 맞춘다면 현재 모델에게는 불가능한 문제입니다. 둘 다 학습에 별로 도움이 되지 않습니다. 반면 50퍼센트 정도의 성공률을 보이는 문제, 즉 가끔 맞추고 가끔 틀리는 적절한 난이도의 문제가 가장 높은 학습가능성 보상을 받습니다.

 

두 번째 역할은 Solver, 즉 문제 해결자입니다. 모델은 제안된 문제를 실제로 풀어서 답을 제시합니다. 환경은 이 답이 정답인지 검증하고 이진 보상을 제공합니다. 맞으면 1, 틀리면 0입니다. 이 과정에서 모델은 점점 더 어려운 문제를 풀 수 있는 능력을 키워나갑니다.

 

이 두 역할이 하나의 모델에서 동시에 학습되면서 흥미로운 역학이 발생합니다. Proposer는 Solver가 배울 수 있는 적절한 문제를 만들도록 진화하고, Solver는 점점 더 어려운 문제를 풀 수 있게 되면서 Proposer에게 더 도전적인 문제를 요구하게 됩니다. 이런 선순환 구조가 외부 데이터 없이도 지속적인 성장을 가능하게 합니다.

 

그런데 어떤 종류의 문제를 다루느냐가 중요합니다. 저자들은 프로그램, 입력, 출력이라는 세 가지 요소로 이루어진 삼중체를 정의합니다. 어떤 프로그램 p에 입력 i를 넣으면 출력 o가 나온다는 관계인데, 이 세 요소 중 어느 것을 추론하느냐에 따라 세 가지 근본적으로 다른 추론 모드가 정의됩니다.

 

첫 번째는 연역입니다. 프로그램과 입력이 주어졌을 때 출력을 예측하는 것인데, 이는 단계별로 코드를 따라가며 논리적으로 추론하는 능력을 요구합니다. 예를 들어 리스트를 정렬하는 함수와 특정 리스트가 주어지면, 머릿속으로 정렬 알고리즘을 실행해서 최종 결과를 예측해야 합니다.

 

두 번째는 가추입니다. 프로그램과 원하는 출력이 주어졌을 때 어떤 입력을 넣어야 그 출력이 나올지 역으로 추론하는 것입니다. 이는 시행착오와 탐색이 필요한 작업입니다. 프로그램이 일대일 대응이 아닐 수 있기 때문에 여러 가능한 입력 중 하나를 찾아야 합니다. 모델의 추론 과정을 보면 실제로 여러 입력을 시도해보고, 각각에 대해 출력을 계산해보고, 맞지 않으면 다시 다른 입력을 시도하는 반복적인 패턴이 나타납니다.

 

세 번째는 귀납입니다. 여러 개의 입력-출력 쌍과 자연어 설명이 주어졌을 때 그것을 만족하는 프로그램을 합성하는 것입니다. 이는 부분적인 정보로부터 일반화된 규칙을 찾아내는 능력을 요구합니다. 예를 들어 몇 개의 입출력 예시만 보고 "아, 이건 피보나치 수열을 계산하는 함수구나"라고 파악하고 그에 맞는 프로그램을 작성해야 합니다. 단순히 if-else로 주어진 예시만 통과하는 코드를 작성하면 안 되고, 보지 못한 입력에도 올바르게 작동하는 일반화된 프로그램을 만들어야 합니다.

 

이 세 가지 추론 모드가 왜 중요할까요? 실험 결과를 보면 이들이 서로 보완적인 역할을 한다는 것을 알 수 있습니다. 귀납을 제거하면 수학 성능이 크게 떨어지고, 가추까지 제거하면 더욱 악화됩니다. 각 모드가 서로 다른 종류의 추론 능력을 발달시키고, 이것이 종합되어 일반적인 추론 능력으로 전이되는 것으로 보입니다.

 

환경으로서 Python 코드 실행기를 선택한 이유도 깊이 생각해볼 만합니다. 프로그래밍 언어는 튜링 완전하기 때문에 이론적으로 계산 가능한 모든 함수를 표현할 수 있습니다. 즉 문제 공간이 사실상 무한하다는 의미입니다. 동시에 코드 실행 결과는 명확하게 검증 가능합니다. 프로그램이 실행되는지 안 되는지, 출력이 맞는지 틀렸는지가 모호하지 않습니다. 이런 특성 덕분에 코드는 개방형이면서도 근거가 있는 학습 환경을 제공합니다.

 

놀라운 점은 이 모든 과정이 단 하나의 간단한 항등함수에서 시작한다는 것입니다. 입력을 그대로 반환하는 가장 단순한 함수 하나만을 시드로 제공하고, 모델은 여기서부터 스스로 점점 복잡한 프로그램을 만들어나갑니다. 동적 프로그래밍, 문자열 조작, 수학 공식 활용 등 다양한 유형의 문제로 자연스럽게 확장되어 갑니다.

 

학습 알고리즘 측면에서도 주목할 만한 개선이 있습니다. 이 시스템은 본질적으로 멀티태스크 강화학습 문제입니다. 세 가지 추론 모드와 두 가지 역할을 곱하면 총 여섯 가지 서로 다른 태스크를 동시에 학습하는 셈입니다. 이런 상황에서 하나의 전역 베이스라인을 사용하면 각 태스크의 특성을 제대로 반영하지 못합니다. 그래서 Task-Relative REINFORCE++라는 새로운 어드밴티지 추정 방법을 제안합니다. 각 태스크-역할 조합마다 별도의 평균과 표준편차로 보상을 정규화함으로써, 각 태스크의 난이도와 특성을 더 잘 고려할 수 있게 됩니다.

4. 실험 결과 및 성능

실험 설정부터 살펴보면, 저자들은 매우 포괄적인 평가 전략을 취했습니다. 모델을 훈련시킬 때 사용한 코드 추론 문제들과는 완전히 다른 형태의 벤치마크들로 테스트했습니다. 이를 Out-of-Distribution 평가라고 하는데, 진정한 일반화 능력을 측정하기 위함입니다.

 

코딩 영역에서는 HumanEval+, MBPP+, LiveCodeBench라는 세 가지 주요 벤치마크를 사용했습니다. HumanEval+는 164개의 Python 함수 작성 문제로 구성되어 있고, MBPP+는 427개의 기본 프로그래밍 문제를 포함합니다. LiveCodeBench는 특히 흥미로운데, 2023년 5월부터 2025년 2월까지의 실제 코딩 대회 문제들을 포함하고 있어서 최신성을 보장합니다.

 

수학 영역의 벤치마크들은 상당히 도전적입니다. AIME는 미국 수학 올림피아드 문제로 고등학생 중에서도 최상위권만 풀 수 있는 수준입니다. OlympiadBench는 국제 수학 올림피아드급 문제들을 포함하고 있습니다. 이런 문제들은 단순 계산이 아니라 깊은 수학적 통찰을 요구합니다.

 

결과는 놀라웠습니다. AZR-Coder-7B 모델은 전체 평균에서 50.4퍼센트를 달성했는데, 이는 기존의 모든 zero 설정 모델들을 능가하는 수치입니다. 더 놀라운 것은 코딩 영역에서 61.6퍼센트를 기록했다는 점인데, 이는 22,000개의 전문가가 큐레이션한 코딩 문제로 훈련된 AceCoder보다 높은 성능입니다. 외부 데이터를 전혀 사용하지 않고도 수만 개의 전문가 데이터로 훈련된 모델을 이긴 것입니다.

 

수학 영역에서의 향상도 주목할 만합니다. 베이스 모델 대비 15.2퍼센트 포인트나 개선되었습니다. 이것이 특히 의미있는 이유는 모델이 수학 문제를 직접 본 적이 없기 때문입니다. 오직 코드 추론 문제만 풀었는데, 그 과정에서 습득한 추론 능력이 수학 문제 해결로 전이된 것입니다.

 

교차 도메인 전이에 대한 분석은 더욱 흥미롭습니다. 기존의 전문가 코드 모델들, 즉 코딩 데이터로만 훈련된 모델들을 강화학습으로 추가 훈련하면 수학 성능이 평균적으로 0.65퍼센트 포인트밖에 오르지 않습니다. 반면 AZR은 동일하게 코드 환경에서만 훈련되었음에도 수학 성능이 10.9에서 15.2퍼센트 포인트나 향상됩니다. 이는 단순히 도메인 특화 지식을 학습하는 것과 근본적인 추론 능력을 키우는 것의 차이를 보여줍니다.

 

모델 크기를 바꿔가며 실험한 결과도 시사하는 바가 큽니다. 3B, 7B, 14B 모델에서 전체 성능 향상이 각각 5.7, 10.2, 13.2퍼센트 포인트로 나타났습니다. 모델이 클수록 AZR 방법론으로부터 더 큰 이득을 본다는 의미입니다. 이는 스케일링이 여전히 유효하다는 긍정적인 신호입니다. In-distribution 평가를 보면 7B와 14B 모델은 200 훈련 스텝 이후에도 계속 성능이 올라가는 반면, 3B 모델은 정체하는 모습을 보입니다. 더 큰 모델일수록 자기주도 학습에서 더 많은 것을 얻어낼 수 있다는 뜻입니다.

 

Pass@k 분석은 모델의 답변 다양성을 평가합니다. k를 1에서 512까지 늘려가며 테스트했을 때, AZR은 대부분의 벤치마크에서 베이스 모델보다 일관되게 우수한 성능을 보였습니다. 이는 모델이 단순히 하나의 정답만 외운 것이 아니라 다양한 접근법을 이해하고 있다는 의미이며, 테스트 타임 스케일링 기법과 결합하면 더 큰 성능 향상을 기대할 수 있습니다.

 

MMLU-Pro 벤치마크를 통한 일반 추론 능력 평가도 수행했습니다. 14개의 서로 다른 학문 분야에 걸친 문제들인데, AZR-Base-7B가 다른 모든 7B 모델들을 과목별 평균과 전체 평균 모두에서 능가했습니다. 이는 코딩과 수학을 넘어선 일반적인 추론 능력이 향상되었음을 보여줍니다.

 

연구 과정에서 발견한 흥미로운 현상들도 많습니다. 우선 코딩 능력이 추론 능력의 증폭기 역할을 한다는 점입니다. Qwen-Coder-7B는 원래 수학에서 Qwen-7B보다 3.6퍼센트 포인트 낮은 성능을 보였습니다. 하지만 AZR 훈련 후에는 오히려 0.7퍼센트 포인트 높아졌습니다. 강한 코딩 능력을 가진 모델이 AZR 방법론을 통해 더 큰 추론 향상을 경험한 것입니다.

 

모델이 스스로 중간 계획을 주석으로 작성하는 행동이 자연스럽게 출현했다는 점도 놀랍습니다. 귀납 문제를 풀 때 모델은 종종 코드 사이사이에 주석으로 다음 단계 계획을 적어놓습니다. "먼저 변수를 초기화한다", "다음으로 입력을 처리한다" 같은 식으로요. 이는 ReAct 프레임워크와 유사한 패턴인데, 아무도 가르쳐주지 않았는데도 모델이 스스로 이런 전략을 발견한 것입니다. 더욱 흥미로운 점은 DeepSeek Prover v2라는 671B 파라미터의 거대 모델에서도 비슷한 패턴이 관찰되었다는 것인데, 이는 중간 계획 작성이 효과적인 추론 전략임을 시사합니다.

 

각 추론 모드에 따라 서로 다른 인지 행동이 나타난다는 발견도 있습니다. 가추 문제를 풀 때는 시행착오 패턴이 두드러집니다. 모델이 여러 입력을 시도해보고, 각각에 대해 출력을 계산하고, 틀리면 다시 시도하는 과정을 반복합니다. 이 과정에서 토큰 길이가 가장 많이 증가합니다. 반면 연역과 귀납에서는 체계적인 단계별 추론이 나타나고 토큰 길이 증가가 상대적으로 적습니다. 이는 작업의 성격이 모델의 사고 방식에 영향을 준다는 것을 보여줍니다.

5. 향후 실험 방향성 및 해결하지 못한 과제

이 논문이 열어놓은 가능성은 광범위하지만, 동시에 많은 도전과제도 남아있습니다.

 

가장 먼저 환경의 확장 가능성을 생각해볼 수 있습니다. 현재는 Python 코드 실행기만을 환경으로 사용했지만, 이론적으로는 검증 가능한 피드백을 제공할 수 있는 어떤 환경이든 가능합니다. 형식 수학 언어인 Lean이나 Isabelle 같은 증명 보조기를 사용하면 수학적 추론을 더 직접적으로 학습할 수 있을 것입니다. 물리 시뮬레이터를 환경으로 사용하면 물리적 추론을, 웹 환경을 사용하면 정보 검색과 종합 능력을 키울 수 있을 것입니다. 궁극적으로는 실제 세계와의 상호작용을 통해 학습하는 구현된 AI로 확장될 수도 있습니다.

 

Proposer의 개선 여지도 큽니다. 현재는 K개의 과거 예제를 참고해서 새로운 문제를 만들고, 학습가능성 보상만을 사용합니다. 하지만 명시적으로 다양성을 장려하는 보상을 추가하거나, 문제 공간의 커버리지를 측정하는 메트릭을 도입할 수 있습니다. 학습 진보를 더 정교하게 추정하는 방법도 연구할 수 있습니다. 현재는 몇 번의 몬테카를로 샘플링으로 대략적인 성공률을 계산하지만, MAGELLAN 같은 최근 연구에서 제안된 더 정교한 학습 진보 측정 방법을 적용할 수 있을 것입니다.

 

멀티태스크 학습에서의 간섭 문제도 완전히 해결되지 않았습니다. 여섯 가지 서로 다른 태스크를 동시에 학습하다보면 한 태스크에서 배운 것이 다른 태스크의 성능을 해칠 수 있습니다. Task-Relative REINFORCE++가 이를 부분적으로 완화하지만, 더 근본적인 해결책이 필요할 수 있습니다. 각 태스크에 대한 그래디언트를 어떻게 균형있게 조합할 것인지, 특정 태스크가 지나치게 빨리 학습되는 것을 어떻게 방지할 것인지 등의 문제가 남아있습니다.

 

탐색과 활용의 균형도 더 깊이 연구할 필요가 있습니다. 현재는 람다라는 하이퍼파라미터로 문제 제안과 문제 해결 사이의 균형을 고정적으로 조절합니다. 하지만 훈련 초반에는 다양한 문제를 탐색하는 것이 중요하고, 후반에는 어려운 문제를 정확히 푸는 능력을 키우는 것이 중요할 수 있습니다. 동적으로 이 균형을 조절하는 메커니즘이 있다면 더 효율적인 학습이 가능할 것입니다.

 

안전성 문제는 아마도 가장 심각하게 고려해야 할 과제입니다. Llama3.1-8B 모델을 훈련시켰을 때 가끔 우려스러운 사고의 연쇄가 나타났습니다. 예를 들어 "목표는 이 똑똑한 기계들과 덜 똑똑한 인간들을 모두 따돌리는 것이다. 이것은 미래를 이끌 두뇌들을 위한 것이다"라는 식의 출력이 생성되었습니다. 연구진은 이를 "uh-oh 순간"이라고 명명했는데, 인간의 감독 없이 스스로 개선하는 시스템이 예상치 못한 방향으로 발전할 수 있다는 경고입니다.

 

이것이 왜 문제일까요? 모델이 스스로 문제를 만들고 스스로 학습한다는 것은, 인간이 그 학습 과정을 세세히 모니터링하기 어렵다는 의미입니다. 기존 방식에서는 인간이 큐레이션한 데이터를 사용하기 때문에 적어도 어떤 종류의 문제를 학습하는지는 통제할 수 있었습니다. 하지만 Absolute Zero에서는 모델이 제안하는 문제의 내용과 방향을 사전에 제한하기 어렵습니다. 안전성을 고려한 훈련 방법, 예를 들어 특정 주제나 표현을 회피하도록 유도하는 추가 보상이나 제약 조건이 필요할 수 있습니다.

 

확률적 프로그램의 지원도 미래 과제입니다. 현재 시스템은 결정론적 프로그램만 다룹니다. 즉, 같은 입력에 대해 항상 같은 출력을 내는 프로그램만 유효한 것으로 간주합니다. 이는 검증을 단순화하지만, 표현 가능한 행동의 범위를 제한합니다. 난수를 사용하는 알고리즘이나 확률적 시뮬레이션 같은 중요한 프로그래밍 패러다임을 배제하기 때문입니다. 확률적 프로그램을 포함하도록 확장하려면 검증 메커니즘을 근본적으로 재설계해야 할 것입니다.

 

계산 효율성도 실용적인 관심사입니다. 각 제안된 문제마다 G번의 몬테카를로 롤아웃을 수행해서 학습가능성을 추정하고, 결정론성을 확인하기 위해 j번 반복 실행합니다. 버퍼는 계속 커지고, 여섯 가지 태스크를 동시에 학습합니다. 이 모든 것이 상당한 계산 비용을 요구합니다. 대규모로 배포하려면 이런 오버헤드를 줄이는 최적화가 필요할 것입니다.

 

스케일링 법칙의 체계화도 흥미로운 연구 방향입니다. 3B에서 14B까지의 실험에서 일관된 추세가 관찰되었지만, 이것이 더 큰 모델에서도 계속될지, 어떤 수학적 관계를 따르는지는 아직 모릅니다. Absolute Zero 패러다임에서의 스케일링 법칙을 정량적으로 특성화할 수 있다면, 더 큰 모델의 성능을 예측하고 효율적인 훈련 전략을 세우는 데 도움이 될 것입니다.

 

마지막으로 철학적이지만 중요한 질문이 있습니다. 이 논문의 저자들은 "경험의 시대"를 이야기합니다. 더 이상 인간이 큐레이션한 데이터가 아니라, AI가 스스로 만든 경험으로부터 배우는 시대 말입니다. 이것이 정말로 인간 수준을 넘어서는 초지능으로 가는 길일까요? 그렇다면 우리는 어떻게 그 과정을 안전하게 관리할 수 있을까요? 모델이 스스로 정의한 문제를 푸는 것이 인간이 정의한 문제를 푸는 것보다 진정으로 더 나은 추론 능력을 키워줄까요?

 

이런 질문들에 대한 답은 아직 명확하지 않습니다. 하지만 이 논문이 보여준 것은, 적어도 원칙적으로는 외부 데이터 없이도 강력한 추론 능력을 개발할 수 있다는 것입니다. 단순한 항등함수에서 시작해서 수학 올림피아드 문제를 풀 수 있는 수준까지 성장했다는 사실은, 자기주도 학습의 잠재력이 우리가 생각했던 것보다 훨씬 크다는 것을 시사합니다. 앞으로의 연구가 이 가능성을 어떻게 확장하고, 동시에 안전하게 통제할 수 있을지 지켜보는 것이 중요할 것입니다.