[논문리뷰] Axion 1.0: Open Agent Foundation Models, Simplified

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yuqi Jia, Yunjie Tian, Jiayu Zheng, Yijun Liang, Jingchen Sun, Mengyu Zhao, Di Fu

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent Foundation Models: 추론, 도구 활용(Tool Use), 환경 상호작용이 모델의 내재적 능력으로 통합된 모델.
• Self-Contained Reasoning: 외부 정보 없이 주어진 정보 내에서 복잡한 문제를 해결하는 추론 능력.
• Tool-Dependent Reasoning: 외부 데이터베이스나 도구를 사용하여 부족한 정보를 검색하고 이를 바탕으로 추론하는 능력.
• GRPO (Group-Relative Policy Optimization): 다수의 rollouts를 생성하여 그룹 내 상대적 보상을 통해 모델을 최적화하는 강화학습 기법.
• R3 (Rollout Routing Replay): 학습 과정에서 rollout 생성과 정책 업데이트 간의 일관성을 높이기 위한 기법.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대의 Agent Foundation Models 훈련 방식이 지나치게 복잡해지면서 발생하는 재현성 저하와 비용 문제를 해결하기 위해, 단순하고 재현 가능한 훈련 레시피를 제안한다. 기존의 모델들은 mid-training, 다단계의 SFT(Supervised Fine-Tuning), DPO(Direct Preference Optimization) 등 복잡한 훈련 과정을 거치며, 이는 실제 성능 향상의 핵심 동인을 파악하기 어렵게 만든다 [Figure 1]. 이러한 복잡성은 오픈 소스 모델 생태계에서도 개발 과정의 상당 부분이 공개되지 않는 현상을 야기하여 연구의 투명성을 저해하고 있다. 따라서 본 연구는 고품질 데이터 구축에 집중하여 최소한의 훈련 단계로 강력한 성능을 확보하는 것을 목표로 한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 세 단계로 구성된 단순한 훈련 파이프라인인 Axion 1.0을 제안하며, 이는 두 번의 SFT 단계와 후속 RL 단계로 이루어진다 [Figure 2]. Stage I에서는 베이스 모델의 능력을 활용하여 스스로 추론할 수 있는 Scientific Reasoning 데이터를 구축하고, Stage II에서는 실제 세계의 구조적 데이터를 활용하여 도구 사용이 필요한 Task를 설계한다. 이후 GRPO를 활용한 강화학습을 통해 장기 추론 및 에이전트 환경 상호작용 능력을 극대화한다. 실험 결과, Axion 1.0-122B는 Humanity’s Last Exam (HLE) 벤치마크에서 59.0%의 정확도를 기록하며 기존 오픈 모델들을 상회하는 성능을 보였다. 또한, FrontierScience Research 분야에서 GPT-5.6 Sol의 63.3%를 뛰어넘는 66.7%의 성능을 달성하는 등 정량적인 우위를 입증하였다 [Table 1].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 강력한 에이전트 모델을 구축하는 데 있어 복잡한 훈련 기법보다 체계적으로 설계된 데이터와 명확한 훈련 단계가 더 중요함을 입증하였다. 훈련 코드와 데이터 구축 파이프라인 전체를 공개함으로써 에이전트 모델 연구의 재현성을 획기적으로 높였다는 평가를 받는다. 이번 연구 결과는 향후 에이전트 지능 연구가 비용 효율적이고 투명한 방식으로 발전할 수 있는 practical한 로드맵을 제공한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.