[논문리뷰] Training Foundation Models with a Single Algorithm

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yuda Song, Alvin Zhang, Fahim Tajwar, Daman Arora, Jeff Schneider, Daniel Khashabi, Ruslan Salakhutdinov, J. Andrew Bagnell, Aarti Singh, Andrea Zanette

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Unified Training: Pretraining, midtraining, SFT, RL을 별개의 단계가 아닌, 고정된 Maximum Likelihood 기반의 단일 알고리즘 내에서 데이터 혼합(mixing) 비율을 조정하여 수행하는 학습 방식.
• MaxRL (Maximum Likelihood Reinforcement Learning): 강화학습의 업데이트를 현재 정책의 성공 조건부 분포(success-conditioned distribution)에 대한 Maximum Likelihood 피팅 문제로 재해석한 기법.
• Static Data: Pretraining이나 SFT에서 사용되는 고정된 데이터셋(텍스트 코퍼스, 시연 데이터).
• RL Generations: 모델이 생성한 출력 중 보상(reward)이 높은 샘플을 필터링하여 학습 데이터로 활용하는 동적 데이터 소스.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대의 Foundation Model 학습 파이프라인이 Pretraining, midtraining, SFT, RL 등 각 단계별로 독립적인 알고리즘과 인프라를 사용하는 파편화된 구조임을 지적한다. 이러한 단계적 분리는 학습의 과학적 이해를 어렵게 만들며, 각 단계 간의 상호작용이나 전체 학습 궤적에 대한 통합적인 설계 원칙을 결여하게 만든다. 저자들은 이러한 인위적인 구분 대신, 모든 단계를 단일한 Maximum Likelihood 최적화 문제로 통합할 수 있음을 증명하고자 한다 [Figure 1]. 기존 연구들은 단계별로 서로 다른 지표와 전략을 사용해왔으나, 본 연구는 학습 알고리즘을 고정하고 데이터의 구성과 혼합 비율만을 조정하는 것이 더욱 효율적이고 체계적인 접근임을 제안한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Foundation Model의 전 학습 과정을 단일한 Maximum Likelihood 손실 함수로 표현하는 Unified Training 프레임워크를 제안한다. 핵심은 RL의 목표(Gradient)를 고정된 생성 정책으로부터 추출된 성공 조건부 데이터에 대한 Maximum Likelihood 학습으로 변환하는 것이다 [Table 1]. 이를 통해 정적인 Pretraining 데이터와 동적인 RL Generations를 동일한 트레이너(trainer)에서 혼합하여 학습할 수 있게 된다. 실험 결과, Unified Training은 동일한 총 Compute 예산 내에서 기존의 단계적 학습(staged training) 방식 대비 더 높은 Accuracy와 Task Coverage를 달성하였다 [Figure 1]. 또한, 연속적인 학습(continual learning) 상황에서 기존의 일반적인 능력(general capabilities)을 더 잘 유지하며 성능 향상을 보였다. 수치적 측면에서, 데이터 혼합 비율과 스케줄을 최적화함으로써 학습의 효율성을 개선하고, 특정 작업뿐만 아니라 광범위한 도메인에서의 성능 확장성을 입증하였다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Foundation Model 학습을 단계적 파이프라인에서 데이터 진화 기반의 단일 알고리즘 최적화 문제로 패러다임 전환을 시도하였다. 제안된 Unified Training 프레임워크는 이론적 간결함뿐만 아니라 실질적인 성능 및 Compute 효율성 측면에서 뛰어난 결과를 입증하였다. 이 연구는 모델 학습을 단순한 기술적 절차를 넘어, 데이터 분포와 학습 알고리즘 간의 관계를 규명하는 과학적 기반을 마련했다는 점에서 큰 의의가 있다. 향후 학계 및 산업계에서 보다 효율적이고 체계적인 모델 개발 파이프라인을 구축하는 데 필수적인 지침이 될 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.