[논문리뷰] SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning for LLMs

링크: 논문 PDF로 바로 열기

메타데이터

저자: Kejian Zhu, Zhuoran Jin, Shangqing Tu, Hongbang Yuan, Yushi Bai, Kang Liu, Juanzi Li, Jun Zhao

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• SFT Conflicts: SFT를 활용한 Multi-task Learning 과정에서 특정 태스크 최적화가 다른 태스크의 성능을 심각하게 저하시키는 현상.
• RL Coexists: RL(특히 GRPO 등) 기반 학습이 서로 다른 태스크 간의 간섭을 최소화하여 성능의 안정적인 공존과 누적적 향상을 가능하게 하는 현상.
• Gradient Interference: 서로 다른 태스크의 파라미터 업데이트 방향(Gradient)이 정렬되거나 반대되어 발생하는 간섭 정도를 나타내는 지표.
• Parallel-RL: 논문에서 제안하는 기법으로, 각 태스크를 독립적으로 병렬 학습시킨 후 업데이트를 병합하여 효율성과 유연성을 극대화하는 Multi-task 학습 프레임워크.
• GRPO (Group Relative Policy Optimization): 본 논문에서 RL 실험의 기반으로 사용된 알고리즘으로, Advantage 정규화를 통해 안정적인 학습을 지원함.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM의 Multi-task 성능 향상을 위한 두 주류 방법론인 SFT와 RL이 Multi-task 환경에서 보이는 극명한 거동 차이를 규명하고자 합니다. 기존 연구들은 SFT와 RL의 단일 태스크 학습 특성을 비교했으나, Multi-stage 학습 상황에서의 근본적인 차이는 명확히 설명하지 못했습니다. 실험 결과, SFT는 Multi-stage 학습 시 태스크 간 심각한 간섭으로 성능이 급격히 붕괴하는 반면, RL은 안정적으로 성능을 유지 및 향상시킴을 확인했습니다 [Figure 1]. 이러한 현상은 SFT가 가진 데이터 의존적 구조와 RL의 최적화 메커니즘 사이의 근본적인 차이에서 기인하며, 이를 해결하는 새로운 학습 전략이 필수적입니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 SFT와 RL의 파라미터 업데이트 벡터($\Delta W$)를 분석하여, RL이 생성하는 업데이트가 더 Sparse하고 Orthogonal하다는 점을 입증했습니다 [Figure 2]. 이론적으로 SFT의 간섭은 절대 Gradient 크기에 의존하는 Norm-limited 형태이나, RL의 간섭은 Advantage 정규화와 On-policy 최적화에 의해 경계가 정해지는 Variance-limited 형태임을 증명하였습니다. 이러한 분석을 바탕으로, 태스크를 독립적으로 병렬 학습하고 업데이트를 병합하는 Parallel-RL 프레임워크를 제안하였습니다 [Section 5]. 실험 결과, Parallel-RL은 단일 태스크 학습 성능을 유지하면서도 Multi-task 학습 효율성을 크게 개선하였습니다. 정량적으로는 SFT 대비 Multi-stage 학습에서 23% 이상의 성능 저하를 방지하는 등 월등한 안정성을 보였으며, 파라미터 업데이트 간의 코사인 유사도가 RL에서는 약 $10^{-5}$ 수준으로 억제됨을 확인했습니다 [Section 3].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Multi-task 학습에서 SFT의 붕괴 현상과 RL의 공존 가능성을 이론적 및 경험적으로 규명하였습니다. RL의 최적화 메커니즘이 태스크 간의 Gradient 간섭을 근본적으로 제한한다는 사실은 향후 LLM의 효율적인 Multi-task 정렬(Alignment) 연구에 중요한 이정표가 될 것입니다. 특히 제안된 Parallel-RL은 대규모 모델 학습의 유연성을 획기적으로 높일 수 있는 실용적인 방법론으로서, AGI(Artificial General Intelligence)를 지향하는 범용 모델 학습 파이프라인에 중대한 기술적 시사점을 제공합니다.

---

Part 2: 중요 Figure 정보

Figure 1 — SFT와 RL의 Multi-stage 학습 성능 비교

Figure 2 — SFT와 RL의 파라미터 업데이트 역학 분석

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.