#Asynchronous Reinforcement Learning

2개의 포스트

[논문리뷰] On KL-Regularized Policy Optimization

본 연구는 대규모 언어 모델(LLM) 에이전트 학습에서 발생하는 비동기적(Asynchronous) 환경의 오프라인 정책 학습 문제를 해결하고자 합니다.

#Review #KL-Regularized Policy Optimization #Asynchronous Reinforcement Learning #Policy Mirror Descent #Critic-free #Importance Sampling

2026년 10월 7일

[논문리뷰] Stale but Stable: Staleness-Adaptive Trust Regions for Stabilizing Asynchronous Reinforcement Learning

본 논문은 대규모 비동기 강화학습에서 발생하는 training-inference mismatch와 누적된 staleness가 모델 학습의 조기 붕괴(collapse)를 야기한다는 점을 지적합니다.

#Review #Asynchronous Reinforcement Learning #Staleness #Trust Region #PPO #Training-Inference Mismatch #Adaptive Clipping #LLM

2026년 7월 21일