본문으로 건너뛰기

#Language Model Post-training

9개의 포스트

[논문리뷰] Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation

본 논문은 기존의 OPSD 접근 방식이 응답 레벨(response-level)의 고정된 교사만을 사용하여 토큰 간의 서로 다른 학습 요구사항을 충족하지 못하는 문제를 해결하고자 합니다.
#Review#On-policy Self-distillation#Multi-teacher#Token-level Adaptive#Knowledge Distillation#Language Model Post-training#Mathematical Reasoning
댓글 수 로딩 중

[논문리뷰] Rethinking Relative Policy Differences Transfer of On-Policy Distillation

본 논문은 기존 OPD가 티처 모델의 절대적인 성능 우위에 지나치게 의존하여, 티처와 학생 모델의 역량 격차가 작을 경우 성능 향상이 제한되거나 오히려 역효과가 발생한다는 문제를 해결하고자 한다.
#Review#On-Policy Distillation#Relative Policy Transfer#Implicit Reward#Policy Optimization#Language Model Post-training
댓글 수 로딩 중

[논문리뷰] Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective

본 논문은 OPD가 널리 사용됨에도 불구하고, 모델의 성능 향상과 동시에 발생하는 과도한 생성 길이 및 반복적 출력과 같은 'collapse' 현상의 원인을 규명하고자 합니다.
#Review#On-policy Distillation#Reinforcement Learning#Reward Hacking#Policy Gradient#Language Model Post-training#Sampling Efficiency#Implicit Reward
댓글 수 로딩 중

[논문리뷰] Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts

본 논문은 MOPD 설정에서 교사 모델의 최종 정책(Endpoint)을 사용할 때 발생하는 불균형한 학습 신호 문제를 해결하고자 한다. 기존의 Endpoint Supervision 방식은 교사가 학습을 통해 얻은 새로운 지식과 베이스 모델로부터 상속받은 편향을 구분하지 못하고 그대로 학생 모델에 전이한다 .
#Review#Multi-Teacher On-Policy Distillation#Language Model Post-training#Logit Shift#Teacher-Relative Shifts#Composition Geometry#Target Construction
댓글 수 로딩 중

[논문리뷰] DAPD: Dual-Anchored Policy Distillation

본 논문은 OPSD 과정에서 발생하는 Privilege Illusion 문제를 해결하기 위해 고안되었습니다. 기존 연구들은 privileged information을 직접 활용하거나, 교사 신호를 선별적으로 재가중하는 방식을 취했으나, 이는 근본적인 정보 비대칭성을 해결하지 못하는 한계가 있습니다 .
#Review#Policy Distillation#Language Model Post-training#Information Asymmetry#Privilege Illusion#Reasoning Models#On-policy Distillation
댓글 수 로딩 중