[논문리뷰] Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability본 논문은 서로 다른 토크나이저를 사용하는 LLM 간의 Cross-Tokenizer On-Policy Distillation에서 정렬 범위(Alignment Coverage)를 확장하는 것이 반드시 모델 성능 향상으로 이어지는지 의문을 제기한다.#Review#On-Policy Distillation#Cross-Tokenizer Distillation#Supervision Reliability#Strict Alignment#Language Model Training2026년 10월 6일댓글 수 로딩 중
[논문리뷰] UniSD: Towards a Unified Self-Distillation Framework for Large Language Models본 논문은 기존 LLM의 post-training 과정이 외부 모델에 지나치게 의존함으로써 발생하는 비용 문제와 보안 위험을 해결하기 위해 UniSD라는 통일된 Self-Distillation 프레임워크를 제안합니다.#Review#Self-Distillation#Large Language Models#On-Policy Learning#Supervision Reliability#Representation Alignment#Training Stability2026년 5월 10일댓글 수 로딩 중