[논문리뷰] Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability본 논문은 서로 다른 토크나이저를 사용하는 LLM 간의 Cross-Tokenizer On-Policy Distillation에서 정렬 범위(Alignment Coverage)를 확장하는 것이 반드시 모델 성능 향상으로 이어지는지 의문을 제기한다.#Review#On-Policy Distillation#Cross-Tokenizer Distillation#Supervision Reliability#Strict Alignment#Language Model Training2026년 10월 6일댓글 수 로딩 중
[논문리뷰] CausalMix: Data Mixture as Causal Inference for Language Model Training본 논문은 LLM pretraining 시 데이터 배합(Data Mixture)의 불확실성이 모델의 일반화 성능을 저해하는 비효율적인 탐색 문제를 해결하고자 한다.#Review#Data Mixture#Causal Inference#Language Model Training#Data Selection#Causal Structural Model2026년 7월 1일댓글 수 로딩 중