[논문리뷰] A Causal Language Modeling Detour Improves Encoder Continued Pretraining본 논문은 도메인 적응을 위한 인코더의 Continued Pretraining에서 기존의 MLM 단독 학습 방식이 갖는 한계를 극복하고자 합니다. 저자들은 특정 도메인(특히 Biomedical) 데이터에서 모델이 충분한 성능을 내지 못하는 이유가 학습 목적 함수 자체의 경직성 때문임을 지적합니다.#Review#Continued Pretraining#Causal Language Modeling#Masked Language Modeling#Domain Adaptation#Biomedical Encoders#CKA#Freeze Interventions#ModernBERT2026년 5월 12일댓글 수 로딩 중