[논문리뷰] MultiHashFormer: Hash-based Generative Language Models본 연구는 고정된 어휘 사전 크기로 인해 발생하는 vocabulary bottleneck 문제를 해결하고, 파라미터 효율적인 causal language modeling을 가능하게 하는 것을 목표로 합니다.#Review#Generative Language Models#Token Hashing#Vocabulary Bottleneck#Multi-ID Signature#Causal Language Modeling2026년 6월 28일댓글 수 로딩 중
[논문리뷰] A Causal Language Modeling Detour Improves Encoder Continued Pretraining본 논문은 도메인 적응을 위한 인코더의 Continued Pretraining에서 기존의 MLM 단독 학습 방식이 갖는 한계를 극복하고자 합니다. 저자들은 특정 도메인(특히 Biomedical) 데이터에서 모델이 충분한 성능을 내지 못하는 이유가 학습 목적 함수 자체의 경직성 때문임을 지적합니다.#Review#Continued Pretraining#Causal Language Modeling#Masked Language Modeling#Domain Adaptation#Biomedical Encoders#CKA#Freeze Interventions#ModernBERT2026년 5월 12일댓글 수 로딩 중