[논문리뷰] UltraBERT: Beyond the Limit of BERT Pre-Training본 논문은 Bidirectional Encoder의 Pre-training Recipe가 Causal Large Language Model (LLM)의 발전에도 불구하고 여전히 Small-scale Convention에 머물러 있어, Encoder가 Sub-optimal하게 학습되고 Classification 및 Retrieval Task 모두에서 경쟁력 있는 단일 모델이 부재하다는 핵심 문제를 제기한다.#Review#BERT#Pre-training#Encoder#Masked Language Modeling (MLM)#Classification#Retrieval#Masking Ratio#Knowledge Distillation#LM Head Decoupling2026년 10월 13일댓글 수 로딩 중