[논문리뷰] Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models본 논문은 많은 오픈 웨이트 모델에서 발견되는 Near-Zero Token Embeddings가 gated sequence model의 학습을 예기치 않게 저해하는 메커니즘을 규명합니다.#Review#Gated Sequence Models#Token Embeddings#Gradient Amplification#FP32 Overflow#AdamW#GroupClip#GateFloor2026년 11월 3일댓글 수 로딩 중