[논문리뷰] Truncate or Not? A Scaling Study of Looped Transformers with Truncated BackpropagationLooped transformers는 뛰어난 성능과 파라미터 효율성을 동시에 제공하여 주목받고 있지만, 학습 시 Truncated Backpropagation Through Time (TBT) 사용 여부에 대한 최적의 전략이 명확하지 않다.#Review#Looped Transformers#Truncated Backpropagation (TBT)#Scaling Laws#Effective Parameters#Compute Allocation#Full BPTT#Parameter Efficiency2026년 10월 27일댓글 수 로딩 중