[논문리뷰] Truncate or Not? A Scaling Study of Looped Transformers with Truncated BackpropagationLooped transformers는 뛰어난 성능과 파라미터 효율성을 동시에 제공하여 주목받고 있지만, 학습 시 Truncated Backpropagation Through Time (TBT) 사용 여부에 대한 최적의 전략이 명확하지 않다.#Review#Looped Transformers#Truncated Backpropagation (TBT)#Scaling Laws#Effective Parameters#Compute Allocation#Full BPTT#Parameter Efficiency2026년 10월 27일댓글 수 로딩 중
[논문리뷰] Looped Uniform Diffusion Language Models본 연구는 UDLM 학습 시 발생하는 높은 연산량(FLOPs) 부담과 효율적인 추론을 위한 최적의 깊이 할당 문제를 해결하고자 합니다.#Review#Uniform Diffusion Language Models#Looped Transformers#Training Efficiency#DUO++#Adaptive Looping2026년 10월 21일댓글 수 로딩 중
[논문리뷰] LEV: Thinking Fast and Deep with Looped Decision Models기존의 Decision Models은 연산 속도가 매우 빠르지만, 모든 질문에 대해 고정된 연산량을 소모하여 난이도가 높은 문제에서의 성능이 제한적이라는 한계가 있다.#Review#Decision Models#Looped Transformers#Adaptive Computation#System 1.5#Inference Efficiency2026년 10월 18일댓글 수 로딩 중
[논문리뷰] How to Loop MoE: Flatten the Experts, Untie the Attention본 논문은 제한된 메모리와 파라미터 상황에서 모델의 연산 깊이를 효과적으로 늘리기 위한 Looped MoE 모델 설계 최적화 문제를 해결하고자 한다. 기존의 Looped MoE 연구는 고정된 레이어 구조에서 공유된 Attention과 전문가를 재사용함에 따라 성능 향상에 한계를 보인다 .#Review#Looped Transformers#Sparse Mixture-of-Experts (MoE)#Parameter Efficiency#Routing#Expert Flattening#Attention Untying2026년 10월 5일댓글 수 로딩 중
[논문리뷰] Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts본 논문은 Looped Mixture-of-Experts(MoE) 모델이 왜 기존 연구들에서 2개 루프 이상으로 확장하기 어려운지 그 근본 원인을 진단하고 해결책을 제시합니다. 기존의 Looped MoE 접근 방식은 추가적인 연산량 대비 성능 향상이 미미하거나 오히려 성능이 하락하는 문제를 겪어왔습니다.#Review#Looped Transformers#Mixture-of-Experts#Recurrent Depth#Computational Efficiency#Scaling Laws#Expert Selection Collapse#Curse of Depth2026년 10월 4일댓글 수 로딩 중
[논문리뷰] Decoding Looped Transformers Better for (Almost) Free본 논문은 Looped Transformers가 내재적으로 보유한 '초기-최종 iteration 간의 weak-to-strong 예측 쌍'을 활용하지 못하고, 최종 결과물만을 사용하는 표준 디코딩 방식의 비효율성을 해결하고자 합니다.#Review#Looped Transformers#Contrastive Decoding#Inference Optimization#Recurrent States#FLOPs Reduction#LoopCD2026년 10월 1일댓글 수 로딩 중
[논문리뷰] Scaling Laws for Looped Mixture of Experts본 논문은 Recurrence(Looped)와 Sparsity(MoE)를 결합한 모델의 공동 스케일링 특성을 규명하여 더욱 효율적인 모델 설계 가이드를 제공하고자 합니다.#Review#Looped Transformers#Mixture-of-Experts#Scaling Laws#Recurrence#Sparsity#Parameter Efficiency#Compute-Optimal2026년 9월 30일댓글 수 로딩 중
[논문리뷰] Scheduling Recursive Reasoning in Looped Transformers본 논문은 Looped Transformers에서 recurrent update의 scale이 고정된 unit value로 설정되어 있다는 점이 비효율적임을 지적한다. 업데이트가 지속적인 진전을 이룰 때는 unit step이 너무 보수적일 수 있고, 반대로 변동이 심할 때는 지나치게 공격적일 수 있다는 한계가 있다.#Review#Looped Transformers#Recurrent Reasoning#Step-size Scheduling#Adaptive Inference#Trajectory-Adaptive#Test-time Computation2026년 9월 29일댓글 수 로딩 중
[논문리뷰] Improving Test-Time Scaling with Adaptive Looped Transformers본 논문은 post-training을 통해 도입된 Looped Transformers가 테스트 타임 연산량 증가에 비례하여 정확도를 충분히 향상시키지 못하는 한계를 해결하고자 한다.#Review#Test-Time Scaling#Looped Transformers#Adaptive Computation#Lookahead Depth Supervision#Post-training#Inference Efficiency#Large Language Models2026년 9월 28일댓글 수 로딩 중
[논문리뷰] SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers본 연구는 Looped Transformer의 성능 향상이 아키텍처 자체의 우수성인지, 아니면 반복 실행으로 인해 증가한 FLOPs와 같은 추가 자원 때문인지 규명하고자 한다.#Review#Looped Transformers#Mixture-of-Experts#Scaling Laws#Compute-Matched#Effective Depth#Inductive Bias#Attention Sink2026년 9월 1일댓글 수 로딩 중
[논문리뷰] Loop the Loopies!본 논문은 Looped Transformer가 고정된 컴퓨팅 자원 내에서 Vanilla Transformer보다 우수한 성능을 낼 수 있도록 하는 compute-matched scaling recipe를 정의합니다.#Review#Looped Transformers#Mixture-of-Experts#Layer-Loop#Compute-Matched Scaling#Post-Training#Reasoning Models2026년 7월 19일댓글 수 로딩 중
[논문리뷰] Parallel Loop Transformer for Efficient Test-Time Computation Scaling본 논문은 Looped Transformer의 고질적인 문제인 순차적인 루프 실행 으로 인한 높은 추론 지연 시간 과 선형적으로 증가하는 KV 캐시 메모리 요구사항 을 해결하는 것을 목표로 합니다.#Review#Large Language Models#Looped Transformers#Inference Efficiency#Parallel Computation#KV Cache Optimization#Gated Sliding-Window Attention#Cross-Loop Parallelism2025년 10월 30일댓글 수 로딩 중