[논문리뷰] DepthBench: Measuring How Residual Connections Enable More Computational Depth본 논문은 Transformer에서 Depth 스케일링이 연산 Capacity를 증가시키는 근본적인 방법임에도 불구하고, 현재 LLM들이 Curse of Depth 문제로 인해 아키텍처적 Depth 증가가 효과적인 Computational Depth로 이어지지 않는다는 문제의식에서 출발합니다.#Review#Computational Depth#Residual Connections#Transformer Architectures#Width-Depth Aspect Ratio#DepthBench#Layer Utilization#Pre-training Loss2026년 9월 28일댓글 수 로딩 중
[논문리뷰] Toward Native Multimodal Modeling: A Roadmap본 논문은 기존 Large Language Models (LLMs)이 텍스트 전용 인터페이스에 근본적으로 제한되어 실제 세계의 풍부한 센서리 신호(sensory signals)를 통한 그라운딩(grounding)이 부족하다는 문제의식에서 출발합니다.#Review#Native Multimodal Modeling#Cross-modal Fusion#Transformer Architectures#Multimodal LLMs#M2M Symmetric Modeling#Mid-Fusion#Early-Fusion2026년 5월 25일댓글 수 로딩 중
[논문리뷰] Higher-order Linear Attention논문은 scaled dot-product attention의 이차 비용 문제를 해결하여 장문맥 언어 모델의 확장을 가능하게 하는 것을 목표로 합니다.#Review#Linear Attention#Higher-order Interactions#Causal Streaming#Associative Scans#Prefix Summaries#Transformer Architectures#State Space Models2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Efficient Parallel Samplers for Recurrent-Depth Models and Their Connection to Diffusion Language Models본 논문은 반복적 깊이(recurrent-depth)를 가진 언어 모델의 느린 추론 속도를 해결하기 위해, 이러한 모델과 확산(diffusion) 언어 모델 간의 유사성을 활용한 효율적인 병렬 샘플링 기법을 개발하는 것을 목표로 합니다.#Review#Recurrent-Depth Models#Diffusion Forcing#Parallel Sampling#LLM Inference Acceleration#Transformer Architectures#Generative AI#Latent Space Diffusion2025년 10월 17일댓글 수 로딩 중
[논문리뷰] Thinking While Listening: Simple Test Time Scaling For Audio Classification본 논문은 오디오 분류 성능 향상을 위해 신경망 모델이 '듣는 동안 생각하는(thinking while listening)' 능력을 갖추도록 하는 프레임워크를 제안합니다.#Review#Audio Classification#Test-Time Scaling#Reasoning Traces#Large Language Models (LLMs)#Transformer Architectures#Zero-shot Reasoning#Computational Efficiency2025년 9월 26일댓글 수 로딩 중
[논문리뷰] Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling본 연구는 대규모 언어 모델(LLM)의 다단계 추론 능력 을 향상시키는 것을 목표로 합니다.#Review#Reasoning Depth#Cellular Automata#Transformer Architectures#Recurrence#Adaptive Computation Time#Chain-of-Thought#Reinforcement Learning#Generalization2025년 8월 26일댓글 수 로딩 중
[논문리뷰] On the Expressiveness of Softmax Attention: A Recurrent Neural Network Perspective이 논문은 Softmax Attention 이 선형 Attention 보다 우수한 성능을 보이는 근본적인 이유를 규명하고, Softmax Attention 의 표현력과 동작 원리를 재귀 신경망(RNN) 관점에서 분석하는 것을 목표로 합니다.#Review#Softmax Attention#Linear Attention#Recurrent Neural Networks (RNNs)#Taylor Series Expansion#Attention Mechanisms#Expressiveness#Transformer Architectures2025년 8월 2일댓글 수 로딩 중