[논문리뷰] Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models본 연구는 짧은 비디오 데이터로 학습한 모델이 추론 시 긴 길이의 오디오(Long-Form Audio)를 일관성 있고 고품질로 생성할 수 있도록 Video-to-Audio (V2A) 모델의 길이 일반화(Length Generalization) 문제 를 해결하는 것을 목표로 합니다.#Review#Video-to-Audio Generation#Length Generalization#Multimodal Learning#Mamba Architecture#Hierarchical Networks#Flow Matching#Audio Synthesis2026년 2월 26일댓글 수 로딩 중
[논문리뷰] Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models본 연구는 대규모 언어 모델(LLM)이 초장문 컨텍스트(ultra-long context) 를 효율적으로 처리하여 '기억하는 기계'를 구축하는 과제를 해결하고자 합니다.#Review#Large Language Models#Long Context#Sparse Attention#Hierarchical Sparse Attention (HSA)#Length Generalization#Mixture of Experts (MoE)#Transformer2025년 11월 30일댓글 수 로딩 중
[논문리뷰] Behind RoPE: How Does Causal Mask Encode Positional Information?본 논문은 Transformer 디코더 에서 Rotary Positional Embeddings (RoPE) 와 같은 명시적인 위치 인코딩 외에 인과 마스크(causal mask) 가 어떻게 위치 정보를 인코딩하는지 그 메커니즘을 규명하는 것을 목표로 합니다.#Review#Transformer Decoder#Causal Mask#Positional Encoding#RoPE#Attention Mechanism#Length Generalization#Large Language Models2025년 9월 26일댓글 수 로딩 중
[논문리뷰] TTT3R: 3D Reconstruction as Test-Time Training본 논문은 최신 RNN 기반 3D 재구성 모델 이 긴 시퀀스에 적용될 때 발생하는 길이 일반화(length generalization) 부족 과 재앙적 망각(catastrophic forgetting) 문제를 해결하는 것을 목표로 합니다.#Review#3D Reconstruction#Test-Time Training (TTT)#Recurrent Neural Networks (RNN)#Online Learning#Length Generalization#Associative Memory#State Update Rule2025년 10월 1일댓글 수 로딩 중