[논문리뷰] WorldToken: Time-First Sequence Modeling for Robotic Imitation Learning본 연구는 로봇 정책 모델링에서 입력 데이터의 이질성을 어떻게 구조화할 것인가에 대한 근본적인 문제를 해결하고자 합니다. 기존의 로봇 학습 모델들은 다중 모달 입력(카메라, proprioception, 언어 등)과 시간적 흐름을 다루는 방식이 제각기 다르며, 이로 인해 일관된 시퀀스 조직화가 부족한 실정입니다.#Review#Robotic Imitation Learning#Sequence Modeling#WorldToken#Time-First#Multimodal Encoding#Causal Transformer#Diffusion Action Head2026년 8월 24일댓글 수 로딩 중
[논문리뷰] Modular TTT: Rethinking Test-Time Training as Composable Modules본 논문은 기존 TTT 연구들이 각 모델 변형을 개별적으로 hard-coding하여 TTT 디자인 공간을 체계적으로 이해하기 어렵다는 문제에서 출발합니다 .#Review#Test-Time Training#Modular Framework#Sequence Modeling#Directed Acyclic Graph#Inner Learner#Fast Weights2026년 8월 9일댓글 수 로딩 중
[논문리뷰] RoboTTT: Context Scaling for Robot Policies본 논문은 최신 로봇 파운데이션 모델들이 단일 스텝 또는 짧은 히스토리에만 의존하여 장기적인 작업 수행 및 맥락 이해에 한계를 보인다는 문제를 해결합니다.#Review#Robot Foundation Models#Test-Time Training#Long-Context Policies#Visuomotor Control#In-Context Imitation#Sequence Modeling2026년 7월 16일댓글 수 로딩 중
[논문리뷰] Next Forcing: Causal World Modeling with Multi-Chunk Prediction본 논문은 기존 Autoregressive 모델이 긴 시퀀스를 생성할 때 발생하는 높은 Latency와 연산 비효율성 문제를 해결한다. 전통적인 모델은 토큰을 하나씩 생성해야 하므로, 복잡한 환경을 시뮬레이션하거나 긴 문맥을 생성할 때 병목 현상이 발생한다.#Review#World Modeling#Multi-Chunk Prediction#Causal Modeling#Autoregressive Generation#Sequence Modeling2026년 6월 9일댓글 수 로딩 중
[논문리뷰] Gated QKAN-FWP: Scalable Quantum-inspired Sequence Learning본 논문은 기존 QFWP(Quantum Fast Weight Programmers)가 사용하는 다중 큐비트 회로가 NISQ(Noisy Intermediate-Scale Quantum) 장치에서 확장하기 어렵고, 고전적 시뮬레이션 비용이 크다는 문제를 해결하고자 한다.#Review#Fast Weight Programming#Quantum Machine Learning#Kolmogorov-Arnold Networks#Sequence Modeling#Reinforcement Learning2026년 5월 10일댓글 수 로딩 중
[논문리뷰] LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory본 논문은 기존 feedforward 기하학적 재구성 모델 이 겪는 quadratic attention 복잡성 및 제한된 유효 메모리 로 인한 스케일링 문제를 해결하고, 분 단위의 매우 긴 비디오 시퀀스 에 대해 사후 최적화 없이 조밀한 3D 재구성을 수행하는 것을 목표로 합니다.#Review#3D Reconstruction#Long-Context#Hybrid Memory#Sliding Window Attention (SWA)#Test-Time Training (TTT)#Transformer#Visual SLAM#Sequence Modeling2026년 3월 9일댓글 수 로딩 중
[논문리뷰] Memory Caching: RNNs with Growing Memory본 논문은 고정된 메모리 크기 로 인해 장문 시퀀스에서 과거 정보를 잊어버리는 Recurrent Neural Networks (RNNs)의 한계를 해결하고자 합니다.#Review#Recurrent Neural Networks#Memory Caching#Sequence Modeling#Long-Context#Transformers#Linear Attention#Language Modeling#Retrieval Tasks2026년 3월 1일댓글 수 로딩 중
[논문리뷰] Test-Time Training with KV Binding Is Secretly Linear Attention논문은 TTT(Test-Time Training) with KV binding이 단순히 테스트-타임 메모리화 또는 온라인 메타-러닝 메커니즘이라는 기존 해석에 이의를 제기 하고, 대신 TTT가 선형 어텐션(linear attention) 연산자 의 한 형태로 재해석될 수 있음을 증명하는 것을 목표로 합니다.#Review#Test-Time Training#KV Binding#Linear Attention#Sequence Modeling#Model Interpretation#Computational Efficiency#Dynamic Adaptation2026년 2월 24일댓글 수 로딩 중
[논문리뷰] Native Hybrid Attention for Efficient Sequence Modeling본 논문은 Transformer의 O(n²) 연산 복잡도와 선형 어텐션 모델의 낮은 정확도 문제를 해결하기 위해, 효율적이면서도 긴 컨텍스트에서 높은 정확도를 유지할 수 있는 새로운 하이브리드 어텐션 아키텍처를 개발하는 것을 목표로 합니다.#Review#Sequence Modeling#Hybrid Attention#Transformer Architecture#Linear Attention#Sliding Window Attention#Long Context#Large Language Models (LLMs)#Efficiency2025년 10월 9일댓글 수 로딩 중