#Transformer

57개의 포스트

[논문리뷰] Geometry-Aware Rotary Position Embedding for Consistent Video World Model

arXiv에 게시된 'Geometry-Aware Rotary Position Embedding for Consistent Video World Model' 논문에 대한 자세한 리뷰입니다.

2026년 2월 18일

[논문리뷰] Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning

arXiv에 게시된 'Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning' 논문에 대한 자세한 리뷰입니다.

2026년 2월 10일

[논문리뷰] OmniMoE: An Efficient MoE by Orchestrating Atomic Experts at Scale

arXiv에 게시된 'OmniMoE: An Efficient MoE by Orchestrating Atomic Experts at Scale' 논문에 대한 자세한 리뷰입니다.

2026년 2월 9일

[논문리뷰] MSign: An Optimizer Preventing Training Instability in Large Language Models via Stable Rank Restoration

arXiv에 게시된 'MSign: An Optimizer Preventing Training Instability in Large Language Models via Stable Rank Restoration' 논문에 대한 자세한 리뷰입니다.

2026년 2월 9일

[논문리뷰] Semantic Routing: Exploring Multi-Layer LLM Feature Weighting for Diffusion Transformers

arXiv에 게시된 'Semantic Routing: Exploring Multi-Layer LLM Feature Weighting for Diffusion Transformers' 논문에 대한 자세한 리뷰입니다.

2026년 2월 5일

[논문리뷰] Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection

Jae-Joon Kim이 arXiv에 게시한 'Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection' 논문에 대한 자세한 리뷰입니다.

2026년 2월 4일

[논문리뷰] Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers

arXiv에 게시된 'Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers' 논문에 대한 자세한 리뷰입니다.

2026년 1월 27일

[논문리뷰] MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head

arXiv에 게시된 'MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head' 논문에 대한 자세한 리뷰입니다.

2026년 1월 13일

[논문리뷰] InfiniteVGGT: Visual Geometry Grounded Transformer for Endless Streams

arXiv에 게시된 'InfiniteVGGT: Visual Geometry Grounded Transformer for Endless Streams' 논문에 대한 자세한 리뷰입니다.

2026년 1월 6일

[논문리뷰] Guiding a Diffusion Transformer with the Internal Dynamics of Itself

arXiv에 게시된 'Guiding a Diffusion Transformer with the Internal Dynamics of Itself' 논문에 대한 자세한 리뷰입니다.

2026년 1월 1일

[논문리뷰] End-to-End Test-Time Training for Long Context

Marcel Rød이 arXiv에 게시한 'End-to-End Test-Time Training for Long Context' 논문에 대한 자세한 리뷰입니다.

2025년 12월 31일

[논문리뷰] Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies

arXiv에 게시된 'Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies' 논문에 대한 자세한 리뷰입니다.

2025년 12월 24일

[논문리뷰] Group Representational Position Encoding

arXiv에 게시된 'Group Representational Position Encoding' 논문에 대한 자세한 리뷰입니다.

2025년 12월 9일

[논문리뷰] TV2TV: A Unified Framework for Interleaved Language and Video Generation

arXiv에 게시된 'TV2TV: A Unified Framework for Interleaved Language and Video Generation' 논문에 대한 자세한 리뷰입니다.

2025년 12월 5일

[논문리뷰] LATTICE: Democratize High-Fidelity 3D Generation at Scale

Qingxiang Lin이 arXiv에 게시한 'LATTICE: Democratize High-Fidelity 3D Generation at Scale' 논문에 대한 자세한 리뷰입니다.

2025년 12월 5일

[논문리뷰] 4DLangVGGT: 4D Language-Visual Geometry Grounded Transformer

arXiv에 게시된 '4DLangVGGT: 4D Language-Visual Geometry Grounded Transformer' 논문에 대한 자세한 리뷰입니다.

2025년 12월 5일

[논문리뷰] UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs

arXiv에 게시된 'UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs' 논문에 대한 자세한 리뷰입니다.

2025년 12월 4일

[논문리뷰] Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models

Wei Wu이 arXiv에 게시한 'Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 12월 1일

[논문리뷰] NVIDIA Nemotron Parse 1.1

arXiv에 게시된 'NVIDIA Nemotron Parse 1.1' 논문에 대한 자세한 리뷰입니다.

2025년 11월 27일

[논문리뷰] Virtual Width Networks

arXiv에 게시된 'Virtual Width Networks' 논문에 대한 자세한 리뷰입니다.

2025년 11월 17일

[논문리뷰] DoPE: Denoising Rotary Position Embedding

Min Yang이 arXiv에 게시한 'DoPE: Denoising Rotary Position Embedding' 논문에 대한 자세한 리뷰입니다.

2025년 11월 17일

[논문리뷰] MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples

arXiv에 게시된 'MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples' 논문에 대한 자세한 리뷰입니다.

2025년 11월 14일

[논문리뷰] Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer

arXiv에 게시된 'Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer' 논문에 대한 자세한 리뷰입니다.

2025년 11월 9일

[논문리뷰] Revisiting Multimodal Positional Encoding in Vision-Language Models

arXiv에 게시된 'Revisiting Multimodal Positional Encoding in Vision-Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 11월 9일

[논문리뷰] The Quest for Generalizable Motion Generation: Data, Model, and Evaluation

arXiv에 게시된 'The Quest for Generalizable Motion Generation: Data, Model, and Evaluation' 논문에 대한 자세한 리뷰입니다.

2025년 10월 31일

[논문리뷰] Kimi Linear: An Expressive, Efficient Attention Architecture

arXiv에 게시된 'Kimi Linear: An Expressive, Efficient Attention Architecture' 논문에 대한 자세한 리뷰입니다.

2025년 10월 31일

[논문리뷰] Knocking-Heads Attention

Jianguo Li이 arXiv에 게시한 'Knocking-Heads Attention' 논문에 대한 자세한 리뷰입니다.

2025년 10월 28일

[논문리뷰] ACG: Action Coherence Guidance for Flow-based VLA models

arXiv에 게시된 'ACG: Action Coherence Guidance for Flow-based VLA models' 논문에 대한 자세한 리뷰입니다.

2025년 10월 28일

[논문리뷰] Language Models are Injective and Hence Invertible

arXiv에 게시된 'Language Models are Injective and Hence Invertible' 논문에 대한 자세한 리뷰입니다.

2025년 10월 23일

[논문리뷰] Chronos-2: From Univariate to Universal Forecasting

arXiv에 게시된 'Chronos-2: From Univariate to Universal Forecasting' 논문에 대한 자세한 리뷰입니다.

2025년 10월 21일

[논문리뷰] Robust Layerwise Scaling Rules by Proper Weight Decay Tuning

arXiv에 게시된 'Robust Layerwise Scaling Rules by Proper Weight Decay Tuning' 논문에 대한 자세한 리뷰입니다.

2025년 10월 20일

[논문리뷰] X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model

Xirui Kang이 arXiv에 게시한 'X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model' 논문에 대한 자세한 리뷰입니다.

2025년 10월 16일

[논문리뷰] Progressive Gaussian Transformer with Anisotropy-aware Sampling for Open Vocabulary Occupancy Prediction

danxuhk이 arXiv에 게시한 'Progressive Gaussian Transformer with Anisotropy-aware Sampling for Open Vocabulary Occupancy Prediction' 논문에 대한 자세한 리뷰입니다.

2025년 10월 13일

[논문리뷰] Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention

arXiv에 게시된 'Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention' 논문에 대한 자세한 리뷰입니다.

2025년 10월 9일

[논문리뷰] D^3QE: Learning Discrete Distribution Discrepancy-aware Quantization Error for Autoregressive-Generated Image Detection

Yueqi Duan이 arXiv에 게시한 'D^3QE: Learning Discrete Distribution Discrepancy-aware Quantization Error for Autoregressive-Generated Image Detection' 논문에 대한 자세한 리뷰입니다.

2025년 10월 9일

[논문리뷰] Artificial Hippocampus Networks for Efficient Long-Context Modeling

arXiv에 게시된 'Artificial Hippocampus Networks for Efficient Long-Context Modeling' 논문에 대한 자세한 리뷰입니다.

2025년 10월 9일

[논문리뷰] Human3R: Everyone Everywhere All at Once

Yuliang Xiu이 arXiv에 게시한 'Human3R: Everyone Everywhere All at Once' 논문에 대한 자세한 리뷰입니다.

2025년 10월 8일

[논문리뷰] EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

arXiv에 게시된 'EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting' 논문에 대한 자세한 리뷰입니다.

2025년 10월 1일

[논문리뷰] SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer

arXiv에 게시된 'SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer' 논문에 대한 자세한 리뷰입니다.

2025년 9월 30일

[논문리뷰] CHARM: Control-point-based 3D Anime Hairstyle Auto-Regressive Modeling

Yushi Bai이 arXiv에 게시한 'CHARM: Control-point-based 3D Anime Hairstyle Auto-Regressive Modeling' 논문에 대한 자세한 리뷰입니다.

2025년 9월 26일

[논문리뷰] Synthetic bootstrapped pretraining

Emmanuel Candès이 arXiv에 게시한 'Synthetic bootstrapped pretraining' 논문에 대한 자세한 리뷰입니다.

2025년 9월 23일

[논문리뷰] Cross-Attention is Half Explanation in Speech-to-Text Models

Luisa Bentivogli이 arXiv에 게시한 'Cross-Attention is Half Explanation in Speech-to-Text Models' 논문에 대한 자세한 리뷰입니다.

2025년 9월 23일

[논문리뷰] WhisTLE: Deeply Supervised, Text-Only Domain Adaptation for Pretrained Speech Recognition Transformers

Karun Kumar이 arXiv에 게시한 'WhisTLE: Deeply Supervised, Text-Only Domain Adaptation for Pretrained Speech Recognition Transformers' 논문에 대한 자세한 리뷰입니다.

2025년 9월 22일

[논문리뷰] RynnVLA-001: Using Human Demonstrations to Improve Robot Manipulation

SpaceProduct이 arXiv에 게시한 'RynnVLA-001: Using Human Demonstrations to Improve Robot Manipulation' 논문에 대한 자세한 리뷰입니다.

2025년 9월 19일

[논문리뷰] Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

Mingyang Huang이 arXiv에 게시한 'Wan-Animate: Unified Character Animation and Replacement with Holistic Replication' 논문에 대한 자세한 리뷰입니다.

2025년 9월 18일

[논문리뷰] P3-SAM: Native 3D Part Segmentation

Yunhan Yang이 arXiv에 게시한 'P3-SAM: Native 3D Part Segmentation' 논문에 대한 자세한 리뷰입니다.

2025년 9월 11일

[논문리뷰] Causal Attention with Lookahead Keys

Quanquan Gu이 arXiv에 게시한 'Causal Attention with Lookahead Keys' 논문에 대한 자세한 리뷰입니다.

2025년 9월 10일

[논문리뷰] Multi-View 3D Point Tracking

Irem Demir이 arXiv에 게시한 'Multi-View 3D Point Tracking' 논문에 대한 자세한 리뷰입니다.

2025년 8월 29일

[논문리뷰] Predicting the Order of Upcoming Tokens Improves Language Modeling

Alham Fikri Aji이 arXiv에 게시한 'Predicting the Order of Upcoming Tokens Improves Language Modeling' 논문에 대한 자세한 리뷰입니다.

2025년 8월 28일

[논문리뷰] Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies

Sitong Mao이 arXiv에 게시한 'Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies' 논문에 대한 자세한 리뷰입니다.

2025년 8월 28일

[논문리뷰] Waver: Wave Your Way to Lifelike Video Generation

Yifu Zhang이 arXiv에 게시한 'Waver: Wave Your Way to Lifelike Video Generation' 논문에 대한 자세한 리뷰입니다.

2025년 8월 22일

[논문리뷰] SceneGen: Single-Image 3D Scene Generation in One Feedforward Pass

Ya Zhang이 arXiv에 게시한 'SceneGen: Single-Image 3D Scene Generation in One Feedforward Pass' 논문에 대한 자세한 리뷰입니다.

2025년 8월 22일

[논문리뷰] VertexRegen: Mesh Generation with Continuous Level of Detail

Jakob Engel이 arXiv에 게시한 'VertexRegen: Mesh Generation with Continuous Level of Detail' 논문에 대한 자세한 리뷰입니다.

2025년 8월 13일

[논문리뷰] GLiClass: Generalist Lightweight Model for Sequence Classification Tasks

Alexander Yavorskyi이 arXiv에 게시한 'GLiClass: Generalist Lightweight Model for Sequence Classification Tasks' 논문에 대한 자세한 리뷰입니다.

2025년 8월 12일

[논문리뷰] OpenMed NER: Open-Source, Domain-Adapted State-of-the-Art Transformers for Biomedical NER Across 12 Public Datasets

MaziyarPanahi이 arXiv에 게시한 'OpenMed NER: Open-Source, Domain-Adapted State-of-the-Art Transformers for Biomedical NER Across 12 Public Datasets' 논문에 대한 자세한 리뷰입니다.

2025년 8월 7일

[논문리뷰] LeanK: Learnable K Cache Channel Pruning for Efficient Decoding

Yuqing Yang이 arXiv에 게시한 'LeanK: Learnable K Cache Channel Pruning for Efficient Decoding' 논문에 대한 자세한 리뷰입니다.

2025년 8월 7일

[논문리뷰] LAMIC: Layout-Aware Multi-Image Composition via Scalability of Multimodal Diffusion Transformer

Shunyu Yao이 arXiv에 게시한 'LAMIC: Layout-Aware Multi-Image Composition via Scalability of Multimodal Diffusion Transformer' 논문에 대한 자세한 리뷰입니다.

2025년 8월 6일