#Transformer Architecture

50개의 포스트

[논문리뷰] MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models

arXiv에 게시된 'MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models' 논문에 대한 자세한 리뷰입니다.

2026년 2월 13일

[논문리뷰] HySparse: A Hybrid Sparse Attention Architecture with Oracle Token Selection and KV Cache Sharing

arXiv에 게시된 'HySparse: A Hybrid Sparse Attention Architecture with Oracle Token Selection and KV Cache Sharing' 논문에 대한 자세한 리뷰입니다.

2026년 2월 5일

[논문리뷰] DeepSeek-OCR 2: Visual Causal Flow

arXiv에 게시된 'DeepSeek-OCR 2: Visual Causal Flow' 논문에 대한 자세한 리뷰입니다.

2026년 1월 29일

[논문리뷰] Post-LayerNorm Is Back: Stable, ExpressivE, and Deep

arXiv에 게시된 'Post-LayerNorm Is Back: Stable, ExpressivE, and Deep' 논문에 대한 자세한 리뷰입니다.

2026년 1월 28일

[논문리뷰] SkyReels-V3 Technique Report

arXiv에 게시된 'SkyReels-V3 Technique Report' 논문에 대한 자세한 리뷰입니다.

2026년 1월 27일

[논문리뷰] Parallel Latent Reasoning for Sequential Recommendation

Yuning Jiang이 arXiv에 게시한 'Parallel Latent Reasoning for Sequential Recommendation' 논문에 대한 자세한 리뷰입니다.

2026년 1월 7일

[논문리뷰] Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers

arXiv에 게시된 'Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers' 논문에 대한 자세한 리뷰입니다.

2025년 12월 22일

[논문리뷰] REGLUE Your Latents with Global and Local Semantics for Entangled Diffusion

Giorgos Sfikas이 arXiv에 게시한 'REGLUE Your Latents with Global and Local Semantics for Entangled Diffusion' 논문에 대한 자세한 리뷰입니다.

2025년 12월 19일

[논문리뷰] Stronger Normalization-Free Transformers

Zhuang Liu이 arXiv에 게시한 'Stronger Normalization-Free Transformers' 논문에 대한 자세한 리뷰입니다.

2025년 12월 12일

[논문리뷰] MoCapAnything: Unified 3D Motion Capture for Arbitrary Skeletons from Monocular Videos

Qi Wang이 arXiv에 게시한 'MoCapAnything: Unified 3D Motion Capture for Arbitrary Skeletons from Monocular Videos' 논문에 대한 자세한 리뷰입니다.

2025년 12월 12일

[논문리뷰] Efficiently Reconstructing Dynamic Scenes One D4RT at a Time

arXiv에 게시된 'Efficiently Reconstructing Dynamic Scenes One D4RT at a Time' 논문에 대한 자세한 리뷰입니다.

2025년 12월 10일

[논문리뷰] FMA-Net++: Motion- and Exposure-Aware Real-World Joint Video Super-Resolution and Deblurring

Munchurl Kim이 arXiv에 게시한 'FMA-Net++: Motion- and Exposure-Aware Real-World Joint Video Super-Resolution and Deblurring' 논문에 대한 자세한 리뷰입니다.

2025년 12월 5일

[논문리뷰] Mixture of Horizons in Action Chunking

Zelong Sun이 arXiv에 게시한 'Mixture of Horizons in Action Chunking' 논문에 대한 자세한 리뷰입니다.

2025년 12월 3일

[논문리뷰] Does Hearing Help Seeing? Investigating Audio-Video Joint Denoising for Video Generation

arXiv에 게시된 'Does Hearing Help Seeing? Investigating Audio-Video Joint Denoising for Video Generation' 논문에 대한 자세한 리뷰입니다.

2025년 12월 3일

[논문리뷰] Adversarial Flow Models

arXiv에 게시된 'Adversarial Flow Models' 논문에 대한 자세한 리뷰입니다.

2025년 12월 1일

[논문리뷰] Terminal Velocity Matching

Jiaming Song이 arXiv에 게시한 'Terminal Velocity Matching' 논문에 대한 자세한 리뷰입니다.

2025년 11월 27일

[논문리뷰] ReDirector: Creating Any-Length Video Retakes with Rotary Camera Encoding

arXiv에 게시된 'ReDirector: Creating Any-Length Video Retakes with Rotary Camera Encoding' 논문에 대한 자세한 리뷰입니다.

2025년 11월 26일

[논문리뷰] MergeDNA: Context-aware Genome Modeling with Dynamic Tokenization through Token Merging

arXiv에 게시된 'MergeDNA: Context-aware Genome Modeling with Dynamic Tokenization through Token Merging' 논문에 대한 자세한 리뷰입니다.

2025년 11월 24일

[논문리뷰] Mixture of States: Routing Token-Level Dynamics for Multimodal Generation

arXiv에 게시된 'Mixture of States: Routing Token-Level Dynamics for Multimodal Generation' 논문에 대한 자세한 리뷰입니다.

2025년 11월 20일

[논문리뷰] A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition

G. Maragatham이 arXiv에 게시한 'A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition' 논문에 대한 자세한 리뷰입니다.

2025년 11월 19일

[논문리뷰] Depth Anything 3: Recovering the Visual Space from Any Views

arXiv에 게시된 'Depth Anything 3: Recovering the Visual Space from Any Views' 논문에 대한 자세한 리뷰입니다.

2025년 11월 14일

[논문리뷰] EVTAR: End-to-End Try on with Additional Unpaired Visual Reference

arXiv에 게시된 'EVTAR: End-to-End Try on with Additional Unpaired Visual Reference' 논문에 대한 자세한 리뷰입니다.

2025년 11월 9일

[논문리뷰] Forget BIT, It is All about TOKEN: Towards Semantic Information Theory for LLMs

Bo Bai이 arXiv에 게시한 'Forget BIT, It is All about TOKEN: Towards Semantic Information Theory for LLMs' 논문에 대한 자세한 리뷰입니다.

2025년 11월 9일

[논문리뷰] The End of Manual Decoding: Towards Truly End-to-End Language Models

arXiv에 게시된 'The End of Manual Decoding: Towards Truly End-to-End Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 10월 31일

[논문리뷰] Scaling Latent Reasoning via Looped Language Models

arXiv에 게시된 'Scaling Latent Reasoning via Looped Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 10월 30일

[논문리뷰] DyPE: Dynamic Position Extrapolation for Ultra High Resolution Diffusion

arXiv에 게시된 'DyPE: Dynamic Position Extrapolation for Ultra High Resolution Diffusion' 논문에 대한 자세한 리뷰입니다.

2025년 10월 24일

[논문리뷰] Attention Sinks in Diffusion Language Models

Simone Scardapane이 arXiv에 게시한 'Attention Sinks in Diffusion Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 10월 23일

[논문리뷰] From Pixels to Words -- Towards Native Vision-Language Primitives at Scale

arXiv에 게시된 'From Pixels to Words -- Towards Native Vision-Language Primitives at Scale' 논문에 대한 자세한 리뷰입니다.

2025년 10월 17일

[논문리뷰] Direct Multi-Token Decoding

Xifeng Yan이 arXiv에 게시한 'Direct Multi-Token Decoding' 논문에 대한 자세한 리뷰입니다.

2025년 10월 16일

[논문리뷰] Towards Scalable and Consistent 3D Editing

Pan Zhou이 arXiv에 게시한 'Towards Scalable and Consistent 3D Editing' 논문에 대한 자세한 리뷰입니다.

2025년 10월 10일

[논문리뷰] Online Generic Event Boundary Detection

Jonghyun Choi이 arXiv에 게시한 'Online Generic Event Boundary Detection' 논문에 대한 자세한 리뷰입니다.

2025년 10월 9일

[논문리뷰] Native Hybrid Attention for Efficient Sequence Modeling

Yu Cheng이 arXiv에 게시한 'Native Hybrid Attention for Efficient Sequence Modeling' 논문에 대한 자세한 리뷰입니다.

2025년 10월 9일

[논문리뷰] Hybrid Architectures for Language Models: Systematic Analysis and Design Insights

arXiv에 게시된 'Hybrid Architectures for Language Models: Systematic Analysis and Design Insights' 논문에 대한 자세한 리뷰입니다.

2025년 10월 7일

[논문리뷰] Improving GUI Grounding with Explicit Position-to-Coordinate Mapping

Spandana Gella이 arXiv에 게시한 'Improving GUI Grounding with Explicit Position-to-Coordinate Mapping' 논문에 대한 자세한 리뷰입니다.

2025년 10월 6일

[논문리뷰] Boolean Satisfiability via Imitation Learning

Xiangyu Xu이 arXiv에 게시한 'Boolean Satisfiability via Imitation Learning' 논문에 대한 자세한 리뷰입니다.

2025년 10월 2일

[논문리뷰] jina-reranker-v3: Last but Not Late Interaction for Document Reranking

arXiv에 게시된 'jina-reranker-v3: Last but Not Late Interaction for Document Reranking' 논문에 대한 자세한 리뷰입니다.

2025년 10월 1일

[논문리뷰] Thinking Sparks!: Emergent Attention Heads in Reasoning Models During Post Training

arXiv에 게시된 'Thinking Sparks!: Emergent Attention Heads in Reasoning Models During Post Training' 논문에 대한 자세한 리뷰입니다.

2025년 10월 1일

[논문리뷰] The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

arXiv에 게시된 'The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain' 논문에 대한 자세한 리뷰입니다.

2025년 10월 1일

[논문리뷰] X-Streamer: Unified Human World Modeling with Audiovisual Interaction

Guoxian Song이 arXiv에 게시한 'X-Streamer: Unified Human World Modeling with Audiovisual Interaction' 논문에 대한 자세한 리뷰입니다.

2025년 9월 29일

[논문리뷰] AToken: A Unified Tokenizer for Vision

Mingze Xu이 arXiv에 게시한 'AToken: A Unified Tokenizer for Vision' 논문에 대한 자세한 리뷰입니다.

2025년 9월 19일

[논문리뷰] InfGen: A Resolution-Agnostic Paradigm for Scalable Image Synthesis

Song Guo이 arXiv에 게시한 'InfGen: A Resolution-Agnostic Paradigm for Scalable Image Synthesis' 논문에 대한 자세한 리뷰입니다.

2025년 9월 15일

[논문리뷰] Drawing2CAD: Sequence-to-Sequence Learning for CAD Generation from Vector Drawings

Meie Fang이 arXiv에 게시한 'Drawing2CAD: Sequence-to-Sequence Learning for CAD Generation from Vector Drawings' 논문에 대한 자세한 리뷰입니다.

2025년 9월 5일

[논문리뷰] MotionFlux: Efficient Text-Guided Motion Generation through Rectified Flow Matching and Preference Alignment

An-An Liu이 arXiv에 게시한 'MotionFlux: Efficient Text-Guided Motion Generation through Rectified Flow Matching and Preference Alignment' 논문에 대한 자세한 리뷰입니다.

2025년 8월 28일

[논문리뷰] Wan-S2V: Audio-Driven Cinematic Video Generation

Chaonan Ji이 arXiv에 게시한 'Wan-S2V: Audio-Driven Cinematic Video Generation' 논문에 대한 자세한 리뷰입니다.

2025년 8월 27일

[논문리뷰] UltraMemV2: Memory Networks Scaling to 120B Parameters with Superior Long-Context Learning

Ran Guo이 arXiv에 게시한 'UltraMemV2: Memory Networks Scaling to 120B Parameters with Superior Long-Context Learning' 논문에 대한 자세한 리뷰입니다.

2025년 8월 27일

[논문리뷰] Advances in Speech Separation: Techniques, Challenges, and Future Trends

Zhuo Chen이 arXiv에 게시한 'Advances in Speech Separation: Techniques, Challenges, and Future Trends' 논문에 대한 자세한 리뷰입니다.

2025년 8월 20일

[논문리뷰] NextStep-1: Toward Autoregressive Image Generation with Continuous Tokens at Scale

Quan Sun이 arXiv에 게시한 'NextStep-1: Toward Autoregressive Image Generation with Continuous Tokens at Scale' 논문에 대한 자세한 리뷰입니다.

2025년 8월 15일

[논문리뷰] Exploitation Is All You Need... for Exploration

Jesse Roberts이 arXiv에 게시한 'Exploitation Is All You Need... for Exploration' 논문에 대한 자세한 리뷰입니다.

2025년 8월 5일

[논문리뷰] PixNerd: Pixel Neural Field Diffusion

Limin Wang이 arXiv에 게시한 'PixNerd: Pixel Neural Field Diffusion' 논문에 대한 자세한 리뷰입니다.

2025년 8월 4일

[논문리뷰] iLRM: An Iterative Large 3D Reconstruction Model

Abdelrahman Mohamed이 arXiv에 게시한 'iLRM: An Iterative Large 3D Reconstruction Model' 논문에 대한 자세한 리뷰입니다.

2025년 8월 3일