#Transformer

71개의 포스트

[논문리뷰] Can Natural Image Autoencoders Compactly Tokenize fMRI Volumes for Long-Range Dynamics Modeling?

저자들은 자연 영상에 사전 학습된 2D DCAE를 사용하여 3D fMRI 볼륨을 27개의 컴팩트한 토큰으로 효율적으로 압축하는 토큰화 방식을 제안합니다 . 이 토큰화된 데이터는 메모리 효율적인 Transformer 아키텍처에 입력되며, MTM을 통해 자기지도 사전 학습을 수행함으로써 하류 작업(downstream tasks) 성능을 향상합니다.

#Review #fMRI #Transformer #Tokenization #Deep Compression Autoencoder #Self-supervised Learning #Long-range Dynamics

2026년 4월 7일

[논문리뷰] AvatarPointillist: AutoRegressive 4D Gaussian Avatarization

arXiv에 게시된 'AvatarPointillist: AutoRegressive 4D Gaussian Avatarization' 논문에 대한 자세한 리뷰입니다.

#Review #4D Gaussian Avatar #Autoregressive Generation #Transformer #3D Gaussian Splatting #One-shot Generation #Identity-preserving

2026년 4월 6일

[논문리뷰] GaussianGPT: Towards Autoregressive 3D Gaussian Scene Generation

Matthias Nießner이 arXiv에 게시한 'GaussianGPT: Towards Autoregressive 3D Gaussian Scene Generation' 논문에 대한 자세한 리뷰입니다.

#Review #3D Gaussian Splatting #Autoregressive Modeling #Scene Generation #Transformer #Vector Quantization #3D Scene Completion

2026년 4월 1일

[논문리뷰] UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations

arXiv에 게시된 'UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations' 논문에 대한 자세한 리뷰입니다.

#Review #Unified Multimodal Model #Image Generation #Image Understanding #Semantic Compression #Continuous Representation #Diffusion Model #Transformer #Image Editing

2026년 3월 11일

[논문리뷰] NLE: Non-autoregressive LLM-based ASR by Transcript Editing

arXiv에 게시된 'NLE: Non-autoregressive LLM-based ASR by Transcript Editing' 논문에 대한 자세한 리뷰입니다.

#Review #Non-Autoregressive ASR #LLM-based ASR #Transcript Editing #CTC #Transformer #LoRA #Real-time ASR #Inference Speed

2026년 3월 9일

[논문리뷰] LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory

arXiv에 게시된 'LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory' 논문에 대한 자세한 리뷰입니다.

#Review #3D Reconstruction #Long-Context #Hybrid Memory #Sliding Window Attention (SWA)#Test-Time Training (TTT)#Transformer #Visual SLAM #Sequence Modeling

2026년 3월 9일

[논문리뷰] Progressive Residual Warmup for Language Model Pretraining

Yang Wang이 arXiv에 게시한 'Progressive Residual Warmup for Language Model Pretraining' 논문에 대한 자세한 리뷰입니다.

#Review #Large Language Models (LLMs)#Transformer #Pretraining Stability #Residual Connections #Warmup Schedule #Layer-wise Learning #Optimization

2026년 3월 8일

[논문리뷰] PixARMesh: Autoregressive Mesh-Native Single-View Scene Reconstruction

arXiv에 게시된 'PixARMesh: Autoregressive Mesh-Native Single-View Scene Reconstruction' 논문에 대한 자세한 리뷰입니다.

#Review #Single-View 3D Reconstruction #Autoregressive Models #Mesh Generation #Scene Understanding #Transformer #Point Cloud Features #Pose Estimation

2026년 3월 8일

[논문리뷰] Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling

arXiv에 게시된 'Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling' 논문에 대한 자세한 리뷰입니다.

#Review #Time Series Forecasting #Foundation Model #Mixture-of-Experts (MoE)#Serial Scaling #Transformer #Pre-training #Probabilistic Forecasting #Data Augmentation

2026년 3월 5일

[논문리뷰] STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification

arXiv에 게시된 'STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification' 논문에 대한 자세한 리뷰입니다.

#Review #Multi-modal Re-Identification #Segmentation-Guided Feature Modulation #Token Modulation #Cross-Modal Interaction #Hypergraph Neural Networks #Object ReID #Transformer #SAM

2026년 3월 5일

[논문리뷰] HDINO: A Concise and Efficient Open-Vocabulary Detector

Yong Li이 arXiv에 게시한 'HDINO: A Concise and Efficient Open-Vocabulary Detector' 논문에 대한 자세한 리뷰입니다.

#Review #Open-Vocabulary Object Detection #Transformer #DINO #CLIP #Semantic Alignment #Hard Example Mining #Feature Fusion #Two-stage Training

2026년 3월 4일

[논문리뷰] GroupEnsemble: Efficient Uncertainty Estimation for DETR-based Object Detection

arXiv에 게시된 'GroupEnsemble: Efficient Uncertainty Estimation for DETR-based Object Detection' 논문에 대한 자세한 리뷰입니다.

#Review #Uncertainty Estimation #Object Detection #DETR #Deep Ensembles #MC-Dropout #Group DETR #Transformer #Autonomous Driving

2026년 3월 4일

[논문리뷰] VGGT-Det: Mining VGGT Internal Priors for Sensor-Geometry-Free Multi-View Indoor 3D Object Detection

arXiv에 게시된 'VGGT-Det: Mining VGGT Internal Priors for Sensor-Geometry-Free Multi-View Indoor 3D Object Detection' 논문에 대한 자세한 리뷰입니다.

#Review #3D Object Detection #Multi-View #Sensor-Geometry-Free #Transformer #VGGT #Attention-Guided Query Generation #Query-Driven Feature Aggregation

2026년 3월 2일

[논문리뷰] 2Mamba2Furious: Linear in Complexity, Competitive in Accuracy

Eric C. Larson이 arXiv에 게시한 '2Mamba2Furious: Linear in Complexity, Competitive in Accuracy' 논문에 대한 자세한 리뷰입니다.

#Review #Linear Attention #Mamba-2 #High-Order Attention #Model Efficiency #Long Context #Transformer #State Space Models

2026년 2월 19일

[논문리뷰] Geometry-Aware Rotary Position Embedding for Consistent Video World Model

arXiv에 게시된 'Geometry-Aware Rotary Position Embedding for Consistent Video World Model' 논문에 대한 자세한 리뷰입니다.

#Review #Video World Model #Generative AI #Transformer #Positional Encoding #3D Consistency #View Synthesis #Sparse Attention #Loop Closure

2026년 2월 17일

[논문리뷰] Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning

arXiv에 게시된 'Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning' 논문에 대한 자세한 리뷰입니다.

#Review #Vision-Language-Action Models #Latent Iterative Reasoning #Adaptive Compute #Recurrent Neural Networks #Robotics #Transformer #Test-Time Scaling #Continuous Action Space

2026년 2월 9일

[논문리뷰] OmniMoE: An Efficient MoE by Orchestrating Atomic Experts at Scale

arXiv에 게시된 'OmniMoE: An Efficient MoE by Orchestrating Atomic Experts at Scale' 논문에 대한 자세한 리뷰입니다.

#Review #Mixture-of-Experts (MoE)#Fine-Grained Experts #Efficient Architectures #Transformer #Routing Algorithms #Hardware Acceleration #Sparse Models

2026년 2월 8일

[논문리뷰] MSign: An Optimizer Preventing Training Instability in Large Language Models via Stable Rank Restoration

arXiv에 게시된 'MSign: An Optimizer Preventing Training Instability in Large Language Models via Stable Rank Restoration' 논문에 대한 자세한 리뷰입니다.

#Review #LLM Training Stability #Gradient Explosion #Stable Rank #Jacobian Alignment #Matrix Sign Operation #Optimizer #Transformer

2026년 2월 8일

[논문리뷰] Semantic Routing: Exploring Multi-Layer LLM Feature Weighting for Diffusion Transformers

arXiv에 게시된 'Semantic Routing: Exploring Multi-Layer LLM Feature Weighting for Diffusion Transformers' 논문에 대한 자세한 리뷰입니다.

#Review #Diffusion Models #LLM #Text-to-Image #Transformer #Semantic Routing #Feature Fusion #Dynamic Conditioning #Generative AI

2026년 2월 4일

[논문리뷰] Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection

Jae-Joon Kim이 arXiv에 게시한 'Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection' 논문에 대한 자세한 리뷰입니다.

#Review #Sparse Attention #Long-Context Inference #LLMs #Token Selection #Efficiency #Transformer #Dynamic Sparsity

2026년 2월 3일

[논문리뷰] Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers

arXiv에 게시된 'Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers' 논문에 대한 자세한 리뷰입니다.

#Review #Transformer #Sparse Attention #Adaptive Sparsity #Efficient LLM #Attention Router #Long-Context #Hybrid Attention

2026년 1월 26일

[논문리뷰] MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head

arXiv에 게시된 'MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head' 논문에 대한 자세한 리뷰입니다.

#Review #Linear Attention #Multi-Head Attention #Transformer #Global Context Collapse #Representational Diversity #Image Generation #NLP #Video Generation

2026년 1월 12일

[논문리뷰] InfiniteVGGT: Visual Geometry Grounded Transformer for Endless Streams

arXiv에 게시된 'InfiniteVGGT: Visual Geometry Grounded Transformer for Endless Streams' 논문에 대한 자세한 리뷰입니다.

#Review #3D Reconstruction #Transformer #Streaming Perception #Memory Management #KV Cache Pruning #Visual Geometry #Temporal Consistency #Continuous Learning

2026년 1월 5일

[논문리뷰] Guiding a Diffusion Transformer with the Internal Dynamics of Itself

arXiv에 게시된 'Guiding a Diffusion Transformer with the Internal Dynamics of Itself' 논문에 대한 자세한 리뷰입니다.

#Review #Diffusion Models #Transformer #Generative AI #Image Generation #Guidance Strategy #Internal Guidance #Auxiliary Loss #Classifier-Free Guidance

2025년 12월 31일

[논문리뷰] End-to-End Test-Time Training for Long Context

Marcel Rød이 arXiv에 게시한 'End-to-End Test-Time Training for Long Context' 논문에 대한 자세한 리뷰입니다.

#Review #Long-Context Language Modeling #Test-Time Training (TTT)#Meta-Learning #Continual Learning #Transformer #Sliding-Window Attention #Inference Efficiency #MLP Adaptation

2025년 12월 30일

[논문리뷰] Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies

arXiv에 게시된 'Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies' 논문에 대한 자세한 리뷰입니다.

#Review #Reinforcement Learning #Large Language Models #Policy Optimization #Interpretability #Transformer #Internal Policy #Entropy Analysis

2025년 12월 23일

[논문리뷰] Group Representational Position Encoding

arXiv에 게시된 'Group Representational Position Encoding' 논문에 대한 자세한 리뷰입니다.

#Review #Positional Encoding #Group Theory #Transformer #RoPE #ALiBi #Lie Groups #Multiplicative PE #Additive PE

2025년 12월 8일

[논문리뷰] TV2TV: A Unified Framework for Interleaved Language and Video Generation

arXiv에 게시된 'TV2TV: A Unified Framework for Interleaved Language and Video Generation' 논문에 대한 자세한 리뷰입니다.

#Review #Video Generation #Language Modeling #Multimodal AI #Interleaved Generation #Flow Matching #Transformer #Controllability #World Models

2025년 12월 4일

[논문리뷰] LATTICE: Democratize High-Fidelity 3D Generation at Scale

Qingxiang Lin이 arXiv에 게시한 'LATTICE: Democratize High-Fidelity 3D Generation at Scale' 논문에 대한 자세한 리뷰입니다.

#Review #3D Generation #High-Fidelity #Latent Representation #Voxel Grid #Diffusion Models #Transformer #Scalable AI #Asset Creation

2025년 12월 4일

[논문리뷰] 4DLangVGGT: 4D Language-Visual Geometry Grounded Transformer

arXiv에 게시된 '4DLangVGGT: 4D Language-Visual Geometry Grounded Transformer' 논문에 대한 자세한 리뷰입니다.

#Review #4D Scene Understanding #Language Grounding #Transformer #Feed-forward Network #Semantic Field #Geometry Reconstruction #Embodied AI

2025년 12월 4일

[논문리뷰] UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs

arXiv에 게시된 'UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs' 논문에 대한 자세한 리뷰입니다.

#Review #LLM Compression #Quantization #Pruning #Edge AI #Adaptive Deployment #Transformer #State Space Models #Hybrid Models #One-shot Compression

2025년 12월 3일

[논문리뷰] Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models

Wei Wu이 arXiv에 게시한 'Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models' 논문에 대한 자세한 리뷰입니다.

#Review #Large Language Models #Long Context #Sparse Attention #Hierarchical Sparse Attention (HSA)#Length Generalization #Mixture of Experts (MoE)#Transformer

2025년 11월 30일

[논문리뷰] NVIDIA Nemotron Parse 1.1

arXiv에 게시된 'NVIDIA Nemotron Parse 1.1' 논문에 대한 자세한 리뷰입니다.

#Review #OCR #Document Parsing #Vision-Language Model #Encoder-Decoder #Transformer #Table Extraction #Multilingual OCR #Layout Analysis

2025년 11월 26일

[논문리뷰] Virtual Width Networks

arXiv에 게시된 'Virtual Width Networks' 논문에 대한 자세한 리뷰입니다.

#Review #Virtual Width Networks #Transformer #Mixture-of-Experts (MoE)#Scaling Laws #Representation Learning #Model Efficiency #Multi-Token Prediction #Hyper-Connections

2025년 11월 16일

[논문리뷰] DoPE: Denoising Rotary Position Embedding

Min Yang이 arXiv에 게시한 'DoPE: Denoising Rotary Position Embedding' 논문에 대한 자세한 리뷰입니다.

#Review #Rotary Position Embedding #Transformer #Length Extrapolation #Attention Sink #Matrix Entropy #Denoising #Large Language Models

2025년 11월 16일

[논문리뷰] MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples

arXiv에 게시된 'MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples' 논문에 대한 자세한 리뷰입니다.

#Review #Zero-Shot Learning #Anomaly Detection #Anomaly Segmentation #Multimodal #Industrial Inspection #Mutual Scoring #Unsupervised Learning #Transformer

2025년 11월 13일

[논문리뷰] Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer

arXiv에 게시된 'Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer' 논문에 대한 자세한 리뷰입니다.

#Review #fMRI #Image Reconstruction #Brain-Computer Interface #Transformer #Diffusion Models #Neural Decoding #Cross-Subject Learning #Deep Image Prior

2025년 11월 9일

[논문리뷰] Revisiting Multimodal Positional Encoding in Vision-Language Models

arXiv에 게시된 'Revisiting Multimodal Positional Encoding in Vision-Language Models' 논문에 대한 자세한 리뷰입니다.

#Review #Multimodal Positional Encoding #Vision-Language Models #Rotary Positional Embedding (RoPE)#Transformer #Multimodal Understanding #Visual Grounding #Frequency Allocation #Position Design

2025년 11월 9일

[논문리뷰] The Quest for Generalizable Motion Generation: Data, Model, and Evaluation

arXiv에 게시된 'The Quest for Generalizable Motion Generation: Data, Model, and Evaluation' 논문에 대한 자세한 리뷰입니다.

#Review #Motion Generation #Generalization #Diffusion Models #Transformer #Large-scale Dataset #Benchmark #Multimodal Learning #Video Generation

2025년 10월 31일

[논문리뷰] Kimi Linear: An Expressive, Efficient Attention Architecture

arXiv에 게시된 'Kimi Linear: An Expressive, Efficient Attention Architecture' 논문에 대한 자세한 리뷰입니다.

#Review #Linear Attention #Hybrid Architecture #Kimi Delta Attention (KDA)#Gating Mechanism #Long-Context Modeling #Efficient Inference #Transformer

2025년 10월 31일

[논문리뷰] Knocking-Heads Attention

Jianguo Li이 arXiv에 게시한 'Knocking-Heads Attention' 논문에 대한 자세한 리뷰입니다.

#Review #Multi-Head Attention #Transformer #Large Language Models #Inter-Head Communication #Parameter Sharing #Training Stability #Diagonal Initialization

2025년 10월 28일

[논문리뷰] ACG: Action Coherence Guidance for Flow-based VLA models

arXiv에 게시된 'ACG: Action Coherence Guidance for Flow-based VLA models' 논문에 대한 자세한 리뷰입니다.

#Review #Action Coherence #Flow Matching #VLA Models #Guidance #Robotics #Imitation Learning #Transformer #Self-Attention

2025년 10월 28일

[논문리뷰] Language Models are Injective and Hence Invertible

arXiv에 게시된 'Language Models are Injective and Hence Invertible' 논문에 대한 자세한 리뷰입니다.

#Review #Language Models #Injectivity #Invertibility #Transformer #Representation Learning #Exact Recovery #SIPIT Algorithm #Real Analysis

2025년 10월 23일

[논문리뷰] Chronos-2: From Univariate to Universal Forecasting

arXiv에 게시된 'Chronos-2: From Univariate to Universal Forecasting' 논문에 대한 자세한 리뷰입니다.

#Review #Time Series Forecasting #Foundation Models #Pretrained Models #Transformer #In-Context Learning #Multivariate Forecasting #Covariates #Group Attention

2025년 10월 21일

[논문리뷰] Robust Layerwise Scaling Rules by Proper Weight Decay Tuning

arXiv에 게시된 'Robust Layerwise Scaling Rules by Proper Weight Decay Tuning' 논문에 대한 자세한 리뷰입니다.

#Review #Weight Decay Scaling #Maximal-Update Parameterization (µP)#AdamW #Transformer #Hyperparameter Transfer #Scaling Laws #Singular Value Spectrum #Steady State Training

2025년 10월 20일

[논문리뷰] X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model

Xirui Kang이 arXiv에 게시한 'X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model' 논문에 대한 자세한 리뷰입니다.

#Review #Vision-Language-Action (VLA) Models #Soft Prompts #Transformer #Cross-Embodiment #Robotics #Pretraining #Domain Adaptation #Flow Matching

2025년 10월 16일

[논문리뷰] Progressive Gaussian Transformer with Anisotropy-aware Sampling for Open Vocabulary Occupancy Prediction

danxuhk이 arXiv에 게시한 'Progressive Gaussian Transformer with Anisotropy-aware Sampling for Open Vocabulary Occupancy Prediction' 논문에 대한 자세한 리뷰입니다.

#Review #3D Occupancy Prediction #Open Vocabulary #Gaussian Splatting #Transformer #Progressive Densification #Anisotropy-aware Sampling #Autonomous Driving

2025년 10월 13일

[논문리뷰] Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention

arXiv에 게시된 'Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention' 논문에 대한 자세한 리뷰입니다.

#Review #Low-Precision Training #Flash Attention #Transformer #Numerical Stability #BF16 #Rounding Error #Gradient Bias #Deep Learning Optimization

2025년 10월 9일

[논문리뷰] D^3QE: Learning Discrete Distribution Discrepancy-aware Quantization Error for Autoregressive-Generated Image Detection

Yueqi Duan이 arXiv에 게시한 'D^3QE: Learning Discrete Distribution Discrepancy-aware Quantization Error for Autoregressive-Generated Image Detection' 논문에 대한 자세한 리뷰입니다.

#Review #Autoregressive Models #Image Detection #Discrete Distribution Discrepancy #Quantization Error #Transformer #Generative AI #Deepfake Detection

2025년 10월 9일

[논문리뷰] Artificial Hippocampus Networks for Efficient Long-Context Modeling

arXiv에 게시된 'Artificial Hippocampus Networks for Efficient Long-Context Modeling' 논문에 대한 자세한 리뷰입니다.

#Review #Long-Context Modeling #Transformer #RNN #Memory Management #Self-Distillation #Attention Mechanism #Artificial Hippocampus Networks #Cognitive Science

2025년 10월 9일

[논문리뷰] Human3R: Everyone Everywhere All at Once

Yuliang Xiu이 arXiv에 게시한 'Human3R: Everyone Everywhere All at Once' 논문에 대한 자세한 리뷰입니다.

#Review #4D Human-Scene Reconstruction #Online Reconstruction #Multi-person #SMPL-X #Transformer #Visual Prompt Tuning #Real-time #Foundation Model

2025년 10월 8일

[논문리뷰] EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

arXiv에 게시된 'EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting' 논문에 대한 자세한 리뷰입니다.

#Review #Time Series Forecasting #Transformer #Dynamic Patching #Entropy #Predictive Uncertainty #Adaptive Encoding #Attention Mechanisms #Causal Transformer

2025년 10월 1일

[논문리뷰] SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer

arXiv에 게시된 'SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer' 논문에 대한 자세한 리뷰입니다.

#Review #Video Generation #Diffusion Model #Linear Attention #Transformer #Long Video #Efficient Inference #Constant Memory #Low-Cost Training #RTX Deployment

2025년 9월 30일

[논문리뷰] CHARM: Control-point-based 3D Anime Hairstyle Auto-Regressive Modeling

Yushi Bai이 arXiv에 게시한 'CHARM: Control-point-based 3D Anime Hairstyle Auto-Regressive Modeling' 논문에 대한 자세한 리뷰입니다.

#Review #3D Anime Hairstyle #Autoregressive Modeling #Control Points #Parametric Representation #Transformer #Generative AI #Dataset (AnimeHair)#Computer Graphics

2025년 9월 26일

[논문리뷰] Synthetic bootstrapped pretraining

Emmanuel Candès이 arXiv에 게시한 'Synthetic bootstrapped pretraining' 논문에 대한 자세한 리뷰입니다.

#Review #Language Model Pretraining #Synthetic Data #Inter-document Correlation #Data Augmentation #Transformer #Bootstrapping #Concept Learning

2025년 9월 23일

[논문리뷰] Cross-Attention is Half Explanation in Speech-to-Text Models

Luisa Bentivogli이 arXiv에 게시한 'Cross-Attention is Half Explanation in Speech-to-Text Models' 논문에 대한 자세한 리뷰입니다.

#Review #Cross-attention #Speech-to-Text (S2T)#Explainable AI (XAI)#Saliency Maps #Feature Attribution #Transformer #Context Mixing #Correlation

2025년 9월 23일

[논문리뷰] WhisTLE: Deeply Supervised, Text-Only Domain Adaptation for Pretrained Speech Recognition Transformers

Karun Kumar이 arXiv에 게시한 'WhisTLE: Deeply Supervised, Text-Only Domain Adaptation for Pretrained Speech Recognition Transformers' 논문에 대한 자세한 리뷰입니다.

#Review #ASR #Domain Adaptation #Text-Only Training #Transformer #Variational Autoencoder #Deep Supervision #Whisper #Encoder-Decoder Models

2025년 9월 22일

[논문리뷰] RynnVLA-001: Using Human Demonstrations to Improve Robot Manipulation

SpaceProduct이 arXiv에 게시한 'RynnVLA-001: Using Human Demonstrations to Improve Robot Manipulation' 논문에 대한 자세한 리뷰입니다.

#Review #Vision-Language-Action (VLA) Model #Robot Manipulation #Human Demonstrations #Video Generative Pretraining #Ego-Centric Video #Trajectory Prediction #ActionVAE #Transformer

2025년 9월 19일

[논문리뷰] Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

Mingyang Huang이 arXiv에 게시한 'Wan-Animate: Unified Character Animation and Replacement with Holistic Replication' 논문에 대한 자세한 리뷰입니다.

#Review #Character Animation #Video Replacement #Diffusion Models #Transformer #DiT #Relighting LoRA #Holistic Replication #Open-Source

2025년 9월 18일

[논문리뷰] P3-SAM: Native 3D Part Segmentation

Yunhan Yang이 arXiv에 게시한 'P3-SAM: Native 3D Part Segmentation' 논문에 대한 자세한 리뷰입니다.

#Review #3D Part Segmentation #Point Cloud Segmentation #Prompt-based Segmentation #Deep Learning #Transformer #Interactive Segmentation #Automatic Segmentation #Native 3D

2025년 9월 11일

[논문리뷰] Causal Attention with Lookahead Keys

Quanquan Gu이 arXiv에 게시한 'Causal Attention with Lookahead Keys' 논문에 대한 자세한 리뷰입니다.

#Review #Causal Attention #Lookahead Keys #Autoregressive Modeling #Language Models #Transformer #Perplexity Reduction #Parallel Training #Efficient Inference

2025년 9월 10일

[논문리뷰] Multi-View 3D Point Tracking

Irem Demir이 arXiv에 게시한 'Multi-View 3D Point Tracking' 논문에 대한 자세한 리뷰입니다.

#Review #3D Point Tracking #Multi-View #Transformer #kNN Correlation #Depth Estimation #Dynamic Scenes #Occlusion Handling #Feature Fusion

2025년 8월 29일

[논문리뷰] Predicting the Order of Upcoming Tokens Improves Language Modeling

Alham Fikri Aji이 arXiv에 게시한 'Predicting the Order of Upcoming Tokens Improves Language Modeling' 논문에 대한 자세한 리뷰입니다.

#Review #Language Modeling #Next-Token Prediction #Multi-Token Prediction #Token Order Prediction #Auxiliary Objective #Learning-to-Rank #Transformer #Large Language Models

2025년 8월 28일

[논문리뷰] Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies

Sitong Mao이 arXiv에 게시한 'Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies' 논문에 대한 자세한 리뷰입니다.

#Review #Vision-Language-Action (VLA)#Discrete Diffusion #Action Decoding #Transformer #Robot Control #Masked Modeling #Adaptive Decoding #Reinforcement Learning

2025년 8월 28일

[논문리뷰] Waver: Wave Your Way to Lifelike Video Generation

Yifu Zhang이 arXiv에 게시한 'Waver: Wave Your Way to Lifelike Video Generation' 논문에 대한 자세한 리뷰입니다.

#Review #Video Generation #Foundation Model #Diffusion Model #Transformer #Text-to-Video #Image-to-Video #Super-Resolution #Data Curation

2025년 8월 22일

[논문리뷰] SceneGen: Single-Image 3D Scene Generation in One Feedforward Pass

Ya Zhang이 arXiv에 게시한 'SceneGen: Single-Image 3D Scene Generation in One Feedforward Pass' 논문에 대한 자세한 리뷰입니다.

#Review #3D Scene Generation #Single-Image Input #Feedforward Networks #Diffusion Models #Geometric Modeling #Texture Synthesis #Transformer #Feature Aggregation

2025년 8월 22일

[논문리뷰] VertexRegen: Mesh Generation with Continuous Level of Detail

Jakob Engel이 arXiv에 게시한 'VertexRegen: Mesh Generation with Continuous Level of Detail' 논문에 대한 자세한 리뷰입니다.

#Review #Mesh Generation #Level of Detail (LOD)#Progressive Meshes #Vertex Split #Autoregressive Models #Transformer #3D Graphics

2025년 8월 13일

[논문리뷰] GLiClass: Generalist Lightweight Model for Sequence Classification Tasks

Alexander Yavorskyi이 arXiv에 게시한 'GLiClass: Generalist Lightweight Model for Sequence Classification Tasks' 논문에 대한 자세한 리뷰입니다.

#Review #Sequence Classification #Zero-shot Learning #Few-shot Learning #Transformer #Multi-label Classification #PPO #GLiNER #Computational Efficiency

2025년 8월 12일

[논문리뷰] OpenMed NER: Open-Source, Domain-Adapted State-of-the-Art Transformers for Biomedical NER Across 12 Public Datasets

MaziyarPanahi이 arXiv에 게시한 'OpenMed NER: Open-Source, Domain-Adapted State-of-the-Art Transformers for Biomedical NER Across 12 Public Datasets' 논문에 대한 자세한 리뷰입니다.

#Review #Biomedical NER #Transformer #Domain Adaptation #LoRA #Open-Source #Named Entity Recognition #Healthcare AI

2025년 8월 7일

[논문리뷰] LeanK: Learnable K Cache Channel Pruning for Efficient Decoding

Yuqing Yang이 arXiv에 게시한 'LeanK: Learnable K Cache Channel Pruning for Efficient Decoding' 논문에 대한 자세한 리뷰입니다.

#Review #LLM #KV Cache Optimization #Model Pruning #Efficient Decoding #Memory Optimization #Static Sparsity #Transformer

2025년 8월 7일

[논문리뷰] LAMIC: Layout-Aware Multi-Image Composition via Scalability of Multimodal Diffusion Transformer

Shunyu Yao이 arXiv에 게시한 'LAMIC: Layout-Aware Multi-Image Composition via Scalability of Multimodal Diffusion Transformer' 논문에 대한 자세한 리뷰입니다.

#Review #Multi-Image Composition #Layout Control #Diffusion Models #Transformer #Attention Mechanisms #Training-Free #Zero-Shot Generalization

2025년 8월 6일