[논문리뷰] Latent Compaction with Test-Time Training본 논문은 긴 컨텍스트 처리에 따른 대규모 KV-Cache가 메모리 대역폭을 점유하고 추론 속도를 저하시키는 문제를 해결하고자 합니다. 기존 연구들은 단순한 토큰 제거(Eviction)나 요약 방식을 사용했으나, 이는 미래의 질문에 필요한 세부 정보가 누락될 위험이 큽니다.#Review#KV-Cache#Test-Time Training#Context Compression#Latent Compaction#Attention Fitting#Distillation2026년 10월 14일댓글 수 로딩 중
[논문리뷰] GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning본 논문은 robust한 GUI Agent를 구축하는 데 필수적인 multimodal visual grounding의 어려움, 특히 자연어 명령을 UI 요소의 픽셀 좌표에 정확하게 매핑하는 것의 도전 과제를 다룹니다.#Review#GUI Grounding#Multimodal Visual Grounding#Reinforcement Learning#Distillation#ScreenRef Dataset#GUI Agents#Deep Learning2026년 10월 14일댓글 수 로딩 중
[논문리뷰] Branching On-Policy Distillation기존 On-Policy Distillation (OPD) 방식은 학생이 생성한 trajectory에 대해 교사 supervision을 제공하지만, 단일 trajectory는 각 decision에서 오직 하나의 continuation만을 실현하여, 유한한 sampling budget 내에서 supervision coverage를 제한한다.#Review#On-Policy Distillation#Large Language Models#Reinforcement Learning#Behavior Coverage#Shared-Prefix Sampling#Protocol-Boundary Repair#Distillation#Agent Tasks2026년 10월 12일댓글 수 로딩 중
[논문리뷰] SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision본 논문은 기존 음악 정보 검색(MIR) 시스템이 개별 과제(예: 코드 인식, 비트 트래킹)에만 집중하여 음악적 전체 구조를 파악하는 통합적 리드 시트 생성에 한계를 보이는 문제를 해결합니다.#Review#Music Transcription#Lead Sheets#Synthetic Data#Structured Decoding#Distillation#Autoregressive Models2026년 10월 7일댓글 수 로딩 중
[논문리뷰] Multilinguality in Hybrid Attention LLMs본 논문은 Hybrid Attention 모델의 하이브리드 구조가 언어 간 추상화와 같은 다국어 처리 과정에 미치는 영향이 충분히 연구되지 않았다는 문제 의식에서 출발합니다.#Review#Hybrid Attention#Multilinguality#Linear-Complexity#Cross-Lingual Alignment#Layer Ordering#Distillation#SoftCKA2026년 10월 6일댓글 수 로딩 중
[논문리뷰] Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation본 논문은 이미지 합성에 효과적인 Diffusion Models 및 Flow Matching 방법론이 비디오 생성으로 확장되었음에도 불구하고, 오디오와 동기화된 비디오(T2AV)를 생성하는 것이 훨씬 더 어렵다는 핵심 문제를 해결하고자 한다.#Review#Foundation Models#Text-to-Audio-Video Generation#CrossDiT#Continuous Pretraining#Reinforcement Learning#Distillation#Super-Resolution#Lip-Sync2026년 10월 5일댓글 수 로딩 중
[논문리뷰] GTR: Gated Token Recurrence for Efficient Dense Prediction본 논문은 고해상도 이미지 처리에서 기존 Softmax 기반의 Self-attention 구조가 가진 이차(Quadratic) 계산 복잡도 문제를 해결하고자 합니다. 기존 모델들은 이미지 해상도가 증가함에 따라 계산량과 메모리 사용량이 급증하여 실시간 에지(Edge) 환경에서의 적용이 어렵다는 한계가 있습니다.#Review#Gated Token Recurrence#Linear-complexity#Dense Prediction#Gated Linear Attention#Spatial SwiGLU#Distillation#Real-time Inference2026년 10월 4일댓글 수 로딩 중
[논문리뷰] Scaling and Distilling Text Embeddings for Better Diffusibility본 논문은 Continuous DLMs의 성능을 결정짓는 핵심 요소인 임베딩 잠재 공간의 최적화 문제를 해결하고자 한다. 기존 연구들은 단순한 임베딩 모델을 사용하거나, 임베딩과 확산 모델을 동시에 학습시켜 표현이 붕괴되는(collapse) 등의 한계를 보였다.#Review#Diffusion Language Models#Text Embeddings#Latent Diffusion#Distillation#Diffusibility2026년 10월 1일댓글 수 로딩 중
[논문리뷰] SoL-Refiner: Speed-of-Light One-Step Refinement for High-Resolution Video본 논문은 고해상도 비디오 생성의 높은 컴퓨팅 비용 및 기존 refinement 방법론의 비효율성 문제를 해결하기 위해 SoL-Refiner를 제안한다. 고해상도 비디오 생성은 spatiotemporal token 수가 증가함에 따라 비용이 급격히 증가하는 문제를 안고 있다.#Review#Video Refinement#One-Step Denoising#Diffusion Models#Reinforcement Learning#Distillation#High-Resolution Video#Latency Reduction#Refiner-Bench2026년 9월 29일댓글 수 로딩 중
[논문리뷰] LongLive-Plug: Once-for-All Distillation for Video Generation비디오 diffusion model은 점차 다양한 downstream task를 위한 specialized model로 발전하고 있으며, 이러한 과정에서 샘플링 가속화나 long-video 생성 개선을 위한 distillation 단계가 필수적으로 요구됩니다.#Review#Video Generation#Distillation#LoRA#Classifier-Free Guidance#Few-Step Sampling#Long-Context#Plug-and-Play2026년 9월 29일댓글 수 로딩 중
[논문리뷰] AdaTutoRank: Learning to Rerank Document Sets via Adaptive Tutoring Optimization for RAG and Deep Research기존 Document Reranker들은 주로 개별 문서의 Relevance 매칭에 기반하여 상위 k개의 문서를 선택하며, 이로 인해 Downstream Model (예: RAG 시스템이나 Deep Research Agent)에 전달되는 문서 Set은 Completeness, Complementarity, Non-Redundancy 등 복합적인 정보 요구를 충족하지 못하는 한계가 있습니다.#Review#Setwise Reranking#Adaptive Tutoring Optimization#RAG#Deep Research#Rubrics#Reinforcement Learning#Distillation#Document Selection2026년 9월 28일댓글 수 로딩 중
[논문리뷰] ZooWork-ShopRanker: An Open, Preference-Aligned E-Commerce Reranker본 연구는 기존의 범용(general) 웹 리트리버 및 리랭커 모델이 이커머스 환경의 특수성을 고려하지 못해 발생하는 성능 저하 문제를 해결하고자 한다. 단순한 topical relevance를 넘어 소비자 개인의 제약 사항(constraints), 예산, 선호도를 판단하는 능력이 부족한 점이 주요 한계이다.#Review#E-commerce#Reranker#Preference Alignment#Distillation#LLM Judges#SHOPRANK-BENCH2026년 9월 27일댓글 수 로딩 중
[논문리뷰] Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation본 논문은 긴 시공간 토큰 시퀀스를 처리하는 비디오 생성 모델에서 Softmax attention이 차지하는 높은 연산 비용 문제를 해결하고자 합니다. 기존의 Dense Softmax는 시퀀스 길이에 따라 연산량이 이차함수적으로 증가하여 대규모 비디오 생성을 저해하는 주요 병목이 됩니다.#Review#Video Generation#Hybrid Attention#Linear Attention#Delta Rule#Diffusion Transformers#Efficient Inference#Distillation2026년 9월 17일댓글 수 로딩 중
[논문리뷰] DriveZero: End-to-End Driving Beyond Human Demonstrations대부분의 End-to-End 자율주행 시스템은 인간의 주행 로그를 모방하여 학습하며, 이는 학습된 행동이 기록된 궤적의 품질과 커버리지에 의해 제한되는 문제점을 안고 있다.#Review#End-to-End Driving#Reinforcement Learning#Vision Foundation Models#Distillation#Closed-Loop RL#Trajectory Planning#Goal Augmentation2026년 9월 8일댓글 수 로딩 중
[논문리뷰] EXIMO: VLM Guided Exploration of VLA Policies본 논문은 사전 학습된 VLA 정책을 새로운 long-horizon 과업에 대해 sample-efficient하게 파인튜닝하는 문제를 해결합니다.#Review#VLM#VLA#Robotic Manipulation#Reinforcement Learning#Sample Efficiency#Policy Finetuning#Distillation2026년 8월 20일댓글 수 로딩 중
[논문리뷰] UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos본 연구는 말하는 영상의 캐릭터 교체 작업에서 시각적 모습과 목소리를 동시에 일관성 있게 바꾸는 통합 시스템의 부재라는 문제를 해결하고자 합니다. 기존 방식들은 비디오 캐릭터 교체와 음성 변환 모델을 개별적으로 최적화하여, 결과물에서 입 모양과 음성 간의 오디오-비주얼 불일치가 발생하기 쉽습니다.#Review#Audio-Visual Generation#Identity Swapping#Streaming Diffusion#Diffusion Transformer#Distillation#Talking Video2026년 8월 13일댓글 수 로딩 중
[논문리뷰] DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation본 논문은 기존의 고성능 VDR 시스템이 요구하는 막대한 컴퓨팅 자원과 인덱싱 비용 문제를 해결하고자 합니다. 현재 최첨단 VDR 모델들은 수십억 개의 파라미터를 사용하며, Multi-vector 기반의 복잡한 연산으로 인해 메모리 사용량과 검색 레이턴시가 지나치게 높습니다.#Review#Visual Document Retrieval#Distillation#Single-Vector#End-to-End#Multimodal#Encoder-only2026년 8월 11일댓글 수 로딩 중
[논문리뷰] Wonder: Video World Model Done Better본 논문은 실시간 상호작용이 가능한 비디오 월드 모델에서 카메라 제어력, 긴 맥락(long-horizon)의 기억력, 그리고 추론 효율성 간의 상충 문제를 해결하기 위해 제안되었습니다 .#Review#Video World Model#Camera-Controllable#Streaming Inference#Sparse Attention#Distillation2026년 7월 28일댓글 수 로딩 중
[논문리뷰] RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources본 논문은 최신 Large Language Model(LLM) 기반 에이전트가 소프트웨어 조작 및 복잡한 아티팩트 생성 작업을 수행할 때 발생하는 Procedural Knowledge 부족 문제를 해결하고자 한다.#Review#Software Agents#Multimodal Skill Wiki#Procedural Knowledge#Distillation#Agentic Harness#Human-Created Resources#Offline-Online Pipeline2026년 7월 19일댓글 수 로딩 중
[논문리뷰] TREK: Distill to Explore, Reinforce to Refine본 논문은 GRPO 학습 중 발생하는 핵심적 한계인 '탐색 공간의 부족(Inadequate exploration)' 문제를 해결하고자 합니다.#Review#GRPO#Reinforcement Learning#Distillation#Exploration#Reasoning#Language Models#Policy Optimization2026년 7월 7일댓글 수 로딩 중
[논문리뷰] LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing본 논문은 실시간 스트리밍 비디오 편집 환경에서 발생하는 Attention distribution shift와 Spatial-temporal token redundancy 문제를 해결하고자 한다 .#Review#Streaming Video Editing#Diffusion Models#Distillation#Real-Time Inference#Attention Distribution#Mask Cache#Autoregressive Generation2026년 6월 29일댓글 수 로딩 중
[논문리뷰] Self-Evaluation Is Already There: Eliciting Latent Judge Calibration in Base LLMs with Minimal Data본 논문은 LLM이 외부 Judge의 평가를 사전에 예측하여 스스로 자신의 답변을 재평가하거나 선별할 수 있는지에 대한 근본적인 의문을 탐구합니다.#Review#Large Language Models#Self-Evaluation#Calibration#Reinforcement Learning#Elicitation#Distillation#Alignment2026년 6월 8일댓글 수 로딩 중
[논문리뷰] MIRA: Mid-training Rubric Anchoring for Source-Aware Data Selection본 논문은 이질적인(Heterogeneous) Mid-training 데이터 혼합물에서 효과적인 데이터 선택이 어렵다는 문제를 해결하고자 합니다.#Review#Mid-training#Data Selection#Rubric Discovery#LLM#Distillation#Source-Aware#Scalability2026년 6월 2일댓글 수 로딩 중
[논문리뷰] minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models본 논문은 기존의 고품질 Video Foundation Model을 실시간 상호작용이 가능한 Interactive World Model로 전환하는 파이프라인의 부재 문제를 해결합니다.#Review#Video World Models#Diffusion Models#Autoregressive#Distillation#Real-time Inference#Camera Control2026년 5월 28일댓글 수 로딩 중
[논문리뷰] PiD: Fast and High-Resolution Latent Decoding with Pixel Diffusion본 연구는 기존 Latent Diffusion Models(LDMs)에서 사용되는 재구성 기반(reconstruction-oriented) 디코더가 고해상도 생성 시 발생하는 정보 손실과 연산 효율성 저하 문제를 해결하고자 합니다.#Review#Latent Diffusion Models#Pixel Diffusion#Latent Decoding#Super-Resolution#Generative Decoding#Distillation2026년 5월 24일댓글 수 로딩 중
[논문리뷰] Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR본 논문은 RLVR 환경에서 고질적인 문제인 탐색의 병목 현상을 해결하고자 합니다. 기존 방식은 탐색 효율을 높이기 위해 샘플링 횟수(Rollout)를 무작정 늘리는 방식을 취하지만, 이는 계산 비용이 극심하고 long-tail에 위치한 희귀한 정답 추론 경로를 발견하는 데 한계가 있습니다 .#Review#RLVR#Reinforcement Learning#Exploration#LLM Reasoning#Strategy Nudging#Inter-Intra Group Advantage#Distillation2026년 5월 17일댓글 수 로딩 중
[논문리뷰] Continuous-Time Distribution Matching for Few-Step Diffusion Distillation본 논문은 기존의 Diffusion Distillation 방식이 학습 및 추론 시 고정된 이산적 타임스텝(discrete anchors)에 지나치게 의존함으로써 발생하는 성능 저하 문제를 해결하고자 한다.#Review#Diffusion Models#Distillation#Continuous-Time Optimization#Distribution Matching#Few-Step Generation#Flow Matching2026년 5월 7일댓글 수 로딩 중
[논문리뷰] TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment본 논문은 패치 수준의 증류(distillation) 과정이 정렬 능력을 크게 향상시킨다는 통찰을 바탕으로 TIPSv2 프레임워크를 제안한다. 저자들은 마스킹된 패치뿐만 아니라 모든 패치에 손실을 적용하는 iBOT++ 기법을 통해 학생 모델이 교사 모델의 표현을 더욱 강력하게 학습하도록 유도한다 .#Review#Vision-Language Pretraining#Patch-Text Alignment#iBOT++#Masked Image Modeling#Distillation#Head-only EMA2026년 4월 19일댓글 수 로딩 중
[논문리뷰] Woosh: A Sound Effects Foundation Model본 논문은 사운드 이펙트 생성에 특화된 고품질 오픈 소스 파운데이션 모델의 부재를 해결하기 위해 Woosh 를 제안한다. 기존의 오픈 모델들은 저해상도 오디오(16kHz 제한)만을 지원하거나, 음악 생성에 치우쳐 있어 프로페셔널 사운드 이펙트 제작에 한계가 있다.#Review#Foundation Model#Sound Effects#Latent Diffusion Model#Flow Matching#Audio-Visual Generation#Distillation2026년 4월 2일댓글 수 로딩 중
[논문리뷰] Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMDDiscrete diffusion models는 고품질 데이터를 생성할 수 있지만, 일반적으로 샘플링에 많은 반복(sampling steps) 이 필요하며 이는 높은 계산 비용 과 FLOPs 로 이어진다는 문제점이 있습니다.#Review#Discrete Diffusion Models#Distillation#Moment Matching Distillation#D-MMD#GPT-2 Gradient Moment#Few-step Generators#CIFAR-10#Open Web Text2026년 3월 22일댓글 수 로딩 중
[논문리뷰] Streaming Autoregressive Video Generation via Diagonal Distillation대규모 확산 모델의 제한된 실시간 스트리밍 기능을 개선하고, 기존 자기회귀 모델의 높은 연산 비용으로 인한 낮은 품질 문제를 해결하는 것이 목표입니다.#Review#Video Generation#Autoregressive Models#Diffusion Models#Distillation#Real-time#Streaming#Temporal Coherence#Flow Matching2026년 3월 10일댓글 수 로딩 중
[논문리뷰] Unlocking Data Value in Finance: A Study on Distillation and Difficulty-Aware Training금융 도메인 LLM 배포의 어려움(밀도 높은 전문 용어, 엄격한 수치 추론, 낮은 오류 허용치)을 해결하고, 특히 데이터 품질 과 훈련 데이터의 난이도/검증 가능성 프로필 이 특수 수직 도메인에서의 LLM 성능에 미치는 영향을 체계적으로 이해하는 것을 목표로 합니다.#Review#Financial LLMs#Data-Centric AI#Distillation#Chain-of-Thought (CoT)#Reinforcement Learning (RL)#Supervised Fine-Tuning (SFT)#Difficulty-Aware Training#Data Quality2026년 3월 9일댓글 수 로딩 중
[논문리뷰] Helios: Real Real-Time Long Video Generation Model논문은 단일 NVIDIA H100 GPU 에서 19.5 FPS 로 실시간 분 단위 비디오를 생성하고, 기존의 안티-드리프팅(anti-drifting) 휴리스틱이나 가속화 기술 없이도 강력한 품질을 유지하는 최초의 14B 비디오 생성 모델 인 Helios를 개발하는 것을 목표로 합니다.#Review#Video Generation#Real-Time#Long Video#Diffusion Transformers#Anti-Drifting#Memory Optimization#Distillation#Autoregressive Models2026년 3월 4일댓글 수 로딩 중
[논문리뷰] Experiential Reinforcement Learning언어 모델(LMs)이 희소하고 지연된 환경 피드백으로부터 학습하는 과정에서 발생하는 비효율성과 불안정성을 해결하는 것이 주요 목표입니다.#Review#Reinforcement Learning#Language Models#Self-Reflection#Experiential Learning#Policy Optimization#Distillation#Agentic Reasoning2026년 2월 16일댓글 수 로딩 중
[논문리뷰] Fast-ThinkAct: Efficient Vision-Language-Action Reasoning via Verbalizable Latent Planning본 논문은 복잡한 시각-언어-액션 (VLA) 태스크에서 기존 추론 VLA 모델들이 긴 chain-of-thought (CoT) 추론 과정으로 인해 겪는 높은 추론 지연 시간(inference latency) 문제를 해결하고자 합니다.#Review#Vision-Language-Action#Embodied AI#Latent Planning#Chain-of-Thought#Distillation#Inference Efficiency#Robotic Manipulation#Preference Learning2026년 1월 14일댓글 수 로딩 중
[논문리뷰] EgoEdit: Dataset, Real-Time Streaming Model, and Benchmark for Egocentric Video Editing논문은 대규모 움직임, 빈번한 손-객체 상호작용 등 독특한 도전 과제를 가진 자기중심적(egocentric) 비디오 편집 을 위한 포괄적인 생태계를 구축하는 것을 목표로 합니다.#Review#Egocentric Video Editing#Real-Time Streaming#Augmented Reality#Video Generation#Dataset#Benchmark#Diffusion Models#Distillation2025년 12월 8일댓글 수 로딩 중
[논문리뷰] Glance: Accelerating Diffusion Models with 1 Sample본 논문은 이미지 생성 확산 모델의 높은 계산 비용과 많은 추론 단계를 해결하고자 합니다. 특히, 모델의 재훈련 비용과 일반화 성능 저하 없이, 단일 샘플만으로도 효율적인 가속화와 강력한 일반화 능력을 갖춘 경량화된 솔루션을 제공하는 것을 목표로 합니다.#Review#Diffusion Models#Acceleration#Distillation#LoRA#Few-shot Learning#Phase-aware#Image Generation#Computational Efficiency2025년 12월 2일댓글 수 로딩 중
[논문리뷰] Flash-DMD: Towards High-Fidelity Few-Step Image Generation with Efficient Distillation and Joint Reinforcement Learning본 논문은 반복적인 샘플링 과정과 높은 훈련 비용으로 인해 computationally expensive한 확산 모델의 한계를 극복하는 것을 목표로 합니다.#Review#Diffusion Models#Image Generation#Distillation#Reinforcement Learning#Few-Step Sampling#Timestep-Aware#Pixel-GAN#Model Efficiency2025년 12월 1일댓글 수 로딩 중
[논문리뷰] FARMER: Flow AutoRegressive Transformer over Pixels본 논문은 연속적인 autoregressive 모델링이 직면하는 긴 시퀀스 및 고차원 공간 문제를 해결하며, Normalizing Flows (NF) 와 Autoregressive (AR) 모델을 결합하여 픽셀 수준에서 정확한 우도 추정과 고품질 이미지 합성을 위한 단일화된 생성 프레임워크인 FARMER 를 제시합니다.#Review#Normalizing Flows#Autoregressive Models#Generative Models#Image Synthesis#Tractable Likelihood#Dimension Reduction#Distillation#Classifier-Free Guidance2025년 10월 28일댓글 수 로딩 중
[논문리뷰] Fantastic (small) Retrievers and How to Train Them: mxbai-edge-colbert-v0 Tech Report본 연구는 클라우드부터 엣지 기기까지 모든 스케일에서 정보 검색을 지원하기 위해, 현대적인 아키텍처와 높은 효율성을 갖춘 소형 ColBERT 모델(mxbai-edge-colbert-v0) 을 개발하는 것을 목표로 합니다.#Review#ColBERT#Retrieval Models#Small Models#Distillation#Long Context#Edge AI#Information Retrieval#RAG2025년 10월 17일댓글 수 로딩 중
[논문리뷰] FlashVSR: Towards Real-Time Diffusion-Based Streaming Video Super-Resolution본 논문은 확산 모델 기반 비디오 초해상도(VSR) 기술을 현실 세계에 적용 가능하도록 효율성, 확장성 및 실시간 성능을 확보하는 것을 목표로 합니다. 특히 높은 지연 시간, 과도한 연산량, 초고해상도 비디오에 대한 일반화 능력 부족 등의 기존 확산 기반 VSR 모델의 한계를 극복하고자 합니다.#Review#Video Super-Resolution (VSR)#Diffusion Models#Real-time VSR#Streaming VSR#Sparse Attention#Distillation#Conditional Decoder#High-resolution2025년 10월 15일댓글 수 로딩 중