#Knowledge Distillation

35개의 포스트

[논문리뷰] Optimizing Few-Step Generation with Adaptive Matching Distillation

arXiv에 게시된 'Optimizing Few-Step Generation with Adaptive Matching Distillation' 논문에 대한 자세한 리뷰입니다.

2026년 2월 19일

[논문리뷰] Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception

arXiv에 게시된 'Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception' 논문에 대한 자세한 리뷰입니다.

2026년 2월 16일

[논문리뷰] Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation

arXiv에 게시된 'Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation' 논문에 대한 자세한 리뷰입니다.

2026년 2월 13일

[논문리뷰] Weak-Driven Learning: How Weak Agents make Strong Agents Stronger

arXiv에 게시된 'Weak-Driven Learning: How Weak Agents make Strong Agents Stronger' 논문에 대한 자세한 리뷰입니다.

2026년 2월 10일

[논문리뷰] Reinforced Attention Learning

arXiv에 게시된 'Reinforced Attention Learning' 논문에 대한 자세한 리뷰입니다.

2026년 2월 6일

[논문리뷰] Shallow-π: Knowledge Distillation for Flow-based VLAs

arXiv에 게시된 'Shallow-π: Knowledge Distillation for Flow-based VLAs' 논문에 대한 자세한 리뷰입니다.

2026년 1월 29일

[논문리뷰] Render-of-Thought: Rendering Textual Chain-of-Thought as Images for Visual Latent Reasoning

arXiv에 게시된 'Render-of-Thought: Rendering Textual Chain-of-Thought as Images for Visual Latent Reasoning' 논문에 대한 자세한 리뷰입니다.

2026년 1월 22일

[논문리뷰] EvasionBench: Detecting Evasive Answers in Financial Q&A via Multi-Model Consensus and LLM-as-Judge

Yi Yang이 arXiv에 게시한 'EvasionBench: Detecting Evasive Answers in Financial Q&A via Multi-Model Consensus and LLM-as-Judge' 논문에 대한 자세한 리뷰입니다.

2026년 1월 16일

[논문리뷰] Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

arXiv에 게시된 'Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning' 논문에 대한 자세한 리뷰입니다.

2026년 1월 15일

[논문리뷰] SnapGen++: Unleashing Diffusion Transformers for Efficient High-Fidelity Image Generation on Edge Devices

arXiv에 게시된 'SnapGen++: Unleashing Diffusion Transformers for Efficient High-Fidelity Image Generation on Edge Devices' 논문에 대한 자세한 리뷰입니다.

2026년 1월 14일

[논문리뷰] Qwen3-VL-Embedding and Qwen3-VL-Reranker: A Unified Framework for State-of-the-Art Multimodal Retrieval and Ranking

arXiv에 게시된 'Qwen3-VL-Embedding and Qwen3-VL-Reranker: A Unified Framework for State-of-the-Art Multimodal Retrieval and Ranking' 논문에 대한 자세한 리뷰입니다.

2026년 1월 12일

[논문리뷰] Enhancing Object Detection with Privileged Information: A Model-Agnostic Teacher-Student Approach

Carl James Debono이 arXiv에 게시한 'Enhancing Object Detection with Privileged Information: A Model-Agnostic Teacher-Student Approach' 논문에 대한 자세한 리뷰입니다.

2026년 1월 9일

[논문리뷰] GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training

Yuanchun Shi이 arXiv에 게시한 'GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training' 논문에 대한 자세한 리뷰입니다.

2025년 12월 26일

[논문리뷰] SpeContext: Enabling Efficient Long-context Reasoning with Speculative Context Sparsity in LLMs

arXiv에 게시된 'SpeContext: Enabling Efficient Long-context Reasoning with Speculative Context Sparsity in LLMs' 논문에 대한 자세한 리뷰입니다.

2025년 12월 2일

[논문리뷰] LFM2 Technical Report

arXiv에 게시된 'LFM2 Technical Report' 논문에 대한 자세한 리뷰입니다.

2025년 12월 2일

[논문리뷰] DualVLA: Building a Generalizable Embodied Agent via Partial Decoupling of Reasoning and Action

Zhuoyang Liu이 arXiv에 게시한 'DualVLA: Building a Generalizable Embodied Agent via Partial Decoupling of Reasoning and Action' 논문에 대한 자세한 리뷰입니다.

2025년 12월 1일

[논문리뷰] Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs

arXiv에 게시된 'Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs' 논문에 대한 자세한 리뷰입니다.

2025년 11월 21일

[논문리뷰] FLEX: Continuous Agent Evolution via Forward Learning from Experience

Jiangjie Chen이 arXiv에 게시한 'FLEX: Continuous Agent Evolution via Forward Learning from Experience' 논문에 대한 자세한 리뷰입니다.

2025년 11월 11일

[논문리뷰] SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens

arXiv에 게시된 'SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens' 논문에 대한 자세한 리뷰입니다.

2025년 11월 9일

[논문리뷰] PatenTEB: A Comprehensive Benchmark and Model Family for Patent Text Embedding

Denis Cavallucci이 arXiv에 게시한 'PatenTEB: A Comprehensive Benchmark and Model Family for Patent Text Embedding' 논문에 대한 자세한 리뷰입니다.

2025년 10월 29일

[논문리뷰] EchoDistill: Bidirectional Concept Distillation for One-Step Diffusion Personalization

Yaxing Wang이 arXiv에 게시한 'EchoDistill: Bidirectional Concept Distillation for One-Step Diffusion Personalization' 논문에 대한 자세한 리뷰입니다.

2025년 10월 28일

[논문리뷰] AdaSPEC: Selective Knowledge Distillation for Efficient Speculative Decoders

arXiv에 게시된 'AdaSPEC: Selective Knowledge Distillation for Efficient Speculative Decoders' 논문에 대한 자세한 리뷰입니다.

2025년 10월 24일

[논문리뷰] ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder

Zonghao Guo이 arXiv에 게시한 'ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder' 논문에 대한 자세한 리뷰입니다.

2025년 10월 22일

[논문리뷰] BitNet Distillation

arXiv에 게시된 'BitNet Distillation' 논문에 대한 자세한 리뷰입니다.

2025년 10월 17일

[논문리뷰] FlashWorld: High-quality 3D Scene Generation within Seconds

Chunchao Guo이 arXiv에 게시한 'FlashWorld: High-quality 3D Scene Generation within Seconds' 논문에 대한 자세한 리뷰입니다.

2025년 10월 16일

[논문리뷰] LLM Reasoning for Machine Translation: Synthetic Data Generation over Thinking Tokens

arXiv에 게시된 'LLM Reasoning for Machine Translation: Synthetic Data Generation over Thinking Tokens' 논문에 대한 자세한 리뷰입니다.

2025년 10월 15일

[논문리뷰] Information-Preserving Reformulation of Reasoning Traces for Antidistillation

arXiv에 게시된 'Information-Preserving Reformulation of Reasoning Traces for Antidistillation' 논문에 대한 자세한 리뷰입니다.

2025년 10월 15일

[논문리뷰] REPAIR: Robust Editing via Progressive Adaptive Intervention and Reintegration

arXiv에 게시된 'REPAIR: Robust Editing via Progressive Adaptive Intervention and Reintegration' 논문에 대한 자세한 리뷰입니다.

2025년 10월 6일

[논문리뷰] Efficient Multi-modal Large Language Models via Progressive Consistency Distillation

arXiv에 게시된 'Efficient Multi-modal Large Language Models via Progressive Consistency Distillation' 논문에 대한 자세한 리뷰입니다.

2025년 10월 6일

[논문리뷰] ACON: Optimizing Context Compression for Long-horizon LLM Agents

arXiv에 게시된 'ACON: Optimizing Context Compression for Long-horizon LLM Agents' 논문에 대한 자세한 리뷰입니다.

2025년 10월 2일

[논문리뷰] Interactive Recommendation Agent with Active User Commands

Xueyang Feng이 arXiv에 게시한 'Interactive Recommendation Agent with Active User Commands' 논문에 대한 자세한 리뷰입니다.

2025년 9월 26일

[논문리뷰] EmbeddingGemma: Powerful and Lightweight Text Representations

Marksherwood이 arXiv에 게시한 'EmbeddingGemma: Powerful and Lightweight Text Representations' 논문에 대한 자세한 리뷰입니다.

2025년 9월 25일

[논문리뷰] NVIDIA Nemotron Nano 2: An Accurate and Efficient Hybrid Mamba-Transformer Reasoning Model

abercovich이 arXiv에 게시한 'NVIDIA Nemotron Nano 2: An Accurate and Efficient Hybrid Mamba-Transformer Reasoning Model' 논문에 대한 자세한 리뷰입니다.

2025년 8월 21일

[논문리뷰] GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay

Yang Fan이 arXiv에 게시한 'GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay' 논문에 대한 자세한 리뷰입니다.

2025년 8월 13일

[논문리뷰] Beyond Linear Bottlenecks: Spline-Based Knowledge Distillation for Culturally Diverse Art Style Classification

Abdelmalik Taleb-Ahmed이 arXiv에 게시한 'Beyond Linear Bottlenecks: Spline-Based Knowledge Distillation for Culturally Diverse Art Style Classification' 논문에 대한 자세한 리뷰입니다.

2025년 8월 3일