[논문리뷰] Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs본 논문은 구조적 압축과 4-bit 양자화가 순차적으로 적용된 대규모 언어 모델(LLM)에서 발생하는 성능 저하 문제를 해결하고자 합니다. 기존의 QAT 방식은 학습 과정에서 수렴이 느리고, 최적 지점을 지나치게 되면 모델 성능이 급격히 붕괴하는 불안정성을 보입니다.#Review#Large Language Models#Model Compression#Quantization-Aware Training#Knowledge Distillation#MXFP4#Model Healing2026년 8월 24일댓글 수 로딩 중
[논문리뷰] Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress본 논문은 기존의 OPD가 교사 모델과의 토큰 수준 일치만을 중요시하여, 실제 추론 성능 향상과는 배치되는 오해의 소지가 있는 지도 신호를 제공할 수 있다는 문제를 제기합니다.#Review#On-Policy Distillation#Reasoning Progress#Process Reward#Reward Filtering#Language Models#Knowledge Distillation2026년 8월 24일댓글 수 로딩 중
[논문리뷰] EviRank: Structured Relevance Evidence for Multimodal Image Re-ranking본 논문은 기존 멀티모달 re-ranker들이 쿼리의 복합적이고 세밀한 의미론적 제약 조건을 충분히 처리하지 못하는 문제를 해결하고자 합니다.#Review#Multimodal Retrieval#Image Re-ranking#Evidence-Conditioned Verification#Semantic Constraint Satisfaction#Knowledge Distillation#Chain-of-Thought2026년 8월 23일댓글 수 로딩 중
[논문리뷰] Self-Supervised Visual On-Policy Distillation본 논문은 기존의 On-Policy Distillation이 의존하던 외부의 privileged information(예: 정답, 지역 정보 등) 없이도 어떻게 효과적인 학습 신호를 구축할 수 있는지에 대한 근본적인 의문을 제기합니다.#Review#On-Policy Distillation#Self-Supervised Learning#Visual Augmentation#Teacher-Student Asymmetry#Vision-Language Models#Knowledge Distillation2026년 8월 16일댓글 수 로딩 중
[논문리뷰] SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation본 논문은 기존 OPD가 교사 모델의 불확실한 토큰에 대해 Reverse-KL 손실 함수를 사용함으로써, 교사가 제시하는 다양한 합리적 대안들을 충분히 포괄하지 못하는 문제(mode-seeking behavior)를 해결하고자 합니다.#Review#On-Policy Distillation#Language Model#Uncertainty-Aware#Sparse Probing#Outcome Calibration#Reasoning Benchmarks#Knowledge Distillation2026년 8월 10일댓글 수 로딩 중
[논문리뷰] Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory본 논문은 기존의 메모리 기반 에이전트 시스템이 대규모 모델에서는 성공적이었으나, 상대적으로 추론 및 지시 이행 능력이 낮은 소규모 모델에서는 성능 개선이 미미하다는 한계를 해결하고자 합니다.#Review#Agent Memory Distillation#Small LLM Agents#Hierarchical Memory#Tool-use#Knowledge Distillation#Proactive/Reactive Injection2026년 8월 10일댓글 수 로딩 중
[논문리뷰] Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss본 연구는 자원 제약이 심한 환경에서 대규모 언어 모델(LLM)을 배포하기 위한 효율적인 지식 증류(Knowledge Distillation) 파이프라인 구축을 목표로 합니다.#Review#Knowledge Distillation#Offline Distillation#Fused Chunked KL Loss#Long-context Healing#LLM Compression#Sparse Top-K Logits2026년 8월 9일댓글 수 로딩 중
[논문리뷰] SKILL-KD: Contrastive Skill Distillation for LLM Agents기존의 LLM 에이전트 기술 습득 방식은 모델 자체의 경험이나 교사의 성공적인 Trajectory를 단순히 요약하는 수준에 머물러 있어, 학생 모델이 요구하는 구체적인 Procedural 전략을 내재화하기 어렵다는 한계가 있습니다. .#Review#LLM Agents#Knowledge Distillation#Skill Acquisition#Contrastive Learning#Adaptive Distillation#Drift-Aware Consolidation2026년 8월 5일댓글 수 로딩 중
[논문리뷰] Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher GuidanceLLM의 추론 능력 향상을 위한 RLVR(Reinforcement Learning with Verifiable Rewards) 방법 중 GRPO (Group Relative Policy Optimization)는 단순하고 안정적이지만, 희소한 보상 신호(sparse reward signals)와 Negative Zero-Variance Prompts에서 그래디언트 소실(vanishing gradients) 문제를 겪습니다.#Review#Reinforcement Learning#On-Policy Distillation#Large Language Models#GRPO#Knowledge Distillation#Adaptive Teacher Guidance#Zero-Variance Prompts#Supervised Fine-Tuning2026년 8월 5일댓글 수 로딩 중
[논문리뷰] Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging본 논문은 이질적인 모델 패밀리 간의 on-policy distillation이 불가능하다는 문제점을 해결합니다. 기존의 distillation 방식은 Teacher와 Student가 VAE 잠재 공간, 아키텍처, 그리고 noise schedule을 공유해야 한다는 동질성(Homogeneity) 가정을 전제로 합니다 .#Review#On-policy Distillation#Flow-matching#Heterogeneous#Representation-space Bridging#Latent Generators#Knowledge Distillation#DINOv22026년 8월 4일댓글 수 로딩 중
[논문리뷰] AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition본 논문은 실시간 On-device Speech Emotion Recognition(SER)을 위한 효율적인 경량화 모델 학습의 어려움을 해결하고자 합니다. 기존의 대규모 SSL 모델은 성능은 우수하지만 파라미터 규모가 커서 엣지 디바이스에 배포하기에는 실용적이지 않습니다.#Review#Speech Emotion Recognition#Knowledge Distillation#Multi-Teacher#Relational Distillation#Edge Computing#Adaptive Weighting2026년 7월 30일댓글 수 로딩 중
[논문리뷰] CADENCE: Closing the Reasoning Gap via Coverage-Adaptive On-Policy Distillation본 논문은 소형 모델(Student)이 대형 모델(Teacher)의 복잡한 추론 능력을 전수받는 과정에서 발생하는 세 가지 고질적인 실패 모드(Failure Modes)를 해결하고자 합니다.#Review#Knowledge Distillation#On-Policy Learning#Reasoning Gap#Coverage-Adaptive Scheduling#Per-Token Surrogate#Reward Sparsity#LLM Compression2026년 7월 29일댓글 수 로딩 중
[논문리뷰] Pass the Baton: Trajectory-Relayed On-Policy Distillation본 논문은 OPD 과정에서 발생하는 Prefix Failure 문제를 해결하기 위해 고안되었습니다.#Review#On-Policy Distillation#Prefix Failure#Speculative Decoding#Mathematical Reasoning#Knowledge Distillation#Language Model Post-training2026년 7월 28일댓글 수 로딩 중
[논문리뷰] From Proprietary to Open-Source: Bridging the Distribution Gap via Multi-Agent Protocol Distillation in Agentic Search본 논문은 Agentic Search 최적화 시 발생하는 Sparse Supervision 문제와 Proprietary-to-Open-Source 지식 증류의 제약사항을 해결하는 것을 목표로 합니다.#Review#Agentic Search#Knowledge Distillation#Multi-Agent System#Reinforcement Learning#JSON Protocol#Policy Alignment#Large Language Models2026년 7월 27일댓글 수 로딩 중
[논문리뷰] LAMAR: An Open Language-Aware Multilingual Alignment Reranker본 논문은 기존의 다국어 Reranker들이 Semantic Relevance만을 주로 고려하여 학습되어, 쿼리 언어와 일치하는 문서(same-language documents)를 일관되게 우선순위로 두지 못하는 문제를 해결하고자 한다.#Review#Multilingual Reranker#Language Coherence#Semantic Relevance#Retrieval-Augmented Generation (RAG)#Cross-Encoder#Knowledge Distillation#Preference Alignment2026년 7월 26일댓글 수 로딩 중
[논문리뷰] Visual Contrastive Self-Distillation기존의 OPSD는 Teacher와 Student 간의 정보 비대칭성(Asymmetry)을 확보하기 위해 privileged answer, Reasoning trace, 또는 시각적 증거(Visual evidence)와 같은 추가적인 외부 정보에 의존해왔습니다.#Review#On-policy Self-distillation#Vision-Language Models#Visual Grounding#Contrastive Decoding#Knowledge Distillation#Input Conditioning2026년 7월 23일댓글 수 로딩 중
[논문리뷰] Sample-Efficient Learning from Agent Experience본 연구는 실제 환경과의 상호작용이 매우 비용이 많이 드는 상황에서 에이전트가 경험으로부터 효율적으로 학습하지 못하는 문제를 해결하고자 한다. ICL은 샘플 효율적인 학습을 제공하지만, 문맥이 제거되면 학습된 지식이 유지되지 않는 휘발성을 가진다.#Review#Experience Distillation#In-context Learning#Sample Efficiency#Agent Learning#Knowledge Distillation#Interactive Agent Tasks2026년 7월 23일댓글 수 로딩 중
[논문리뷰] Multi-Turn On-Policy Distillation with Prefix Replay본 논문은 에이전트 기반 학습(Agentic Tasks)에서 Multi-Turn On-Policy Distillation (OPD)이 겪는 높은 비용과 효율성 문제를 해결하고자 합니다. 기존 OPD는 매 업데이트마다 학생 모델이 환경과 상호작용하고 교사 모델을 조회해야 하므로, 환경 배포 및 추론 비용이 매우 높습니다 .#Review#On-Policy Distillation#Knowledge Distillation#Multi-Turn#Agentic Tasks#Prefix Replay#Distribution Shift2026년 7월 23일댓글 수 로딩 중
[논문리뷰] Distilled Reinforcement Learning for LLM Post-training본 논문은 기존 RL과 OPD가 가진 한계를 해결하기 위해 Distilled RL을 제안합니다. RL은 결과 중심의 coarse-grained 보상을 사용하여 credit assignment 문제를 겪으며 새로운 지식 습득에 한계가 있습니다.#Review#LLM Post-training#Reinforcement Learning#Knowledge Distillation#On-Policy Distillation#Credit Assignment#Policy Gradient#Cross-family Distillation2026년 7월 20일댓글 수 로딩 중
[논문리뷰] On-Policy Delta Distillation본 논문은 기존의 On-Policy Distillation (OPD) 방식이 교사 모델의 전체 출력 분포를 모방하는 데 그쳐, 추론 능력 향상에 필수적인 핵심 학습 궤적을 충분히 전달하지 못한다는 문제를 제기합니다 .#Review#Knowledge Distillation#On-Policy Distillation#Reasoning Capability#Delta Signal#LLM Post-training#Reinforcement Learning2026년 7월 19일댓글 수 로딩 중
[논문리뷰] From SRA to Self-Flow: Data Augmentation or Self-Supervision?본 연구는 SRA 기법이 단순한 데이터 증강(Data Augmentation) 메커니즘인지, 혹은 더 근본적인 자기 지도 학습(Self-Supervision)의 형태인지를 규명하는 것을 핵심 문제로 삼습니다.#Review#SRA#Self-Flow#Data Augmentation#Self-Supervision#Representation Learning#Knowledge Distillation2026년 7월 2일댓글 수 로딩 중
[논문리뷰] ZooClaw-FashionSigLIP2: Distilled Fine-tuning for Robust Fashion Retrieval본 논문은 패션 도메인 특화 미세 조정(fine-tuning) 과정에서 발생하는 Domain-specific Specialization과 OOD Generalization 간의 근본적인 Tradeoff 문제를 해결하는 데 집중합니다.#Review#Vision-Language Encoder#Fashion Retrieval#Knowledge Distillation#WiSE-FT#Contrastive Learning#OOD Generalization#Model Soups2026년 6월 29일댓글 수 로딩 중
[논문리뷰] ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation본 논문은 표준 OPD 및 OPSD가 모든 SGO를 균등하게 취급하여 효율적인 학습 기회를 놓치고 있다는 점을 문제로 지적합니다.#Review#On-Policy Distillation#Language Model Post-training#Sample Reweighting#Negative Trajectory#Reasoning#Knowledge Distillation#Prefix-based Training2026년 6월 24일댓글 수 로딩 중
[논문리뷰] Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation본 논문은 하이브리드 모델로의 전환 시 발생하는 부적절한 재귀적 파라미터 초기화 문제를 해결하고자 합니다. 기존 연구들은 Transformer의 가중치를 복사하는 데 집중하지만, 새롭게 도입되는 GDN의 동역학(decay, gate 등)을 고려하지 않아 초기 모델이 최적화되지 않은 상태에서 학습을 시작하게 됩니다 .#Review#Hybrid Linear Attention#Gated DeltaNet#Model Distillation#Initialization#Softmax Attention#Knowledge Distillation#Recurrent Dynamics2026년 6월 18일댓글 수 로딩 중
[논문리뷰] Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance본 논문은 10B-level industrial foundation model이 제공하는 고품질의 image inpainting 성능을 유지하면서도, 실제 배포가 불가능할 정도로 높은 연산 비용과 메모리 요구량을 해결하고자 합니다.#Review#Image Inpainting#Diffusion Models#Knowledge Distillation#Model Compression#Latent Space Optimization#Lightweight Architecture#LλMI Block2026년 6월 18일댓글 수 로딩 중
[논문리뷰] Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients본 논문은 소형 모델(Small-scale Student)의 지식 전달(Knowledge Transfer) 시 발생하는 일반화 성능 저하 및 강화학습의 비효율성 문제를 해결하고자 합니다.#Review#ZPPO#Reinforcement Learning#Knowledge Distillation#Prompt Engineering#VLM#LLM#Policy Gradient#Zone of Proximal Development2026년 6월 16일댓글 수 로딩 중
[논문리뷰] SG-OPD: Sign-Gated On-Policy Distillation via Sign-Consistency Gating and Phased Teacher Sampling본 연구는 기존의 Off-policy Distillation이 지닌 데이터 고립성 문제와 Teacher-Student 간의 Distribution Mismatch를 해결하는 데 초점을 맞춥니다.#Review#Knowledge Distillation#On-Policy Learning#Sign-Consistency#Phased Teacher Sampling#Large Language Models#Model Alignment2026년 6월 11일댓글 수 로딩 중
[논문리뷰] High-Fidelity Two-Step Image Generation via Teacher-Aligned End-to-End Distillation본 연구는 고품질 이미지 생성 모델의 Inference Latency 문제와 다단계 생성 과정에서의 정보 손실을 해결하는 것을 목표로 합니다.#Review#Image Generation#Knowledge Distillation#Diffusion Models#Model Compression#Latent Diffusion#Efficiency2026년 6월 11일댓글 수 로딩 중
[논문리뷰] A Stationary (and Therefore Compatible) Representation is All You Need본 논문은 급변하는 모델 생태계에서 개별 모델의 Representation이 변화함에 따라 발생하는 Compatibility 단절 문제를 해결하고자 합니다.#Review#Stationary Representation#Model Compatibility#Representation Learning#Knowledge Distillation#Feature Alignment2026년 6월 11일댓글 수 로딩 중
[논문리뷰] The Role of Feedback Alignment in Self-Distillation본 연구는 신경망 훈련 시 대규모 연산 자원이 필요한 Backpropagation의 의존성을 줄이고, Self-Distillation 과정에서의 효율성을 극대화하기 위해 수행되었다.#Review#Self-Distillation#Feedback Alignment#Backpropagation#Knowledge Distillation#Deep Learning2026년 6월 9일댓글 수 로딩 중
[논문리뷰] Pruning and Distilling Mixture-of-Experts into Dense Language Models본 연구는 MoE 모델의 높은 메모리 요구량으로 인해 발생하는 배포 제약 문제를 해결하기 위해, 전문가 기반 구조를 효율적인 Dense 모델로 변환하는 체계적인 프레임워크를 제안한다.#Review#Mixture-of-Experts#Knowledge Distillation#Model Pruning#D-Optimal Selection#Dense Language Models#Expert Scoring#Submodularity2026년 6월 8일댓글 수 로딩 중
[논문리뷰] Compress-Distill: Reasoning Trace Compression for Efficient Knowledge Distillation본 논문은 최신 Reasoning 모델들이 생성하는 긴 Chain-of-Thought 추론 과정이 Distillation 시 비용을 크게 증가시키고, Student 모델이 지나치게 장황한 답변을 생성하도록 유도한다는 점에 주목합니다.#Review#Knowledge Distillation#Chain-of-Thought#Reasoning Trace#Model Compression#Supervised Fine-tuning#Inference Efficiency#Large Language Models2026년 6월 7일댓글 수 로딩 중
[논문리뷰] OPRD: On-Policy Representation Distillation본 논문은 Large Language Models (LLMs)의 Post-training에 필수적인 On-Policy Distillation (OPD) 방식의 본질적인 두 가지 한계점을 지적하며, 이를 해결하기 위한 새로운 접근 방식인 OPRD (On-Policy Representation Distillation)를 제안합니다.#Review#On-Policy Distillation#Representation Distillation#Large Language Models#Knowledge Distillation#Hidden States#Mathematical Reasoning#Variance Reduction2026년 6월 4일댓글 수 로딩 중
[논문리뷰] Filter, Then Reweight: Rethinking Optimization Granularity in On-Policy Distillation본 논문은 기존 OPD가 가진 불균일한 학습 가치 문제를 해결하기 위해 최적화 Granularity를 재설계하고자 합니다. 기존 연구들은 단순히 전체 trajectory를 사용하거나, 개별 토큰을 선별하는 Hard selection 방식에 의존하여 정보 손실과 최적화의 불안정성을 초래했습니다 .#Review#On-Policy Distillation#Knowledge Distillation#Optimization Granularity#Trajectory Filtering#Token Reweighting#Large Language Models2026년 6월 3일댓글 수 로딩 중
[논문리뷰] Trust Region On-Policy Distillation본 논문은 Small Reasoning Models (SRM)을 위한 On-Policy Distillation (OPD)의 학습 불안정성과 비효율성 문제를 해결하고자 합니다.#Review#On-Policy Distillation#Reasoning Models#Trust Region#Policy Gradient#Knowledge Distillation#Language Models2026년 6월 2일댓글 수 로딩 중
[논문리뷰] StreamChar: Long-Horizon Streaming Character Audio-Video Generation with Decoupled Orchestration본 논문은 실시간 streaming 환경에서 긴 호흡의(long-horizon) 캐릭터 오디오-비디오를 생성할 때 발생하는 transcript-audio 불일치와 시각적 품질 저하 문제를 해결합니다 .#Review#Streaming#Character Animation#Audio-Video Generation#Decoupled Orchestration#Diffusion Transformer#Knowledge Distillation#Long-Horizon Coherence2026년 6월 1일댓글 수 로딩 중
[논문리뷰] Trust-Region Behavior Blending for On-Policy Distillation본 논문은 OPD 초기 단계에서 발생하는 학습 불안정성과 낮은 품질의 데이터 생성 문제를 해결하고자 합니다. 기존 OPD는 학생 모델이 학습 초기에 낮은 품질의 trajectory를 생성하면, 교사 모델의 지도(supervision)가 비효율적인 영역에 집중되는 한계가 있습니다 .#Review#On-policy Distillation#Trust Region#Knowledge Distillation#Language Model Alignment#Annealed Warmup#Behavior Policy2026년 5월 31일댓글 수 로딩 중
[논문리뷰] Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation본 논문은 기존의 Selective OPD 기법들이 단순히 토큰의 불확실성(Entropy)이나 교사-학생 간의 불일치(Divergence)만을 토큰 선택 기준으로 삼는 한계를 해결하고자 합니다.#Review#On-policy Distillation#Knowledge Distillation#Token Teachability#Selective OPD#Teacher-Student Compatibility2026년 5월 31일댓글 수 로딩 중
[논문리뷰] COLLEAGUE.SKILL: Automated AI Skill Generation via Expert Knowledge Distillation본 논문은 LLM agent가 단순히 단일 명령을 수행하는 수준을 넘어, 특정 전문가의 판단력과 행동 양식을 신뢰성 있게 재현해야 하는 요구를 해결하고자 합니다. 기존 시스템은 개인의 전문 지식을 파편화된 기억(Memory)이나 불투명한 프롬프트로 저장하여 관리와 수정이 어렵다는 한계가 있습니다 .#Review#LLM Agents#Knowledge Distillation#Person-Grounded Skill#Artifact Engineering#Trace-to-Skill#Skill Package2026년 5월 31일댓글 수 로딩 중
[논문리뷰] Less is More: Early Stopping Rollout for On-Policy Distillation본 논문은 기존 OPD 방식에서 발생하는 Off-policy Teacher Decay 문제를 해결하기 위해 제안되었습니다 .#Review#On-policy Distillation#Knowledge Distillation#Language Models#Early Stopping Rollout#Off-policy Teacher Decay#Cascading Alignment#Sub-mode Commitment2026년 5월 27일댓글 수 로딩 중
[논문리뷰] ETCHR: Editing To Clarify and Harness ReasoningETCHR은 LLM의 CoT 생성 과정에 존재하는 논리적 결함과 불필요한 노이즈가 최종 성능을 저하시키는 문제를 해결하기 위해 고안되었습니다. 기존 LLM은 긴 Reasoning Path를 생성할 때 고수준의 논리적 일관성을 유지하는 데 한계를 보이며, 이는 결과적으로 정답률 감소로 이어집니다.#Review#Chain-of-Thought#Reasoning#Model Editing#Inference Optimization#LLM#Knowledge Distillation#Interpretability2026년 5월 24일댓글 수 로딩 중
[논문리뷰] Lite3R: A Model-Agnostic Framework for Efficient Feed-Forward 3D Reconstruction본 논문은 현대의 Transformer 기반 3D reconstruction 파이프라인이 겪는 연산 효율성 및 저정밀도 실행 시의 불안정성 문제를 해결하고자 합니다.#Review#3D Reconstruction#Transformer#Sparse Linear Attention#FP8-aware QAT#Model-Agnostic#Knowledge Distillation#Algorithm-System Co-design2026년 5월 12일댓글 수 로딩 중
[논문리뷰] Trees to Flows and Back: Unifying Decision Trees and Diffusion Models본 연구는 고전적인 데이터 분석 모델인 결정 트리와 현대의 생성 모델인 diffusion model이 각각 수행하는 계층적 정보 정제 과정 사이의 근본적인 수학적 연결고리를 규명하고자 합니다.#Review#Decision Trees#Diffusion Models#Global Trajectory Score Matching (GTSM)#Probability Flow ODE#Tabular Data#Knowledge Distillation#Flow Matching2026년 5월 3일댓글 수 로딩 중
[논문리뷰] Hybrid Policy Distillation for LLMs본 연구는 LLM 압축 과정에서 발생하는 divergence direction, optimization strategy, data regime 간의 복잡한 상호작용 문제를 해결하고자 합니다.#Review#Knowledge Distillation#Large Language Models#Forward-Reverse KL#Policy Distillation#Logit-level Reweighting#On-policy Sampling2026년 4월 23일댓글 수 로딩 중
[논문리뷰] Cross-Tokenizer LLM Distillation through a Byte-Level Interface본 논문은 LLM의 핵심적인 제약 사항인 Tokenizer 불일치 문제를 해결하기 위한 범용적인 Cross-Tokenizer Distillation (CTD) 기법을 제안합니다.#Review#Cross-Tokenizer Distillation#Byte-Level Interface#Knowledge Distillation#LLM#Vocabulary Mismatch2026년 4월 16일댓글 수 로딩 중
[논문리뷰] Structured Distillation of Web Agent Capabilities Enables Generalization본 논문은 최신 Frontier LLM이 보유한 웹 에이전트 능력을 로컬에 배포 가능한 소형 모델로 효율적으로 이전(Distillation)하는 것을 목적으로 합니다. 기존 연구들은 다양한 데이터 생성 파이프라인을 제시했지만, 이를 체계적으로 비교할 수 있는 표준화된 프레임워크가 부족했습니다.#Review#Web Agent#Knowledge Distillation#Synthetic Data#Trajectory Synthesis#Agent-as-Annotators#Supervised Fine-Tuning#Generalization2026년 4월 9일댓글 수 로딩 중
[논문리뷰] Beyond Hard Negatives: The Importance of Score Distribution in Knowledge Distillation for Dense Retrieval본 논문은 teacher 모델의 score 분포를 균등하게 유지하는 Stratified Sampling을 제안합니다. 이 방법은 전체 score 범위 내에서 사전에 정의된 quantile anchors에 가장 근접한 문서들을 선택하여 학습 데이터를 구성함으로써, 특정 점수대에 편향되지 않은 포괄적인 데이터 표본을 확보합니다 .#Review#Knowledge Distillation#Dense Retrieval#Stratified Sampling#Score Distribution#Information Retrieval#Generalization2026년 4월 8일댓글 수 로딩 중
[논문리뷰] LinguDistill: Recovering Linguistic Ability in Vision- Language Models via Selective Cross-Modal Distillation본 논문은 사전 학습된 LM 을 VLM 으로 적응(adaptation)시키는 과정에서 발생하는 고유한 언어 능력의 퇴보 문제를 해결하고자 합니다.#Review#Vision-Language Models#Knowledge Distillation#Linguistic Ability#KV-cache Sharing#Multimodal Adaptation#Catastrophic Forgetting2026년 4월 2일댓글 수 로딩 중
[논문리뷰] A Survey of On-Policy Distillation for Large Language Models본 논문은 기존의 off-policy LLM 증류(distillation) 방식이 가진 근본적인 train-test mismatch와 그로 인한 exposure bias 문제를 해결하고자 합니다.#Review#On-Policy Distillation#Large Language Models#Knowledge Distillation#Exposure Bias#f-Divergence#Sequence-Level Learning#Reinforcement Learning2026년 4월 1일댓글 수 로딩 중
[논문리뷰] F2LLM-v2: Inclusive, Performant, and Efficient Embeddings for a Multilingual World최근 Encoder-based 아키텍처에서 Decoder-based LLM embeddings로의 전환은 성능 향상을 가져왔지만, 현재 연구는 두 가지 주요 한계를 가지고 있습니다.#Review#Multilingual Embedding#LLM#Matryoshka Representation Learning#Knowledge Distillation#Model Pruning#MTEB Benchmark#Low-resource Languages#Open-source2026년 3월 19일댓글 수 로딩 중
[논문리뷰] LLM2Vec-Gen: Generative Embeddings from Large Language Models기존 입력 중심의 텍스트 임베딩 방식은 다양한 입력이 유사한 출력으로 매핑되어야 하는 '입력-출력 격차' 문제와 LLM의 안전성 및 추론 능력 전이의 한계를 가집니다.#Review#Large Language Models#Text Embeddings#Generative AI#Self-Supervised Learning#Knowledge Distillation#Semantic Search#Retrieval-Augmented Generation2026년 3월 11일댓글 수 로딩 중
[논문리뷰] On-Policy Self-Distillation for Reasoning Compression본 논문은 대규모 언어 모델(LLM)이 추론 과정에서 생성하는 불필요하고 과도한 토큰으로 인한 비효율성 및 오류 누적 문제 를 해결하고자 합니다. 정답 데이터나 토큰 예산 같은 외부 제약 없이 모델 스스로 간결하게 추론하도록 학습시켜, 추론 과정의 압축과 동시에 정확도를 향상시키는 방법론을 제안합니다.#Review#Reasoning Compression#Self-Distillation#On-Policy Learning#Large Language Models#Mathematical Reasoning#Knowledge Distillation#Efficient Inference2026년 3월 5일댓글 수 로딩 중
[논문리뷰] LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval본 논문은 강력한 추론 능력을 가진 LLM 기반 dense retriever 가 복잡한 쿼리에 대해 높은 지연 시간 없이 추론 능력을 활용하지 못하는 문제를 해결하고자 합니다.#Review#Dense Retrieval#LLMs#Reasoning#Knowledge Distillation#Latent Space#Self-Distillation#Chain-of-Thought2026년 3월 2일댓글 수 로딩 중
[논문리뷰] Optimizing Few-Step Generation with Adaptive Matching Distillation본 논문은 Distribution Matching Distillation (DMD) 과정에서 발생하는 'Forbidden Zones'으로 인한 불안정성과 성능 저하 문제를 해결하는 것을 목표로 합니다.#Review#Diffusion Models#Knowledge Distillation#Few-Step Generation#Adaptive Matching#Forbidden Zones#Generative Models#Sample Quality#Training Stability2026년 2월 18일댓글 수 로딩 중
[논문리뷰] Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception논문은 멀티모달 대규모 언어 모델(MLLMs)이 미세한 시각 정보를 인식하는 데 겪는 어려움, 즉 전역적 컨텍스트에 의해 중요한 세부 정보가 가려지는 문제를 해결하고자 합니다.#Review#Multimodal Perception#Fine-Grained Analysis#Knowledge Distillation#Region-to-Image#MLLMs#ZoomBench#Reinforcement Learning2026년 2월 15일댓글 수 로딩 중
[논문리뷰] Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation본 논문은 온-폴리시 증류(OPD)의 기계론적 이해 부족 과 잠재력 미활용 문제를 해결하는 것을 목표로 합니다. 표준 OPD를 일반화된 프레임워크로 확장하여 학생 모델이 교사 모델의 성능 경계를 넘어설 수 있도록 하고, 보상 스케일링 인자(λ)와 유연한 참조 모델의 영향을 체계적으로 탐구합니다.#Review#On-Policy Distillation#Reward Extrapolation#Large Language Models (LLMs)#Knowledge Distillation#Reinforcement Learning#Math Reasoning#Code Generation#Multi-teacher Distillation2026년 2월 12일댓글 수 로딩 중
[논문리뷰] Weak-Driven Learning: How Weak Agents make Strong Agents Stronger이 논문은 대규모 언어 모델(LLM)의 후처리 최적화 과정에서 발생하는 성능 포화 병목 현상 을 해결하는 것을 목표로 합니다.#Review#Weak-Driven Learning#LLM Optimization#Post-training#Gradient Amplification#Curriculum Learning#Knowledge Distillation#Mathematical Reasoning#Code Generation2026년 2월 9일댓글 수 로딩 중
[논문리뷰] Reinforced Attention Learning본 논문은 기존 RL 기반 LLM 후처리 방식이 MLLM에서 시각적 추론을 위한 '생성할 내용'에만 초점을 맞추어 제한적인 성능 향상을 보이거나 심지어 성능을 저하시키는 문제를 해결하고자 합니다.#Review#Reinforcement Learning#Multimodal LLMs#Attention Mechanisms#Policy Gradient#Knowledge Distillation#Visual Grounding#Post-training2026년 2월 5일댓글 수 로딩 중
[논문리뷰] Shallow-π: Knowledge Distillation for Flow-based VLAs본 논문은 대규모 Vision-Language-Action (VLA) 모델 의 높은 연산 비용으로 인해 엣지 디바이스에서의 실시간 배포가 어려운 문제를 해결하고자 합니다.#Review#Knowledge Distillation#Flow-based VLA#Transformer Compression#Real-time Robotics#Edge AI#Vision-Language-Action Models#Inference Efficiency2026년 1월 28일댓글 수 로딩 중
[논문리뷰] Render-of-Thought: Rendering Textual Chain-of-Thought as Images for Visual Latent Reasoning본 논문은 Chain-of-Thought (CoT) 프롬프팅의 지나친 장황함으로 인한 높은 연산 오버헤드 와 중간 추론 과정의 불투명성 문제를 해결하고자 합니다.#Review#Chain-of-Thought (CoT)#Large Language Models (LLMs)#Vision Language Models (VLMs)#Latent Reasoning#Visual Modality#Image Rendering#Computational Efficiency#Knowledge Distillation2026년 1월 21일댓글 수 로딩 중
[논문리뷰] EvasionBench: Detecting Evasive Answers in Financial Q&A via Multi-Model Consensus and LLM-as-Judge본 논문은 금융 Q&A에서 회피성 답변(evasive answers) 을 탐지하는 데 필요한 대규모 고품질 벤치마크 부재 와 모호한 경계 사례에 대한 일관성 없는 레이블링 문제를 해결하고자 합니다. 특히 부분적으로 응답하는 답변과 완전한 회피성 답변 사이의 미묘한 경계에 대한 양질의 감독 데이터 확보를 목표로 합니다.#Review#Evasion Detection#Financial NLP#Large Language Models (LLMs)#Multi-Model Consensus#LLM-as-Judge#Data Annotation#Knowledge Distillation#Hard Sample Mining2026년 1월 15일댓글 수 로딩 중
[논문리뷰] Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning본 논문은 교사 모델이 생성한 응답에 대한 SFT(Supervised Fine-Tuning) 기반 시퀀스 레벨 증류 패러다임의 세 가지 주요 한계점(교사 분포 표현 부족, 교사-학생 모델 학습 능력 불일치, exposure bias)을 해결하고자 합니다.#Review#Knowledge Distillation#Sequence-level Distillation#Chain-of-Thought Reasoning (CoT)#Large Language Models (LLMs)#Temperature-scheduled Learning#Divergence-aware Sampling#Mixed-policy Distillation#Open-source Models2026년 1월 14일댓글 수 로딩 중
[논문리뷰] SnapGen++: Unleashing Diffusion Transformers for Efficient High-Fidelity Image Generation on Edge DevicesDiffusion Transformer (DiT) 모델은 최첨단 이미지 생성 품질을 제공하지만, 높은 계산 및 메모리 비용으로 인해 엣지 디바이스 에서의 배포가 비실용적인 문제를 해결하는 것이 목표입니다.#Review#Diffusion Transformers#Edge AI#Efficient Image Generation#Sparse Attention#Elastic Training#Knowledge Distillation#Mobile AI#High-Fidelity2026년 1월 13일댓글 수 로딩 중
[논문리뷰] Qwen3-VL-Embedding and Qwen3-VL-Reranker: A Unified Framework for State-of-the-Art Multimodal Retrieval and Ranking본 논문은 텍스트, 이미지, 문서 이미지, 비디오 등 다양한 양식의 데이터를 통합 하여 고정밀 멀티모달 검색을 수행하는 Qwen3-VL-Embedding 및 Qwen3-VL-Reranker 모델 시리즈를 소개합니다.#Review#Multimodal Retrieval#Multimodal Ranking#Foundation Models#Embedding Models#Reranking Models#Contrastive Learning#Knowledge Distillation#Matryoshka Representation Learning#Quantization-Aware Training2026년 1월 11일댓글 수 로딩 중
[논문리뷰] Enhancing Object Detection with Privileged Information: A Model-Agnostic Teacher-Student Approach본 논문은 객체 탐지 성능을 향상시키기 위해 훈련 시에만 접근 가능한 특권 정보(Privileged Information, PI) 를 활용하는 LUPI(Learning Under Privileged Information) 패러다임을 통합하는 것을 목표로 합니다.#Review#Object Detection#Privileged Information#Teacher-Student Learning#Knowledge Distillation#Model-Agnostic#Bounding Box Masks#UAV-based Detection2026년 1월 8일댓글 수 로딩 중
[논문리뷰] GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training멀티턴 강화 학습(RL) 기반 VLM(Vision-Language Model) 에이전트 훈련 의 주요 문제점인 희소한 보상, 긴 신용 할당 문제, 그리고 GTR(Guided Thought Reinforcement) 과 같은 기존 방법론에서 외부 교사 모델 사용으로 인한 높은 비용과 접근성 한계를 해결하는 것을 목표로 합니다.#Review#Multi-turn Reinforcement Learning#Vision-Language Models (VLMs)#Agentic AI#Knowledge Distillation#Model Merging#PPO#Thought Guidance#Cost Efficiency2025년 12월 25일댓글 수 로딩 중
[논문리뷰] SpeContext: Enabling Efficient Long-context Reasoning with Speculative Context Sparsity in LLMs본 논문은 대규모 언어 모델(LLM)의 장문맥(long-context) 추론 시 발생하는 Key-Value (KV) 캐시 관련 문제를 해결하는 것을 목표로 합니다.#Review#LLMs#Long-context Reasoning#KV Cache Optimization#Speculative Sparsity#Knowledge Distillation#Adaptive Memory Management#Throughput2025년 12월 1일댓글 수 로딩 중
[논문리뷰] LFM2 Technical Report본 논문은 LFM2 라는 Liquid Foundation Models 제품군을 소개하며, 효율적인 온-디바이스 배포 와 강력한 태스크 수행 능력 을 동시에 달성하는 것을 목표로 합니다.#Review#Edge AI#Foundation Models#Hybrid Architecture#Knowledge Distillation#Multimodal AI#On-device Deployment#Efficient Inference#LLM Optimization2025년 12월 1일댓글 수 로딩 중
[논문리뷰] DualVLA: Building a Generalizable Embodied Agent via Partial Decoupling of Reasoning and Action본 논문은 Vision-Language-Action (VLA) 모델에서 발생하는 '액션 퇴화(action degeneration)' 문제를 해결하는 것을 목표로 합니다.#Review#Vision-Language-Action (VLA)#Embodied AI#Action Degeneration#Data Pruning#Knowledge Distillation#Multi-modal Reasoning#Robot Learning#VLA Score2025년 11월 30일댓글 수 로딩 중
[논문리뷰] Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs다양한 규모와 배포 목적에 맞는 LLM(Large Language Model) 패밀리 를 개별적으로 훈련하는 데 드는 막대한 비용 문제를 해결하고자 합니다.#Review#LLM Compression#Elastic Networks#Knowledge Distillation#Hybrid Mamba-Attention#Reasoning LLMs#Multi-Budget Training#Zero-Shot Deployment2025년 11월 20일댓글 수 로딩 중
[논문리뷰] FLEX: Continuous Agent Evolution via Forward Learning from Experience본 논문의 핵심 목표는 기존 LLM(Large Language Model) 에이전트의 고정된 특성, 경험 기반 학습의 부재, 파라미터 최적화의 높은 비용 및 카타스트로픽 망각 문제점을 해결하는 것입니다.#Review#LLM Agents#Continuous Learning#Experience Library#Forward Learning#Meta-MDP#Knowledge Distillation#Non-parametric Adaptation2025년 11월 10일댓글 수 로딩 중
[논문리뷰] SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens현재 암시적 CoT(implicit CoT) 방법론이 직면한 두 가지 핵심 문제, 즉 (1) 암시적 추론과 실제 추론 간의 의미적 정렬 부족 으로 인한 성능 저하와 (2) 개별 암시적 추론 토큰 생성에 필요한 높은 연산 비용 을 해결하는 것을 목표로 합니다.#Review#Chain-of-Thought (CoT)#Implicit Reasoning#LLMs#Semantic Alignment#Efficiency Optimization#Knowledge Distillation2025년 11월 9일댓글 수 로딩 중
[논문리뷰] PatenTEB: A Comprehensive Benchmark and Model Family for Patent Text Embedding본 논문은 기존 특허 텍스트 임베딩 벤치마크가 특허 고유의 복잡한 특징(긴 문서, 비대칭 매칭, 도메인 간 이해)을 충분히 반영하지 못하는 문제를 해결합니다.#Review#Patent Text Embedding#Benchmark#Multi-task Learning#Patent Retrieval#Sentence Embeddings#Knowledge Distillation#Cross-Domain Retrieval#Prompt Engineering2025년 10월 29일댓글 수 로딩 중
[논문리뷰] EchoDistill: Bidirectional Concept Distillation for One-Step Diffusion Personalization본 논문은 단일 스텝 확산 모델(1-SDP) 의 개념 학습 능력 한계를 해결하고, 기존 T2I 모델의 느린 추론 속도와 제한된 개념 포착 능력을 개선하는 것을 목표로 합니다.#Review#Diffusion Models#One-Step Generation#Model Personalization#Knowledge Distillation#Bidirectional Learning#Text-to-Image Generation#Concept Learning2025년 10월 28일댓글 수 로딩 중
[논문리뷰] AdaSPEC: Selective Knowledge Distillation for Efficient Speculative Decoders본 논문은 대규모 언어 모델(LLM) 추론 속도 향상을 위한 Speculative Decoding (SD) 과정에서 드래프트 모델과 타겟 모델 간의 불일치 문제를 해결하는 것을 목표로 합니다.#Review#Speculative Decoding#Knowledge Distillation#LLM Inference#Model Acceleration#Token Filtering#Draft Model#Acceptance Rate2025년 10월 24일댓글 수 로딩 중
[논문리뷰] ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder기존 CLIP 텍스트 인코더의 77토큰 길이 제한 , 영어 전용 지원, 미흡한 세분화된 의미 이해 능력이라는 한계를 해결하는 것이 목표입니다.#Review#Vision-Language Models#CLIP#LLM-based Embedder#Knowledge Distillation#Contrastive Learning#Curriculum Learning#Multimodal Alignment#Progressive Alignment2025년 10월 22일댓글 수 로딩 중
[논문리뷰] BitNet Distillation본 논문은 기존의 풀-정밀도 LLM (예: Qwen )을 특정 다운스트림 태스크를 위해 1.58비트 정밀도 (삼진 가중치: {-1, 0, 1}) 로 미세 조정하여, 최소한의 계산 비용으로 풀-정밀도 모델에 필적하는 성능을 달성하는 것을 목표로 합니다.#Review#Low-bit Quantization#LLM Compression#Knowledge Distillation#Ternary Weights#Inference Optimization#Memory Efficiency#SubLN#Continual Pre-training2025년 10월 17일댓글 수 로딩 중
[논문리뷰] FlashWorld: High-quality 3D Scene Generation within Seconds논문은 기존 3D 장면 생성 방법론의 한계인 긴 생성 시간(수분~수시간)과 시각적 품질 저하, 3D 일관성 부족 문제를 해결하고자 합니다. 단일 이미지 또는 텍스트 프롬프트로부터 수초 내에 고품질의 3D 장면을 생성 하여 이전 방식보다 10~100배 빠른 속도 와 우수한 렌더링 품질을 달성하는 것을 목표로 합니다.#Review#3D Scene Generation#Diffusion Models#Multi-View Synthesis#3D Gaussian Splatting#Knowledge Distillation#Real-time Generation#High-Quality Rendering#Cross-modal Training2025년 10월 16일댓글 수 로딩 중
[논문리뷰] LLM Reasoning for Machine Translation: Synthetic Data Generation over Thinking Tokens대규모 추론 모델(LRM)의 '사고 토큰' 생성이 기계 번역(MT) 성능에 미치는 영향을 탐구하고, 표준 CoT 증류 방식과 MT 특정 모듈식 프롬프트 전략을 비교하여 어떤 형태의 중간 정보가 MT에 유익한지 밝히는 것을 목표로 합니다.#Review#Large Language Models (LLMs)#Machine Translation (MT)#Chain-of-Thought (CoT)#Knowledge Distillation#Fine-tuning#Prompt Engineering#Synthetic Data2025년 10월 15일댓글 수 로딩 중
[논문리뷰] Information-Preserving Reformulation of Reasoning Traces for Antidistillation대규모 언어 모델(LLMs)의 추론 흔적(reasoning traces)이 복잡한 작업에서 성능을 향상시키지만, 무단 지식 증류(distillation)에 취약하다는 문제를 해결하고자 합니다.#Review#Antidistillation#Reasoning Traces#Large Language Models#Knowledge Distillation#Information Preservation#Trace Reformulation#Supervised Fine-Tuning2025년 10월 15일댓글 수 로딩 중
[논문리뷰] REPAIR: Robust Editing via Progressive Adaptive Intervention and Reintegration본 논문은 대규모 언어 모델(LLMs)의 사후 훈련 과정에서 발생하는 높은 비용, 의도치 않은 부작용, 순차적 편집의 불안정성 및 제한된 일반화 문제들을 해결하고자 합니다.#Review#Model Editing#Lifelong Learning#LLMs#Continual Learning#Knowledge Distillation#Error Feedback#Memory Management#Parameter Merging2025년 10월 6일댓글 수 로딩 중
[논문리뷰] Efficient Multi-modal Large Language Models via Progressive Consistency Distillation본 논문은 멀티모달 대규모 언어 모델(MLLMs)에서 시각 토큰이 소모하는 막대한 계산 자원으로 인한 효율성 저하 문제를 해결하고자 합니다. 특히, 시각 토큰 압축 과정에서 발생하는 학습 난이도 증가 와 특징 공간 교란 문제를 해결하여, 효율성을 높이면서도 성능 저하를 최소화하는 것을 목표로 합니다.#Review#Multi-modal LLMs#Token Compression#Efficiency#Knowledge Distillation#Progressive Learning#Consistency Distillation#MLLM Training2025년 10월 6일댓글 수 로딩 중
[논문리뷰] ACON: Optimizing Context Compression for Long-horizon LLM Agents본 논문은 장기(long-horizon) LLM 에이전트 태스크 에서 발생하는 컨텍스트 길이 증가 문제 를 해결하고자 합니다. 상호작용 기록 및 환경 관찰을 최적으로 압축하여, 추론 비용 과 메모리 사용량 을 줄이면서도 에이전트의 태스크 성능 을 유지하거나 향상시키는 통합 프레임워크를 제안하는 것을 목표로 합니다.#Review#LLM Agents#Context Compression#Long-horizon Tasks#Prompt Optimization#Knowledge Distillation#Memory Efficiency#Task Performance#Failure Analysis2025년 10월 2일댓글 수 로딩 중
[논문리뷰] Interactive Recommendation Agent with Active User Commands본 논문은 기존 추천 시스템의 수동적 피드백 메커니즘이 사용자의 미묘한 의도와 만족도를 정확히 포착하지 못하여 발생하는 '사용자 의도-시스템 해석' 간의 간극을 해결하고자 합니다.#Review#Interactive Recommendation#Large Language Models#Multi-Agent System#Natural Language Processing#Knowledge Distillation#User Control2025년 9월 26일댓글 수 로딩 중
[논문리뷰] EmbeddingGemma: Powerful and Lightweight Text Representations이 연구의 주요 목표는 강력하면서도 경량화된 오픈 소스 텍스트 임베딩 모델인 EmbeddingGemma 를 개발하는 것입니다.#Review#Text Embeddings#Lightweight Models#Encoder-Decoder#Knowledge Distillation#Model Souping#Quantization#Multilingual#Gemma2025년 9월 25일댓글 수 로딩 중
[논문리뷰] NVIDIA Nemotron Nano 2: An Accurate and Efficient Hybrid Mamba-Transformer Reasoning Model논문은 Nemotron Nano 2 라는 하이브리드 Mamba-Transformer 언어 모델 을 소개하며, 유사 규모 모델 대비 추론 워크로드 처리량 을 최대 6배 향상 시키면서도 최고 수준의 정확도 를 달성하는 것을 목표로 합니다.#Review#Hybrid Architecture#Mamba-Transformer#Reasoning LLM#Model Compression#Knowledge Distillation#Long Context#High Throughput#FP8 Training#Instruction Following2025년 8월 21일댓글 수 로딩 중
[논문리뷰] GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay대규모 언어 모델(LLM)의 연속 학습 시 발생하는 파국적 망각(catastrophic forgetting) 문제를 해결하는 것이 주된 목표입니다. 특히, LLM이 기존의 일반적인 능력과 이전에 학습한 하위 태스크에서의 성능을 동시에 유지하면서 새로운 태스크를 효율적이고 안정적으로 학습할 수 있는 방안을 모색합니다.#Review#Continual Learning#Large Language Models (LLMs)#Catastrophic Forgetting#Replay#Knowledge Distillation#Activation States#Anti-forgetting#Threshold-based Margin Loss2025년 8월 13일댓글 수 로딩 중
[논문리뷰] Beyond Linear Bottlenecks: Spline-Based Knowledge Distillation for Culturally Diverse Art Style Classification본 논문은 전문가가 라벨링한 데이터의 부족과 복잡하고 비선형적인 스타일 요소의 상호작용으로 인해 어려움을 겪는 예술 스타일 분류의 문제를 해결하고자 합니다.#Review#Kolmogorov-Arnold Networks#Knowledge Distillation#Art Style Classification#Self-Supervised Learning#Spline-Based Activation#Dual-Teacher#Gram Matrix2025년 8월 2일댓글 수 로딩 중