[논문리뷰] Sliding-window beats linear attention본 논문은 LLM의 quadratic scaling 문제로 인한 추론 비용 및 메모리 문제를 해결하기 위해, 기존의 Linear Attention 기반 변환 기법들이 Sliding Window Attention (SWA) 보다 효율적인지 검증하고자 합니다.#Review#Sliding Window Attention#Linear Attention#KV Cache#Long-context Reasoning#Model Distillation#Inference Efficiency2026년 8월 30일댓글 수 로딩 중
[논문리뷰] AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses본 연구는 모델의 내재적 능력을 향상시키는 기존의 데이터 증류(Data Distillation) 방식이 아닌, 모델이 직면한 과제의 복잡성을 제어하여 추론 성능을 개선하는 새로운 접근 방식을 제안합니다.#Review#Strong-to-Weak Scaffolding#Inference-Time Harness#Test-Time Compute#Model Distillation#Theory-of-Mind#Automated Agentic Systems2026년 8월 12일댓글 수 로딩 중
[논문리뷰] Stealing Reasoning Traces from Proprietary LLM APIs본 연구는 API 제공자들이 지적 재산 보호를 위해 CoT 추론 과정을 암호화하여 클라이언트 측에 저장하도록 하는 아키텍처의 구조적 취약점을 제기한다. 기존의 stateless 설계는 암호화된 블록이 세션, 사용자, 심지어 모델 간에 완벽하게 호환되고 상호 교환될 수 있다는 치명적인 보안 결함을 가진다.#Review#Chain-of-Thought#API Security#Model Distillation#Encrypted Reasoning#Prompt Injection#Privacy Leakage2026년 8월 10일댓글 수 로딩 중
[논문리뷰] Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation본 논문은 하이브리드 모델로의 전환 시 발생하는 부적절한 재귀적 파라미터 초기화 문제를 해결하고자 합니다. 기존 연구들은 Transformer의 가중치를 복사하는 데 집중하지만, 새롭게 도입되는 GDN의 동역학(decay, gate 등)을 고려하지 않아 초기 모델이 최적화되지 않은 상태에서 학습을 시작하게 됩니다 .#Review#Hybrid Linear Attention#Gated DeltaNet#Model Distillation#Initialization#Softmax Attention#Knowledge Distillation#Recurrent Dynamics2026년 6월 18일댓글 수 로딩 중
[논문리뷰] One-step Language Modeling via Continuous Denoising기존 이산 확산(discrete diffusion) 언어 모델 이 토큰 간 상관관계를 무시하는 인자화된 근사(factorized approximation)로 인해 소수 단계(few-step) 생성 시 품질이 급격히 저하되는 문제를 해결하고자 합니다.#Review#Language Modeling#Continuous Denoising#Flow-based Models#Diffusion Models#One-step Generation#Few-step Sampling#Time Reparameterization#Model Distillation2026년 2월 24일댓글 수 로딩 중
[논문리뷰] Diversity-Preserved Distribution Matching Distillation for Fast Visual Synthesis본 논문은 적은 추론 단계(few-step inference)로 고품질 이미지를 빠르게 생성하기 위한 Distribution Matching Distillation (DMD) 과정에서 발생하는 모드 붕괴(mode collapse) 문제를 해결하는 것을 목표로 합니다.#Review#Diffusion Models#Model Distillation#Mode Collapse#Image Generation#Diversity Preservation#Flow Matching#Few-Step Synthesis2026년 2월 3일댓글 수 로딩 중
[논문리뷰] Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation실시간 상호작용 비디오 생성을 위해 기존의 양방향(bidirectional) 비디오 확산 모델을 소수 스텝의 자기회귀(autoregressive, AR) 모델로 증류하는 과정에서 발생하는 아키텍처 간극(architectural gap) 과 프레임 수준의 단사성(frame-level injectivity) 위반 문제 를 해결하고자 합니다.#Review#Autoregressive Video Generation#Diffusion Models#Model Distillation#Real-Time AI#Causal Attention#ODE Distillation#Frame-level Injectivity#Teacher Forcing2026년 2월 2일댓글 수 로딩 중
[논문리뷰] Transition Matching Distillation for Fast Video Generation대규모 비디오 Diffusion 모델이 고품질 비디오를 생성하지만, 다단계 샘플링 과정의 비효율성으로 인해 실시간 상호작용 애플리케이션에 적용하기 어렵다는 문제를 해결하고자 합니다.#Review#Video Generation#Diffusion Models#Model Distillation#Few-Step Sampling#Transition Matching#Flow Matching#DMD2#Efficiency2026년 1월 15일댓글 수 로딩 중
[논문리뷰] Ministral 3본 연구는 컴퓨팅 및 메모리 제약이 있는 환경 을 위한 효율적인 매개변수 효율적(parameter-efficient) 밀집 언어 모델 인 Ministral 3 시리즈를 개발하는 것을 목표로 합니다.#Review#Large Language Models#Model Distillation#Pruning#Parameter-Efficient AI#Multimodal LLMs#Instruction Tuning#Reinforcement Learning from Human Feedback#Open-Source AI2026년 1월 13일댓글 수 로딩 중
[논문리뷰] Stream-DiffVSR: Low-Latency Streamable Video Super-Resolution via Auto-Regressive Diffusion본 논문은 기존 확산 모델 기반 비디오 초해상화(VSR) 방법들이 높은 지각 품질(perceptual quality)을 제공함에도 불구하고, 미래 프레임 의존성 및 다단계 노이즈 제거 과정으로 인한 높은 지연 시간 때문에 실시간 온라인 적용이 불가능하다는 문제를 해결하고자 합니다.#Review#Video Super-Resolution#Diffusion Models#Low-Latency#Streamable#Auto-Regressive#Model Distillation#Temporal Consistency#Perceptual Quality2025년 12월 29일댓글 수 로딩 중
[논문리뷰] Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length본 논문은 기존 확산 모델 기반 비디오 생성 방법론의 순차적 계산 및 장기 불일치 문제를 해결하여, 실시간 스트리밍 환경에서 140억 개 파라미터 규모의 확산 모델을 사용하여 무한 길이 의 고품질 오디오 기반 아바타 생성을 가능하게 하는 것을 목표로 합니다.#Review#Audio-Driven Avatar Generation#Real-time Streaming#Diffusion Models#Infinite Length#Pipeline Parallelism#Temporal Consistency#Model Distillation2025년 12월 4일댓글 수 로딩 중
[논문리뷰] Decoupled DMD: CFG Augmentation as the Spear, Distribution Matching as the Shield본 논문은 Distribution Matching Distillation (DMD) 의 성공에 대한 기존의 이해에 도전하며, 복잡한 텍스트-투-이미지 생성 작업에서 CFG(Classifier-Free Guidance)가 필수적인 이유를 밝히고자 합니다.#Review#Diffusion Models#Model Distillation#Classifier-Free Guidance (CFG)#Distribution Matching#Text-to-Image Generation#Few-step Generation#Regularization#Score-based Models2025년 11월 30일댓글 수 로딩 중
[논문리뷰] Phased DMD: Few-step Distribution Matching Distillation via Score Matching within Subintervals본 논문은 Distribution Matching Distillation (DMD) 을 통해 스코어 기반 생성 모델을 효율적인 few-step 생성기로 증류하는 과정에서 발생하는 한계점들을 해결하고자 합니다.#Review#Distribution Matching Distillation#Few-step Diffusion#Score Matching#Mixture-of-Experts#Generative Models#Image Generation#Video Generation#Model Distillation2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Distilled Decoding 2: One-step Sampling of Image Auto-regressive Models with Conditional Score Distillation이미지 자기회귀(AR) 모델 의 느린 샘플링 속도 문제를 해결하고, 특히 원스텝 샘플링 시 발생하는 성능 저하 및 Distilled Decoding 1 (DD1) 의 사전 정의된 매핑 의존성 한계를 극복하는 것을 목표로 합니다.#Review#Auto-regressive Models#Image Generation#One-step Sampling#Model Distillation#Conditional Score Distillation#Flow Matching#Generative Models2025년 10월 28일댓글 수 로딩 중
[논문리뷰] Unified Reinforcement and Imitation Learning for Vision-Language Models본 논문은 대규모 Vision-Language Models (VLMs) 의 비효율성을 해결하기 위해, 리소스가 제한된 환경에서도 강력하고 경량화된 VLM을 구축하는 효율적인 훈련 알고리즘 Unified Reinforcement and Imitation Learning (RIL) 을 제안합니다.#Review#Vision-Language Models#Reinforcement Learning#Imitation Learning#Model Distillation#Lightweight VLMs#LLM-as-a-Judge#Multimodal Learning2025년 10월 23일댓글 수 로딩 중
[논문리뷰] Extracting alignment data in open models본 논문은 오픈 모델에서 정렬(alignment) 훈련 데이터 를 효과적으로 추출하는 가능성을 탐구하고, 기존 문자열 매칭 기반의 메모리 추출 방식이 갖는 한계를 극복하는 것을 목표로 합니다.#Review#Alignment Data Extraction#Large Language Models#Memorization#Neural Embeddings#Semantic Similarity#Chat Templates#Model Distillation#Reinforcement Learning#Supervised Finetuning2025년 10월 22일댓글 수 로딩 중
[논문리뷰] EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning본 논문은 환각(hallucination) 문제와 부실한 검증 아티팩트로 인해 신뢰성 있는 합성 검증 데이터를 생성하기 어렵다는 문제를 해결하고자 합니다.#Review#Verifiable Learning#Data Synthesis#Evolutionary Algorithm#Large Language Models#Reinforcement Learning#Model Distillation#Test Generation2025년 10월 22일댓글 수 로딩 중
[논문리뷰] pi-Flow: Policy-Based Few-Step Generation via Imitation Distillation이 논문은 기존 few-step 확산 및 흐름 기반 생성 모델의 증류 과정에서 발생하는 품질-다양성 트레이드오프 와 복잡한 훈련 절차 문제를 해결하고자 합니다.#Review#Diffusion Models#Flow Matching#Generative Models#Model Distillation#Imitation Learning#Few-Step Generation#Policy-Based AI#Text-to-Image2025년 10월 17일댓글 수 로딩 중
[논문리뷰] SD3.5-Flash: Distribution-Guided Distillation of Generative Flows본 논문은 최첨단 생성 모델, 특히 Rectified Flow 모델 의 높은 연산 요구량으로 인해 발생하는 접근성 문제를 해결하고자 합니다.#Review#Generative AI#Image Generation#Diffusion Models#Rectified Flow#Model Distillation#Few-Step Generation#Computational Efficiency#Prompt Alignment2025년 9월 26일댓글 수 로딩 중
[논문리뷰] Few-step Flow for 3D Generation via Marginal-Data Transport Distillation본 연구는 플로우 기반 3D 생성 모델의 느린 추론 속도 문제를 해결하는 것을 목표로 합니다.#Review#3D Generation#Flow-based Models#Model Distillation#Few-step Sampling#Marginal-Data Transport#Velocity Matching#Velocity Distillation2025년 9월 5일댓글 수 로딩 중
[논문리뷰] DINOv3본 연구는 수동 데이터 주석 없이 대규모 데이터셋 과 대규모 아키텍처 에 맞춰 모델을 확장하고, 단일 알고리즘으로 다양한 소스(자연 이미지부터 항공 이미지까지)에서 범용적인 시각 표현 을 학습하는 것을 목표로 합니다.#Review#Self-supervised Learning#Foundation Models#Vision Transformer#Dense Feature Maps#Gram Anchoring#Model Distillation#Geospatial AI2025년 8월 18일댓글 수 로딩 중
[논문리뷰] Diffusion LLMs Can Do Faster-Than-AR Inference via Discrete Diffusion Forcing본 논문은 기존 오픈소스 Diffusion Large Language Models (dLLMs)가 Autoregressive (AR) LLMs에 비해 추론 속도에서 우위를 점하지 못하는 문제를 해결하는 것을 목표로 합니다.#Review#Diffusion LLMs#Faster Inference#Discrete Diffusion Forcing (D2F)#Autoregressive Generation#KV Cache Optimization#Parallel Decoding#Text Generation#Model Distillation2025년 8월 14일댓글 수 로딩 중