[논문리뷰] From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation본 논문은 MOPD 과정에서 교사 모델의 신호가 학생 모델의 파라미터 업데이트로 변환되는 메커니즘을 규명하고, 왜 기존의 정교한 기법들이 항상 성능 향상으로 이어지지 않는지 해결하고자 합니다.#Review#Multi-Teacher On-Policy Distillation#Language Model#Gradient Alignment#Adam Optimizer#BF16 Rounding#Capability Integration#Task Performance2026년 10월 4일댓글 수 로딩 중
[논문리뷰] OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?본 논문은 시각적 생성(Visual Generation) supervision이 Visual Understanding 모델의 성능 향상에 기여하는지에 대한 불확실성을 해결하기 위해 OmniTaskonomy를 제안한다.#Review#OmniTaskonomy#Visual Generation#Visual Understanding#Multimodal Models#Transfer Learning#Gradient Alignment#Task Taxonomy2026년 9월 29일댓글 수 로딩 중
[논문리뷰] Dynamic Important Example Mining for Reinforcement Finetuning본 논문은 RFT 과정에서 데이터의 가치를 정적으로 가정하는 기존 방식의 한계를 극복하기 위해 제안되었습니다.#Review#Reinforcement Fine-Tuning#Dynamic Data Selection#Gradient Alignment#Policy Optimization#Curriculum Learning2026년 8월 31일댓글 수 로딩 중
[논문리뷰] GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings본 연구는 대규모 언어 모델(LLM) 기반 임베딩 모델의 배포 문제를 해결하기 위해, 기존 가지치기(pruning) 방법론이 일반적인 의미론적 표현과 도메인 특화 패턴을 구분하지 못하여 발생하는 비최적화된 가지치기 결정 의 한계를 극복하고자 합니다.#Review#Model Pruning#Domain Adaptation#Embedding Models#Gradient Alignment#Fisher Information#Model Compression#LLMs2025년 9월 16일댓글 수 로딩 중