[논문리뷰] OPRD: On-Policy Representation Distillation본 논문은 Large Language Models (LLMs)의 Post-training에 필수적인 On-Policy Distillation (OPD) 방식의 본질적인 두 가지 한계점을 지적하며, 이를 해결하기 위한 새로운 접근 방식인 OPRD (On-Policy Representation Distillation)를 제안합니다.#Review#On-Policy Distillation#Representation Distillation#Large Language Models#Knowledge Distillation#Hidden States#Mathematical Reasoning#Variance Reduction2026년 6월 4일댓글 수 로딩 중
[논문리뷰] Your Embedding Model is SMARTer Than You Think본 논문은 single-vector multimodal retriever가 rich하고 sequential한 token sequence를 단일 global representation으로 압축하면서 발생하는 근본적인 information bottleneck 문제를 해결하고자 합니다.#Review#Multimodal Retrieval#Single-Vector Embeddings#Multi-Vector Embeddings#Late Interaction#Information Bottleneck#Hidden States#Contrastive Learning#Plug-and-Play2026년 5월 25일댓글 수 로딩 중
[SGLang] EAGLE: 은닉 상태 기반 드래프트 모델SGLang의 EAGLE 구현을 분석한다. 타겟 모델의 은닉 상태를 활용한 드래프트 생성, 기존 독립 드래프트 모델 대비 정확도 향상, 트리 기반 검증을 코드와 함께 살펴본다.#sglang#EAGLE#Draft Model#Hidden States#Speculative2026년 4월 12일댓글 수 로딩 중
[논문리뷰] A BERTology View of LLM Orchestrations: Token- and Layer-Selective Probes for Efficient Single-Pass Classification본 논문은 프로덕션 LLM 시스템에서 안전성 검토 및 기타 분류 태스크를 위해 별도의 모델을 사용하는 방식이 야기하는 추론 지연 시간, VRAM 사용량, 운영 복잡성 증가 문제를 해결하고자 합니다.#Review#LLM Orchestration#Lightweight Probes#Token-Layer Aggregation#Hidden States#Single-Pass Classification#Safety Moderation#Sentiment Analysis2026년 1월 20일댓글 수 로딩 중
[논문리뷰] LYNX: Learning Dynamic Exits for Confidence-Controlled Reasoning대규모 추론 모델(LLM)이 불필요하게 긴 사고 과정을 생성하여 컴퓨팅 자원을 낭비하고 때로는 정확도를 저해하는 '과잉 사고(overthinking)' 문제를 해결하고자 합니다.#Review#Early Exit#Confidence Control#Reasoning Models#Conformal Prediction#LLM Optimization#Dynamic Exits#Hidden States#Chain-of-Thought2025년 12월 9일댓글 수 로딩 중