[논문리뷰] Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss본 연구는 자원 제약이 심한 환경에서 대규모 언어 모델(LLM)을 배포하기 위한 효율적인 지식 증류(Knowledge Distillation) 파이프라인 구축을 목표로 합니다.#Review#Knowledge Distillation#Offline Distillation#Fused Chunked KL Loss#Long-context Healing#LLM Compression#Sparse Top-K Logits2026년 8월 9일댓글 수 로딩 중
[논문리뷰] Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation본 연구는 기존의 Multilingual Embedding Models가 Turkish와 같은 저자원(Low-resource) 언어에서 충분한 성능을 발휘하지 못하는 구조적 한계를 해결하고자 한다.#Review#Multilingual Embedding Models#Turkish#Tokenizer Surgery#Offline Distillation#Cross-Lingual Transfer#Semantic Search2026년 6월 1일댓글 수 로딩 중