[논문리뷰] E-PMQ: Expert-Guided Post-Merge Quantization with Merged-Weight Anchoring본 논문은 모델 병합(Model Merging) 후 저비트 양자화(Low-bit Quantization)를 적용할 때 발생하는 성능 저하 문제를 해결하고자 합니다.#Review#Post-Merge Quantization#Model Merging#PTQ#Quantization Deviation#Merged-Weight Anchoring#Expert-Guided Calibration2026년 5월 18일댓글 수 로딩 중
[논문리뷰] Darwin Family: MRI-Trust-Weighted Evolutionary Merging for Training-Free Scaling of Language-Model Reasoning본 논문은 대규모 LLM의 추론 성능 향상을 위한 고비용의 post-training(instruction tuning, RL 등) 과정을 배제하고, 기존 Checkpoint 내에 잠재된 능력을 재조합하는 비용 효율적인 대안을 제시합니다.#Review#Model Merging#Evolutionary Optimization#Large Language Models#Reasoning#Diagnostic-Guided#Training-Free2026년 5월 14일댓글 수 로딩 중
[논문리뷰] FeatCal: Feature Calibration for Post-Merging Models모델 병합(Model Merging)은 공동 학습(joint training)이나 개별 배포 없이 여러 task expert의 능력을 통합할 수 있는 효율적인 방법이지만, 병합된 모델이 원본 expert 모델보다 성능이 떨어지는 현상이 빈번하게 발생한다.#Review#Model Merging#Feature Drift#Calibration#Closed-form Solution#Feature Calibration#Forward-order Schedule2026년 5월 13일댓글 수 로딩 중
[논문리뷰] Understanding and Enforcing Weight Disentanglement in Task Arithmetic본 논문은 Task Arithmetic의 성공 뒤에 숨겨진 근본적인 이론적 원리를 규명하고, 이를 기반으로 성능을 개선하는 것을 목표로 한다.#Review#Task Arithmetic#Weight Disentanglement#Model Merging#Orthogonal Regularization#Task-Feature Specialization2026년 4월 21일댓글 수 로딩 중
[논문리뷰] OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-TrainingLLM의 도메인 및 언어 적응을 위해 CPT 를 수행할 때, 데이터의 혼합 비율(Mixture Ratio)은 매우 민감한 하이퍼파라미터입니다. 기존에는 이 비율을 학습 전에 고정해야 하며, 부적절할 경우 수주간의 GPU 연산 자원이 낭비되는 문제가 있었습니다.#Review#Continual Pre-training#Model Merging#Distribution Vector#Bayesian Optimization#LLM Adaptation2026년 3월 31일댓글 수 로딩 중
[논문리뷰] MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning논문은 LLM이 장기 작업을 수행할 때 직면하는 효율적인 장기 메모리 유지 문제 를 해결하는 것을 목표로 합니다. 특히, 기존 검색 방법들이 비용과 정확도 사이의 상충 관계를 겪고, 대규모 LLM이 모든 메모리를 처리하는 데 계산 비용이 높고 느리다 는 한계를 극복하고자 합니다.#Review#LLM Memory Retrieval#Proxy Model#Reinforcement Learning#Outcome-Driven Rewards#Long-Term Memory#Curriculum Learning#Model Merging#Inference-Time Scaling2026년 3월 4일댓글 수 로딩 중
[논문리뷰] What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis본 논문은 시각적 추론을 위한 Vision-Language Model (VLM)에서 강화 학습(RL)이 실제로 어떤 능력을 향상시키는지에 대한 모호함을 해결하고자 합니다.#Review#Reinforcement Learning#Visual Reasoning#Vision-Language Models#Causal Probing#Model Merging#Parameter Analysis#Transformer Layers#Functional Localization2026년 2월 15일댓글 수 로딩 중
[논문리뷰] UI-Venus-1.5 Technical Report본 논문은 기존 GUI 에이전트의 일반성 및 일관된 고성능 달성 문제를 해결하기 위해, 강력한 실제 애플리케이션을 위한 통합된 엔드투엔드 GUI 에이전트인 UI-Venus-1.5 를 제안합니다.#Review#GUI Agent#MLLM#Reinforcement Learning#Model Merging#GUI Grounding#Task Navigation#Online-RL#Offline-RL2026년 2월 10일댓글 수 로딩 중
[논문리뷰] Decouple Searching from Training: Scaling Data Mixing via Model Merging for Large Language Model Pre-trainingLarge Language Model (LLM) 사전 학습에서 효과적인 데이터 혼합 비율을 결정하는 것은 여전히 어려운 문제입니다.#Review#LLM Pre-training#Data Mixture Optimization#Model Merging#Proxy Models#Resource Efficiency#DeMix#Corpus Curation2026년 2월 3일댓글 수 로딩 중
[논문리뷰] GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training멀티턴 강화 학습(RL) 기반 VLM(Vision-Language Model) 에이전트 훈련 의 주요 문제점인 희소한 보상, 긴 신용 할당 문제, 그리고 GTR(Guided Thought Reinforcement) 과 같은 기존 방법론에서 외부 교사 모델 사용으로 인한 높은 비용과 접근성 한계를 해결하는 것을 목표로 합니다.#Review#Multi-turn Reinforcement Learning#Vision-Language Models (VLMs)#Agentic AI#Knowledge Distillation#Model Merging#PPO#Thought Guidance#Cost Efficiency2025년 12월 25일댓글 수 로딩 중
[논문리뷰] Llama-Embed-Nemotron-8B: A Universal Text Embedding Model for Multilingual and Cross-Lingual Tasks본 논문은 기존 임베딩 모델의 불투명한 훈련 데이터 및 방법론 문제를 해결하고자, 다국어 및 교차 언어 태스크에서 최첨단 성능을 달성하는 완전 오픈 소스 범용 텍스트 임베딩 모델인 llama-embed-nemotron-8b 를 개발하는 것을 목표로 합니다.#Review#Text Embedding#Multilingual#Cross-Lingual#Contrastive Learning#Model Merging#Synthetic Data Generation#Instruction-Tuning#LLM2025년 11월 10일댓글 수 로딩 중
[논문리뷰] Hala Technical Report: Building Arabic-Centric Instruction & Translation Models at Scale아랍어 고품질 명령어 데이터의 부족과 다국어 LLM에서 언어별 깊이의 불균형 문제를 해결하는 것을 목표로 합니다. 효율적인 번역-튜닝 파이프라인 을 통해 아랍어 중심의 명령어 및 번역 모델(HALA) 패밀리를 구축하고, 아랍어 벤치마크에서 최첨단 성능을 달성하여 특정 언어에 대한 역량 심화에 중점을 둡니다.#Review#Arabic NLP#Instruction Tuning#Machine Translation#Large Language Models#FP8 Quantization#Data Bootstrapping#Model Merging#Language-Centric AI2025년 9월 18일댓글 수 로딩 중
[논문리뷰] Delta Activations: A Representation for Finetuned Large Language Models다양하게 미세 조정된 대규모 언어 모델(LLM)의 방대한 생태계에서 모델 간의 유사점과 차이점을 효율적으로 파악하고, 모델을 검색, 비교 및 클러스터링할 수 있는 표준화된 표현 방식 이 부족한 문제를 해결하는 것이 목표입니다. 이는 기존의 메타데이터 부족 문제를 극복하고 모델 재사용을 촉진하기 위함입니다.#Review#LLM Embedding#Delta Activations#Finetuned Models#Model Representation#Model Clustering#Additive Property#Task Embedding#Model Merging2025년 9월 5일댓글 수 로딩 중
[논문리뷰] Reasoning Vectors: Transferring Chain-of-Thought Capabilities via Task Arithmetic본 논문은 대규모 언어 모델(LLM)이 복잡한 추론 능력을 습득하기 위해 필요한 값비싼 강화 학습(RL) 기반 최적화 과정을 대체하는 방법을 모색합니다.#Review#Reasoning Vectors#Task Arithmetic#Chain-of-Thought#LLMs#Reinforcement Learning#Model Merging#Parameter Transfer2025년 9월 3일댓글 수 로딩 중
[논문리뷰] MedSAMix: A Training-Free Model Merging Approach for Medical Image Segmentation의료 영상 분할 분야에서 SAM(Segment Anything Model) 기반의 미세 조정된 모델들이 특정 작업에서 불균형한 성능과 제한된 일반화 능력을 보이는 문제를 해결하고자 합니다.#Review#Medical Image Segmentation#Model Merging#Training-Free#SAM#Generalization#Zero-Order Optimization#Bayesian Optimization2025년 8월 20일댓글 수 로딩 중
[논문리뷰] VisCodex: Unified Multimodal Code Generation via Merging Vision and Coding Models논문은 멀티모달 대규모 언어 모델(MLLM)이 시각적 입력으로부터 기능적인 코드를 생성하는 데 있어 한계가 있음을 지적합니다. 이를 해결하기 위해 시각적 이해와 고급 코딩 능력을 통합하여 강력한 멀티모달 코드 생성 능력을 갖춘 모델을 효율적으로 구축하는 것을 목표로 합니다.#Review#Multimodal LLM#Code Generation#Model Merging#Task Vectors#Vision-Language Model#Coding LLM#Instruction Tuning#Benchmark2025년 8월 14일댓글 수 로딩 중
[논문리뷰] Aryabhata: An exam-focused language model for JEE Math본 논문은 인도 입학 시험(JEE) 수학 영역에 최적화된 7B 파라미터 의 경량 언어 모델인 Aryabhata 1.0 을 제안합니다. 기존 대규모 언어 모델(LLM)이 교육적 활용에 부적합했던 문제를 해결하고, 학생 이해를 돕는 정확하고 투명하며 효율적인 단계별 추론 능력을 제공하는 것을 목표로 합니다.#Review#Language Model#Math Reasoning#JEE#Supervised Fine-Tuning#Reinforcement Learning#Model Merging#Chain-of-Thought#Curriculum Learning2025년 8월 13일댓글 수 로딩 중
[논문리뷰] Revisiting Model Interpolation for Efficient Reasoning이 논문은 대규모 언어 모델(LLM)의 복잡한 연쇄적 사고(Chain-of-Thought, CoT) 추론에서 발생하는 과도한 사고(over-thinking) 및 높은 지연 시간 문제를 해결하기 위한 효율적인 추론 방법을 모색합니다.#Review#Model Interpolation#Efficient Reasoning#Large Language Models#Chain-of-Thought#Model Merging#Performance Dynamics#Ablation Study2025년 10월 16일댓글 수 로딩 중
[논문리뷰] RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging대규모 언어 모델(LLMs)이 연속 학습 및 다중 도메인 환경에서 겪는 Catastrophic Forgetting (CF) 문제를 해결하는 것을 목표로 합니다.#Review#Catastrophic Forgetting#Continual Learning#Model Merging#LLMs#Representation Learning#Data-free Learning#Hierarchical Parameter Fusion2025년 10월 27일댓글 수 로딩 중
[논문리뷰] Model Merging with Functional Dual Anchors본 논문은 파운데이션 모델의 finetuned 체크포인트에서 지식을 통합하는 모델 병합(Model Merging) 과정에서 발생하는 파라미터 충돌 과 태스크별 지식 충돌 문제를 해결하는 것을 목표로 합니다.#Review#Model Merging#Functional Dual Anchors#Input-Representation Space#Task Vectors#Knowledge Integration#Foundation Models#Gradient Matching#Post-training Strategy2025년 10월 27일댓글 수 로딩 중
[논문리뷰] Directional Reasoning Injection for Fine-Tuning MLLMs논문은 멀티모달 대규모 언어 모델(MLLM)의 추론 능력이 텍스트 전용 LLM에 비해 현저히 떨어진다는 문제에 주목합니다. 대규모 멀티모달 추론 데이터셋이나 강화 학습 없이도, 텍스트 전용 추론 전문가 모델 의 추론 지식을 비추론 멀티모달 LLM 으로 효율적으로 전이하는 경량화된 방법을 개발하는 것을 목표로 합니다.#Review#Multimodal LLMs#Reasoning Transfer#Gradient-based Fine-tuning#Model Merging#Parameter-Efficient Learning#Supervised Fine-tuning#Directional Prior2025년 10월 23일댓글 수 로딩 중