[논문리뷰] SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning본 논문은 대규모 언어 모델(LLM)의 사전 훈련 비용을 절감하기 위한 점진적 학습(Progressive Learning, PL)의 핵심 과제인 중간 단계 너비 확장(mid-stage width expansion) 의 불안정성을 해결하는 것을 목표로 합니다.#Review#Progressive Learning#Width Expansion#Signal Preservation#Symmetry Breaking#LLM#Training Stability#MoE#RMSNorm2026년 2월 2일댓글 수 로딩 중
[논문리뷰] Efficient Multi-modal Large Language Models via Progressive Consistency Distillation본 논문은 멀티모달 대규모 언어 모델(MLLMs)에서 시각 토큰이 소모하는 막대한 계산 자원으로 인한 효율성 저하 문제를 해결하고자 합니다. 특히, 시각 토큰 압축 과정에서 발생하는 학습 난이도 증가 와 특징 공간 교란 문제를 해결하여, 효율성을 높이면서도 성능 저하를 최소화하는 것을 목표로 합니다.#Review#Multi-modal LLMs#Token Compression#Efficiency#Knowledge Distillation#Progressive Learning#Consistency Distillation#MLLM Training2025년 10월 6일댓글 수 로딩 중
[논문리뷰] Conan: Progressive Learning to Reason Like a Detective over Multi-Scale Visual Evidence본 논문은 멀티모달 대규모 언어 모델(MLLMs)이 순수 텍스트 추론이나 부정확한 증거 지역화로 인해 종종 발생시키는 근거 없는/환각적 결론의 문제를 해결하고, 다단계 비디오 추론 능력을 강화하는 것을 목표로 합니다.#Review#Video Reasoning#Multimodal Large Language Models (MLLMs)#Reinforcement Learning (RLVR)#Evidence Grounding#Multi-step Reasoning#Frame Retrieval#Dataset Construction#Progressive Learning2025년 10월 24일댓글 수 로딩 중