본문으로 건너뛰기

Review

[논문리뷰] Where Should Diffusion Enter a Language Model? Geometry-Guided Hidden-State Replacement

본 논문은 기존의 연속적 diffusion 언어 모델이 오토레그레시브 Transformer보다 성능이 뒤처지는 문제를 해결하고자 한다. 기존 연구들은 주로 토큰 수준의 확산이나 복잡한 continuous-to-discrete recovery 과정에서 발생하는 오차를 한계로 지적한다.
#Review#Diffusion-Transformer Hybrid#Hidden-State Reconstruction#Geometry-Guided#Diffusion-Friendly#Representation Geometry#Locate-and-Replace
댓글 수 로딩 중

[논문리뷰] StableVLA: Towards Robust Vision-Language-Action Models without Extra Data

본 논문은 기존 VLA 모델들이 훈련 데이터에 포함되지 않은 실세계의 다양한 시각적 노이즈(센서 노이즈, 모션 블러 등)에 매우 취약하다는 점을 지적합니다. 현재의 VLA 모델은 주로 깨끗한 환경에서만 평가되며, 실제 배포 시 시각적 왜곡이 발생하면 성능이 급격히 저하되는 'robustness gap'을 보입니다.
#Review#Vision-Language-Action Models#Information Bottleneck#Robustness#Modality Alignment#Embodied AI#Adapter Design
댓글 수 로딩 중

[논문리뷰] Post-Trained MoE Can Skip Half Experts via Self-Distillation

기존의 Dynamic MoE 연구들은 주로 모델을 밑바닥부터 재학습(from scratch)하거나 특정 작업에만 국한된 적응 방식을 취해왔습니다. 그러나 실제 현업에서는 이미 사전 학습 및 후속 학습(SFT, RL 등)이 완료된 Post-Trained MoE 모델을 활용하는 경우가 대부분입니다.
#Review#Mixture-of-Experts#Dynamic Inference#Self-Distillation#Zero-Expert Injection#Large Language Models#Model Adaptation
댓글 수 로딩 중

[논문리뷰] NGM: A Plug-and-Play Training-Free Memory Module for LLMs

본 논문은 LLM이 추론 시 고유한 로컬 패턴(식별자, 전문 용어, 구문 등)을 재구성하기 위해 과도한 연산 자원을 소모하는 문제를 해결하고자 합니다. 기존의 Conditional Memory 접근법은 학습이 필요한 메모리 테이블이나 별도의 저장소 인프라를 요구하여 유연성과 효율성을 제한합니다.
#Review#Large Language Models#Memory Module#N-gram#Training-Free#Plug-and-Play#Cosine Similarity
댓글 수 로딩 중

[논문리뷰] Measuring Maximum Activations in Open Large Language Models

본 논문은 최신 오픈 LLM 생태계에서 Activation의 동적 범위(Dynamic Range)가 단순히 파라미터 수에 비례한다는 기존의 통념을 재검토하고, 모델별 Maximum Activation Magnitude(MM)를 체계적으로 측정하여 배포 시의 위험을 파악하고자 합니다.
#Review#Large Language Models#Activation Range#Quantization#Maximum Activation#LLM Inference#Residual Stream#Model Scaling
댓글 수 로딩 중