[논문리뷰] SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization본 논문은 MoE의 개별 expert가 실제로 무엇을 책임지는지를 analyst가 사전에 정한 domain label이 아니라 모델 자체의 feature space에서 밝히고자 합니다.#Review#Mixture-of-Experts#Sparse Autoencoder#Expert Specialization#Mechanistic Interpretability#Auto-interpretation#Dominance Graph#Qwen3-30B-A3B2026년 11월 5일댓글 수 로딩 중
[논문리뷰] BiasReducer: Adaptive Bias Mitigation for Reward Models본 논문은 Reward model이 특정 응답 속성에 과도하게 의존하여 발생하는 Reward hacking 문제를 효율적으로 해결하고자 한다. 기존의 학습 기반 방식은 추가적인 데이터와 컴퓨팅 자원을 요구하며, 고정된 편향 수정 방식은 다양한 데이터셋의 특성을 반영하지 못한다는 한계가 있다.#Review#Reward Model#Bias Mitigation#Sparse Autoencoder#Model Editing#RLHF#Representation Learning2026년 9월 30일댓글 수 로딩 중
[논문리뷰] Guiding LLM Post-training Data Engineering with Model Internals from Sparse Autoencoders본 논문은 LLM post-training에서 데이터 엔지니어링이 모델 성능 향상의 핵심임에도 불구하고, 기존 방식들은 주로 외부 피드백(인간 선호도, 보상 모델, rollout 결과 등)에 의존하여 비용이 높고 효율성이 제한적이라는 문제에서 출발한다.#Review#Sparse Autoencoder#LLM Post-training#Reinforcement Learning#Data Engineering#Mechanistic Interpretability#Curriculum Learning#Data Selection2026년 5월 27일댓글 수 로딩 중
[논문리뷰] SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language ModelsCLIP과 같은 Vision-Language Models (VLMs)는 multimodal AI의 핵심 구성 요소이지만, 대규모의 uncurated training data로 인해 심각한 social 및 spurious bias가 내재되어 있다.#Review#Vision-Language Models#CLIP#Debiasing#Sparse Autoencoder#Post-Hoc#Zero-Shot#Feature Disentanglement#Bias Mitigation2026년 3월 23일댓글 수 로딩 중
[논문리뷰] Thought Communication in Multiagent Collaboration본 논문은 대규모 언어 모델(LLM) 기반 멀티 에이전트 시스템(MAS)에서 자연어 통신의 내재적 한계(손실, 모호성)를 극복하고자 합니다.#Review#Multiagent Systems#LLM Communication#Latent Variable Models#Identifiability Theory#Thought Communication#Sparse Autoencoder#Prefix Tuning2025년 10월 24일댓글 수 로딩 중