[논문리뷰] MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering본 논문은 긴 멀티모달 문서에서 생성된 답변의 근거를 정확히 찾아내는 Multimodal Attribution 문제를 해결하고자 합니다. 기존의 연구들은 주로 텍스트 기반의 단일 모달(unimodal) 설정에 집중되어 있어, 텍스트와 이미지가 혼재된 실제 문서에서의 복합적인 근거를 로컬라이징하는 데 한계가 있습니다.#Review#Multimodal Attribution#Long Document#Training-Free#Mechanistic Interpretability#Attention Heads#Causal Mediation Analysis#MultAttrEval2026년 7월 5일댓글 수 로딩 중
[논문리뷰] Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads본 논문은 기존의 retrieval head 탐지 방식이 non-literal retrieval의 핵심 메커니즘을 포착하지 못하는 한계를 해결하기 위해 제안되었습니다.#Review#Logit-Contribution Scoring#LOCOS#Non-literal Retrieval#Attention Heads#Mechanistic Interpretability#Transformer Circuits#OV Circuit2026년 7월 2일댓글 수 로딩 중
[논문리뷰] DREAM: Dense Retrieval Embeddings via Autoregressive Modeling본 논문은 기존 Contrastive Learning 기반의 Dense Retriever 학습이 고비용의 레이블 데이터와 정교한 Hard Negative Mining을 필요로 하는 한계를 극복하고자 합니다.#Review#Dense Retrieval#Autoregressive Modeling#Next-Token Prediction#Attention Heads#Frozen LLM#Information Retrieval2026년 6월 23일댓글 수 로딩 중
[논문리뷰] Revealing Algorithmic Deductive Circuits for Logical Reasoning본 논문은 LLM이 복잡한 논리적 추론을 수행할 때 내부적으로 어떠한 메커니즘을 사용하는지에 대한 근본적인 의문을 해결하고자 합니다.#Review#Large Language Models#Logical Reasoning#Chain-of-Thought#Causal Mediation Analysis#Circuit Interpretability#Attention Heads#Deductive Reasoning2026년 5월 27일댓글 수 로딩 중
[논문리뷰] Are Audio-Language Models Listening? Audio-Specialist Heads for Adaptive Audio Steering본 논문은 오디오-언어 모델(LALMs)에서 발생하는 텍스트 지배(text dominance) 문제를 해결하는 것을 목표로 합니다. 이는 LALMs가 중요한 오디오 증거가 있을 때에도 언어적 선험 지식에 과도하게 의존하여 오디오를 충분히 활용하지 못하는 현상을 의미합니다.#Review#Audio-Language Models (LALMs)#Text Dominance#Mechanistic Interpretability#Attention Heads#Activation Steering#Multimodal Grounding#Inference-time Intervention2026년 3월 10일댓글 수 로딩 중
[논문리뷰] Query-focused and Memory-aware Reranker for Long Context Processing본 논문은 임베딩 모델의 '기하학적 병목'으로 인한 복잡한 쿼리-문서 상호작용 인코딩의 한계를 해결하고, 기존 LLM 기반 리랭커의 글로벌 뷰 손실(포인트와이즈) 또는 미세 조정된 점수 및 Likert-scale 감독의 제약(리스트와이즈)을 극복하는 것을 목표로 합니다.#Review#Reranking#Large Language Models#Long Context#Attention Heads#Retrieval Augmented Generation (RAG)#Listwise Reranking#Query-focused Retrieval#Memory-aware2026년 2월 24일댓글 수 로딩 중
[논문리뷰] Which Heads Matter for Reasoning? RL-Guided KV Cache Compression추론(reasoning) 기반 대규모 언어 모델(LLM)은 긴 CoT(Chain-of-Thought) 생성을 통해 막대한 KV(Key-Value) 캐시 오버헤드를 발생시킵니다.#Review#KV Cache Compression#Large Language Models (LLMs)#Reinforcement Learning (RL)#Reasoning Models#Attention Heads#Chain-of-Thought (CoT)#Memory Efficiency2025년 10월 13일댓글 수 로딩 중
[논문리뷰] Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning?본 논문은 대규모 추론 모델(LRMs)에서 안전 정렬(safety alignment) 이 실패하는 근본적인 메커니즘을 기계론적 해석 가능성(mechanistic interpretability) 관점에서 조사하는 것을 목표로 합니다.#Review#Safety Alignment#Large Reasoning Models#Mechanistic Interpretability#Refusal Cliff#Attention Heads#Data Selection#Linear Probing2025년 10월 8일댓글 수 로딩 중
[논문리뷰] Thinking Sparks!: Emergent Attention Heads in Reasoning Models During Post Training대규모 추론 모델의 후처리 훈련(Post-Training) 기법(SFT, RL 등)이 모델의 추론 능력 향상에 기여하는 내부 아키텍처 메커니즘의 불투명성을 해소하는 것이 주요 목표입니다.#Review#Mechanistic Interpretability#Attention Heads#Post-Training#Supervised Fine-Tuning (SFT)#Reinforcement Learning (RL)#Circuit Analysis#Reasoning Models#Transformer Architecture2025년 10월 1일댓글 수 로딩 중