[논문리뷰] Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics본 논문은 기존의 해석 가능성 기법들이 LLM의 Hidden state를 읽는 방식이 모델 자체의 내부 메커니즘과 괴리되어 있다는 문제를 해결하고자 한다.#Review#Language Model#Residual Stream#Lexical Reference Frames#Mechanistic Interpretability#Native Semantics#Attribution#Steering2026년 10월 18일댓글 수 로딩 중
[논문리뷰] The Life Cycle of a Massive Activation: Stochastic Birth, Weight-Decay-Driven Growth, and Competitive Consolidation본 논문은 Transformer 모델 내에서 발생하는 Massive Activation(MA)의 형성과 조절 기제를 파악하고자 한다.#Review#Massive Activation#Attention Sink#Weight Decay#AdamW#Transformer#Residual Stream#Scale Dynamics2026년 10월 11일댓글 수 로딩 중
[논문리뷰] U-Space: Uncovering When and Why Uncertainty Arises in Language Models본 연구는 대규모 언어 모델의 추론 과정에서 발생하는 불확실성을 모델 스스로가 얼마나 신뢰할 수 있는지 측정하고, 그 근거를 해석 가능하게 식별하는 것을 목표로 합니다.#Review#Uncertainty Quantification#Language Models#Mechanistic Interpretability#U-Space#U-Lens#Residual Stream#Reasoning Trace2026년 10월 8일댓글 수 로딩 중
[논문리뷰] Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise본 논문은 Transformer가 추론해야 하는 속성(Inferred Attribute)인 '파트너의 전문성'이 모델 내 어디에서 표현되고, 어디에서 행동으로 변환되는지를 규명하고자 합니다 .#Review#Transformer#Expertise Inference#Interpretability#Activation Patching#Residual Stream#Causal Analysis#Linear Probing2026년 9월 8일댓글 수 로딩 중
[논문리뷰] SAE Interventions are Unreliable: Post-Intervention Recovery of Suppressed Behavior본 논문은 SAE를 이용한 잠재 공간(latent-space) 방어 기법들이 행동을 완전히 통제하지 못할 수 있다는 한계점을 지적합니다.#Review#Sparse Autoencoders#Intervention#Post-Intervention Recovery#Constrained Optimization#Interpretability#Safety#Residual Stream2026년 6월 17일댓글 수 로딩 중
[논문리뷰] Language-Switching Triggers Take a Latent Detour Through Language Models본 연구는 대규모 언어 모델(LLM)에 삽입된 백도어(Backdoor)가 어떠한 내부 메커니즘을 통해 트리거를 처리하고 모델 출력을 가로채는지 규명하는 것을 목표로 합니다. 기존 연구들은 트리거를 일종의 불투명한 블랙박스로 처리하여 탐지 및 방어에 한계가 있었습니다.#Review#Backdoor Attack#Circuit Interpretability#Activation Patching#Language-Switching#Orthogonal Latent Encoding#Residual Stream#Transformer2026년 5월 19일댓글 수 로딩 중
[논문리뷰] Measuring Maximum Activations in Open Large Language Models본 논문은 최신 오픈 LLM 생태계에서 Activation의 동적 범위(Dynamic Range)가 단순히 파라미터 수에 비례한다는 기존의 통념을 재검토하고, 모델별 Maximum Activation Magnitude(MM)를 체계적으로 측정하여 배포 시의 위험을 파악하고자 합니다.#Review#Large Language Models#Activation Range#Quantization#Maximum Activation#LLM Inference#Residual Stream#Model Scaling2026년 5월 18일댓글 수 로딩 중