[논문리뷰] The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models본 논문은 LLM이 고차원적인 추론에서는 뛰어난 성능을 보임에도 불구하고, 다중 자리수 덧셈과 같은 기초적인 산술 연산에서 발생하는 체계적인 오류(Off-by-one error)를 해결하고자 합니다.#Review#Mechanistic Interpretability#Large Language Models#Arithmetic Reasoning#Probing#Representation Geometry#Inference-time Intervention2026년 6월 4일댓글 수 로딩 중
[논문리뷰] NITP: Next Implicit Token Prediction for LLM Pre-training본 논문은 표준적인 NTP가 잠재 표현(latent representation)에 대해 충분한 기하학적 제약을 제공하지 못한다는 문제를 해결하고자 한다.#Review#LLM Pre-training#Next Implicit Token Prediction#Representation Geometry#Representation Degeneration#Self-supervised Learning#MoE#Representation Expressivity2026년 6월 1일댓글 수 로딩 중
[논문리뷰] How can embedding models bind concepts?본 논문은 최신 Vision-Language Embedding Models인 CLIP이 개념을 개별적으로는 잘 인지하면서도, 이들을 올바르게 조합하여 객체를 구성하는 Concept Binding에는 실패하는 문제에 주목합니다.#Review#Concept Binding#Embedding Models#Compositional Generalization#Multiplicative Interaction#Representation Geometry#CLIP#Transformer2026년 5월 31일댓글 수 로딩 중
[논문리뷰] LaRA: Layer-wise Representation Analysis for Detecting Data Contamination in RL Post-Training본 논문은 RL post-training 과정에서 발생하는 data contamination이 모델의 평가 신뢰성과 일반화 성능을 저해한다는 문제를 지적한다. 기존의 탐지 방식은 주로 token likelihood나 entropy 등 출력(Output-level) 신호에 의존해왔다.#Review#Data Contamination#Reinforcement Learning#Membership Inference Attack#Representation Geometry#Representation Dynamics#Model Interpretability2026년 5월 28일댓글 수 로딩 중
[논문리뷰] PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective본 논문은 현대의 PEFT 방식이 다운스트림 작업 성능 향상(Plasticity)에는 집중하고 있으나, 사전 학습된 범용 역량의 보존(Stability) 문제는 간과하고 있다고 지적한다.#Review#Parameter-Efficient Finetuning#Stability-Plasticity#Orthogonal Finetuning#Representation Geometry#Spectral Analysis#Pathwise Diagnosis2026년 5월 27일댓글 수 로딩 중
[논문리뷰] Where Should Diffusion Enter a Language Model? Geometry-Guided Hidden-State Replacement본 논문은 기존의 연속적 diffusion 언어 모델이 오토레그레시브 Transformer보다 성능이 뒤처지는 문제를 해결하고자 한다. 기존 연구들은 주로 토큰 수준의 확산이나 복잡한 continuous-to-discrete recovery 과정에서 발생하는 오차를 한계로 지적한다.#Review#Diffusion-Transformer Hybrid#Hidden-State Reconstruction#Geometry-Guided#Diffusion-Friendly#Representation Geometry#Locate-and-Replace2026년 5월 18일댓글 수 로딩 중