[논문리뷰] Percolation Dynamics in Optimization : Variance Cascades and Discrete Scale Invariance본 논문은 SGD와 같은 최적화 알고리즘이 딥러닝 모델을 단순한 서브네트워크로 유도하는 과정인 'Stochastic Collapse'의 위상적 역학을 규명하고자 합니다.#Review#Stochastic Gradient Descent#Percolation#Discrete Scale Invariance#Invariant Sets#Reeb Graph#Implicit Bias#Grokking2026년 9월 3일댓글 수 로딩 중
[논문리뷰] The Loss Does Not See the Basis, but Adam Does본 논문은 Factored Model에서 Gradient Descent가 보여주는 저차원(low-rank) 학습 유도 편향(Implicit bias)이 왜 Adam과 같은 적응형 최적화 기법에서는 발현되지 않는지를 규명한다.#Review#Gauge Equivariance#Implicit Bias#Adam#Low-rank Recovery#Matrix Factorization#Optimizer Zoo#Symmetry2026년 8월 10일댓글 수 로딩 중