[논문리뷰] Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference본 연구는 표준 Transformer 모델의 핵심인 SDPA(Scaled Dot-Product Attention)가 고정된 bilinear form을 사용함에 따라 모델의 표현력과 학습 역학이 제한된다는 문제를 해결하고자 합니다.#Review#Large Language Models#Attention Mechanisms#Power Law Graph Attention#Learned Bilinear Operators#Perron-Frobenius Theory#Self-Organized Criticality2026년 8월 11일댓글 수 로딩 중
[논문리뷰] PLDR-LLMs Reason At Self-Organized Criticality본 연구는 Large Language Models (LLMs)에서 reasoning 능력이 어떻게 발현되며 이를 어떻게 효과적으로 정량화할 수 있는지에 대한 핵심 문제를 다룬다.#Review#PLDR-LLMs#Self-Organized Criticality#Reasoning#Deductive Outputs#Order Parameter#Phase Transitions#Generalization#Attention Mechanism2026년 3월 25일댓글 수 로딩 중