[논문리뷰] Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference본 연구는 표준 Transformer 모델의 핵심인 SDPA(Scaled Dot-Product Attention)가 고정된 bilinear form을 사용함에 따라 모델의 표현력과 학습 역학이 제한된다는 문제를 해결하고자 합니다.#Review#Large Language Models#Attention Mechanisms#Power Law Graph Attention#Learned Bilinear Operators#Perron-Frobenius Theory#Self-Organized Criticality2026년 8월 11일댓글 수 로딩 중