[논문리뷰] VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention본 연구는 고해상도 비디오 생성을 위한 Diffusion Transformers(DiTs)의 추론 비용 중 대부분을 차지하는 어텐션 연산의 효율성과 정확도 문제를 해결하고자 합니다.#Review#Diffusion Transformers#Low-bit Attention#Value Smoothing#Softmax Casting#ExpCast-FP8#V-Smooth#Model Efficiency2026년 9월 16일댓글 수 로딩 중
[논문리뷰] SageBwd: A Trainable Low-bit Attention저비트 어텐션 모델인 SageBwd 가 사전 훈련 시 완전 정밀도 어텐션(FPA) 대비 지속적인 성능 격차를 보이는 원인을 조사하고, SageBwd 가 사전 훈련에서 FPA 수준의 성능을 회복할 수 있는 조건을 밝히는 것을 목표로 합니다. 이를 통해 저비트 어텐션의 훈련 안정성과 적용 가능성을 확장하고자 합니다.#Review#Low-bit Attention#Quantization#Model Training#Pre-training#Backward Pass#QK-norm#SageBwd#Deep Learning Optimization2026년 3월 5일댓글 수 로딩 중