[논문리뷰] SageBwd: A Trainable Low-bit Attention저비트 어텐션 모델인 SageBwd 가 사전 훈련 시 완전 정밀도 어텐션(FPA) 대비 지속적인 성능 격차를 보이는 원인을 조사하고, SageBwd 가 사전 훈련에서 FPA 수준의 성능을 회복할 수 있는 조건을 밝히는 것을 목표로 합니다. 이를 통해 저비트 어텐션의 훈련 안정성과 적용 가능성을 확장하고자 합니다.#Review#Low-bit Attention#Quantization#Model Training#Pre-training#Backward Pass#QK-norm#SageBwd#Deep Learning Optimization2026년 3월 5일댓글 수 로딩 중
[논문리뷰] LoopTool: Closing the Data-Training Loop for Robust LLM Tool Calls기존 LLM 툴 학습의 정적 합성 데이터 파이프라인 이 모델의 약점에 적응하지 못하고 노이즈 있는 레이블을 유지하여 훈련 효율성을 저해하는 문제를 해결합니다.#Review#Large Language Models (LLMs)#Tool Learning#Data Generation#Model Training#Closed-Loop Framework#Reinforcement Learning (RL)#Data Refinement#Self-Correction2025년 11월 12일댓글 수 로딩 중