#Learning-to-Rank

1개의 포스트

[논문리뷰] Predicting the Order of Upcoming Tokens Improves Language Modeling

기존 Multi-Token Prediction (MTP) 이 정확한 미래 토큰 예측의 어려움으로 인해 보조 목표로서 불일치한 성능을 보이는 문제를 해결하고자 합니다.

#Review #Language Modeling #Next-Token Prediction #Multi-Token Prediction #Token Order Prediction #Auxiliary Objective #Learning-to-Rank #Transformer #Large Language Models

2025년 8월 28일