[논문리뷰] Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence본 연구는 기존의 사전 훈련된 비반복(non-recurrent) 언어 모델 을 효율적으로 깊이-반복(depth-recurrent) 모델 로 변환하여, 훈련 및 추론 시 연산 비용을 최적화하면서 수학과 같은 추론 태스크에서 성능을 향상시키는 것을 목표로 합니다.#Review#Recurrent Language Models#Pretrained Models#Model Surgery#Curriculum Learning#Test-Time Compute Scaling#Mathematics Reasoning#Efficient Training#Depth Recurrence2025년 11월 10일댓글 수 로딩 중
[논문리뷰] Chronos-2: From Univariate to Universal Forecasting기존 사전 훈련된 시계열 모델이 주로 단변량 예측에 국한되어 실제 다변량 데이터 및 공변량 활용에 한계가 있다는 문제점을 해결하고자 합니다. Chronos-2 는 단변량, 다변량, 공변량 정보 기반 예측 태스크 를 제로샷 방식 으로 처리할 수 있는 범용적인 사전 훈련 모델을 개발하는 것을 목표로 합니다.#Review#Time Series Forecasting#Foundation Models#Pretrained Models#Transformer#In-Context Learning#Multivariate Forecasting#Covariates#Group Attention2025년 10월 21일댓글 수 로딩 중