[논문리뷰] Apertus 1.5: From Open Text Models to Open Multimodal Reasoners본 연구는 폐쇄적인 모델 제공자들에 대한 의존성을 줄이고, 투명하고 공개된 데이터를 기반으로 하는 Infrastructure로서의 멀티모달 모델을 구축하고자 합니다. 기존의 폐쇄형 모델 생태계에서는 모델의 데이터 구성, 학습 레시피, 정렬 방식이 불투명하여 학계나 공공 기관의 주도적인 기술 발전에 한계가 있었습니다.#Review#Multimodal Reasoners#Continued Pretraining#Open Models#Long-Context Extension#Direct Preference Optimization#Instruction Following2026년 10월 14일댓글 수 로딩 중
[논문리뷰] QuantCode Model: Specializing Language Models for Executable Algorithmic Trading Code본 연구는 일반적인 코드 생성 모델이 알고리즘 트레이딩과 같은 고도로 특화된 도메인의 실행 가능한 코드 생성에서 실패하는 문제를 해결하고자 한다.#Review#Large Language Models#Algorithmic Trading#QuantCode-Bench#Continued Pretraining#Supervised Fine-tuning#Executable Code Generation#Capability-Retention2026년 10월 5일댓글 수 로딩 중
[논문리뷰] A Causal Language Modeling Detour Improves Encoder Continued Pretraining본 논문은 도메인 적응을 위한 인코더의 Continued Pretraining에서 기존의 MLM 단독 학습 방식이 갖는 한계를 극복하고자 합니다. 저자들은 특정 도메인(특히 Biomedical) 데이터에서 모델이 충분한 성능을 내지 못하는 이유가 학습 목적 함수 자체의 경직성 때문임을 지적합니다.#Review#Continued Pretraining#Causal Language Modeling#Masked Language Modeling#Domain Adaptation#Biomedical Encoders#CKA#Freeze Interventions#ModernBERT2026년 5월 12일댓글 수 로딩 중