본문으로 건너뛰기

#Post-training

30개의 포스트

[논문리뷰] When Do Biological Reasoning Models Use Their Biological Inputs?

본 논문은 생물학적 추론 모델이 실제로 생물학적 입력값을 기반으로 추론하는지, 아니면 단순한 데이터 편향에 의존하는지 평가하는 것을 목표로 합니다. 많은 모델이 벤치마크에서 높은 정확도를 기록하지만, 이러한 성과가 제공된 유전체나 단백질 데이터의 핵심 정보를 모델이 실제로 사용했음을 보장하지는 않습니다.
#Review#Biological Reasoning Models#Multimodal LLMs#Representation Probing#Evidence Conflicts#Benchmark Sensitivity#Post-training#Input Perturbation
댓글 수 로딩 중

[논문리뷰] Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment

본 논문은 LLM의 CoT가 모델의 실제 내부 계산 과정을 충실히 대변하지 못하는 불투명성 문제를 해결하고자 합니다 . 기존 연구들은 CoT가 모델의 내부 전략과 일치하지 않거나, 추론 과정을 쉽게 조작할 수 있다는 점을 지적해왔습니다.
#Review#CoT#Interpretability#Parametric Faithfulness#Alignment#Post-training#Probing
댓글 수 로딩 중

[논문리뷰] Do Audio LLMs Listen Before They Act? Diagnosing Acoustic-Context Gating in Voice Agents

본 논문은 현대의 Audio LLMs가 spoken command를 인식하고 tool을 호출하는 데에는 능숙하지만, 정작 해당 명령이 누구로부터 왔으며 현재 상황에서 실행하는 것이 적절한지에 대한 '상황적 판단' 능력이 부족하다는 문제를 제기합니다 .
#Review#Audio LLMs#Voice Agents#Addressedness#Acoustic-Context Gating#VGBench#Tool Use#Post-training
댓글 수 로딩 중

[논문리뷰] Mitigating the Length-Scaling Tax with Online Distillation

본 논문은 LLM의 RLVR 사후 학습 과정에서 발생하는 불필요한 응답 길이 증가 문제를 해결하고자 합니다. 기존 연구들은 추론 역량 강화의 신호로 응답 길이 성장을 긍정적으로 보았으나, 저자들은 이미 잘 해결되는 쉬운 문제들조차 RL 업데이트 과정에서 불필요하게 길어지는 LST를 확인했습니다 .
#Review#Length-Scaling Tax#Reinforcement Learning#Online Distillation#Reasoning Efficiency#Chain-of-Thought#Policy Gradient#Post-training
댓글 수 로딩 중

[논문리뷰] ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation

본 논문은 기존 LLM 기반 peer-review 보조 시스템이 단순한 결함 식별에 그치고, 저자에게 실질적이고 구체적인 수정 가이드라인을 제공하지 못하는 Descriptive한 성격에 머물러 있다는 한계를 해결하고자 한다 .
#Review#Actionable Peer-Review#Post-training#Rebuttal-Guided Supervision#Rubric-Based Reinforcement Learning#GRPO#Scientific Writing#LLM-as-a-Judge
댓글 수 로딩 중

[논문리뷰] K-EXAONE 2.0 Technical Report

본 연구는 글로벌 AI 경쟁 시대에 대응하여 국산 거대언어모델의 독자적인 구축 및 운영 능력을 확보하기 위해 수행되었다. 기존 모델을 폐기하고 처음부터 모델을 학습시키는 것은 방대한 계산 자원과 데이터, 학습 노하우를 낭비하는 결과를 초래한다.
#Review#Foundation Model#Mixture-of-Experts#Upcycling#Speculative Decoding#Long-Context#Agentic Capability#Post-training
댓글 수 로딩 중

[논문리뷰] The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation

본 연구는 고차원 의사결정이 필요한 Long-Horizon 환경에서 LLM 기반 에이전트가 겪는 계획 수립의 불확실성과 긴 문맥 유지의 어려움을 해결하는 것을 목표로 한다.
#Review#Multi-Turn Planning#Long-Horizon#Agentic Distillation#On-Policy Learning#Pre-training#Post-training
댓글 수 로딩 중

[논문리뷰] CHIMERA: Compact Synthetic Data for Generalizable LLM Reasoning

본 논문은 LLM의 추론 후속 훈련 과정에서 발생하는 콜드 스타트 문제, 제한된 도메인 커버리지, 주석 병목 현상 이라는 세 가지 핵심 데이터 관련 문제를 해결하는 것을 목표로 합니다. 특히, 인간 주석 없이 컴팩트하면서도 일반화 가능한 고품질 합성 추론 데이터셋 을 구축하여 이 문제를 해결하고자 합니다.
#Review#Synthetic Data#LLM Reasoning#Chain-of-Thought#Data Efficiency#Post-training#Generalization#Quality Control#Domain Coverage
댓글 수 로딩 중

[논문리뷰] WorldCompass: Reinforcement Learning for Long-Horizon World Models

본 논문은 상호작용적 비디오 기반 세계 모델(world models)의 장기적인 탐색 정확도와 일관성을 향상시키기 위해, 강화 학습(RL) 기반의 후처리 훈련 프레임워크인 WorldCompass 를 제안합니다.
#Review#Reinforcement Learning#World Models#Video Generation#Autoregressive Generation#Long-Horizon#Post-training#Diffusion Models#Reward Functions
댓글 수 로딩 중

[논문리뷰] The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models

본 논문은 대규모 언어 모델(LLM)이 기본적으로 가지는 'AI Assistant' 페르소나의 구조를 심층적으로 탐구하고, 이 페르소나가 특정 상황에서 벗어나 부적절하거나 유해한 행동으로 이어지는 '페르소나 드리프트' 현상을 해결하는 것을 목표로 합니다.
#Review#Language Models#Persona Control#Activation Steering#Persona Drift#Alignment#Post-training#Interpretability#Safety
댓글 수 로딩 중

[논문리뷰] STEP3-VL-10B Technical Report

본 연구는 경량화된 오픈소스 파운데이션 모델인 STEP3-VL-10B 를 통해 효율성과 최첨단 멀티모달 지능 간의 균형을 재정의하는 것을 목표로 합니다. 특히, 제한된 파라미터 예산 내에서 복잡한 추론 및 지각 능력을 발전시키는 데 중점을 둡니다.
#Review#Multimodal Large Language Models#Vision-Language Models#Reinforcement Learning#Parallel Coordinated Reasoning#Model Efficiency#Foundation Models#Pre-training#Post-training
댓글 수 로딩 중

[논문리뷰] Souper-Model: How Simple Arithmetic Unlocks State-of-the-Art LLM Performance

본 논문은 방대한 자원과 시간이 소요되는 LLM 훈련의 한계를 극복하고, 기존의 균일 가중치 모델 수핑(model souping) 및 임의적인 모델 선택의 단점을 해결하고자 합니다.
#Review#Model Souping#Large Language Models#Weighted Averaging#Benchmark Optimization#State-of-the-Art#Category Experts#Parameter Averaging#Post-training
댓글 수 로딩 중

[논문리뷰] Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models

본 논문은 비디오 이해의 복잡한 시공간적 관계, 장기 의존성, 다중 모달 증거 통합 추론 문제를 해결하기 위해 Video-Large Multimodal Models (Video-LMMs) 의 '포스트 트레이닝(Post-training)' 방법론을 최초로 포괄적으로 분석하는 것을 목표로 합니다.
#Review#Video Reasoning#Large Multimodal Models (LMMs)#Post-training#Supervised Fine-tuning (SFT)#Reinforcement Learning (RL)#Test-Time Scaling (TTS)#Chain-of-Thought (CoT)
댓글 수 로딩 중

[논문리뷰] Reconstruction Alignment Improves Unified Multimodal Models

논문은 통합 멀티모달 모델(UMM)이 이미지-텍스트 쌍으로 훈련될 때 캡션의 희소성으로 인해 미세한 시각적 디테일을 놓치고, 이해와 생성 간의 정렬이 불완전하다는 문제를 해결하고자 합니다.
#Review#Unified Multimodal Models#Image Generation#Image Editing#Post-training#Self-supervised Learning#Reconstruction Alignment#Visual Embeddings
댓글 수 로딩 중

[논문리뷰] Why Language Models Hallucinate

본 논문은 대규모 언어 모델(LLM)이 '환각' 현상, 즉 그럴듯하지만 틀린 정보를 자신감 있게 생성하는 이유를 통계적으로 분석하고, 이러한 문제가 최신 모델에서도 지속되는 근본적인 원인을 밝히는 것을 목표로 합니다.
#Review#Language Models#Hallucination#Pretraining#Post-training#Evaluation Metrics#Binary Classification#Uncertainty Quantification#Calibration
댓글 수 로딩 중

[논문리뷰] Jointly Reinforcing Diversity and Quality in Language Model Generations

대규모 언어 모델(LM)의 후처리 과정에서 발생하는 다양성 감소 문제를 해결하는 것이 주요 목표입니다. 기존 후처리 방식이 정확도와 유용성에 초점을 맞춰 출력 분포가 과도하게 좁아지고 아이디어 범위가 축소되는 현상을 방지하며, 응답 품질과 의미론적 다양성을 동시에 최적화하는 방법을 제시하고자 합니다.
#Review#Reinforcement Learning#Language Models#Diversity Optimization#Quality Enhancement#Semantic Clustering#Post-training#Generative AI
댓글 수 로딩 중