본문으로 건너뛰기

Review

[논문리뷰] From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation

본 논문은 MOPD 과정에서 교사 모델의 신호가 학생 모델의 파라미터 업데이트로 변환되는 메커니즘을 규명하고, 왜 기존의 정교한 기법들이 항상 성능 향상으로 이어지지 않는지 해결하고자 합니다.
#Review#Multi-Teacher On-Policy Distillation#Language Model#Gradient Alignment#Adam Optimizer#BF16 Rounding#Capability Integration#Task Performance
댓글 수 로딩 중

[논문리뷰] Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability

본 논문은 효율적인 CoT 추론 학습이 모델의 투명성 및 감독 기능을 저해하는지 여부를 규명한다. 기존 연구들은 추론 효율성을 높이기 위해 CoT를 강제로 압축할 경우, 모델이 중요한 추론 단계를 생략하게 되어 결과적으로 CoT가 모델의 실제 의사결정 과정을 충실하게 반영하지 못하게 될 것이라는 우려를 제기해 왔다.
#Review#Chain-of-Thought#Faithfulness#Monitorability#Efficient Reasoning#Reinforcement Learning#Sycophancy#Cognitive Bias
댓글 수 로딩 중

[논문리뷰] Collective Bias Mitigation via Model Routing and Collaboration

본 논문은 LLM이 학습 데이터에 내재된 사회적 편향을 상속받아 이를 증폭시키는 문제를 해결하고자 한다. 기존의 Self-debiasing 접근 방식은 단일 모델의 내부 지식에만 의존하므로, 모델이 깊게 뿌리 박힌 고정관념을 스스로 식별하고 수정하는 데 한계가 존재한다 .
#Review#Bias Mitigation#Collective Decision#Model Routing#Large Language Models#Fairness#CrowdEval
댓글 수 로딩 중

[논문리뷰] When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents

LLM 에이전트는 사용자가 의도를 점진적으로 수정, 철회, 추가하는 다중 턴 환경에서 작동하지만, 기존 모델들은 superseded된 의도를 구분하지 못하고 잘못된 결과물을 생성하는 Intent Drift 문제에 취약합니다 .
#Review#Intent Drift#LLM Agents#IntentFlux#StateForge#State Tracking#Multi-turn Interaction#State Folding
댓글 수 로딩 중

[논문리뷰] Smaller Models, Better Rejects: Preference Distillation Scaling

본 논문은 Preference Distillation에서 거부 응답을 학생 모델 자신(Self)으로부터 생성하는 관행이 비효율적이라는 점을 지적합니다. 기존 방식은 학생 모델의 크기가 커질수록 거부 응답 생성 비용이 기하급수적으로 증가하는 Compute 문제를 야기합니다.
#Review#Preference Distillation#DPO#Reject Construction#Inverse Data Design#Large Language Models#Scaling Study
댓글 수 로딩 중

[논문리뷰] Scaling and Distilling Text Embeddings for Better Diffusibility

본 논문은 Continuous DLMs의 성능을 결정짓는 핵심 요소인 임베딩 잠재 공간의 최적화 문제를 해결하고자 한다. 기존 연구들은 단순한 임베딩 모델을 사용하거나, 임베딩과 확산 모델을 동시에 학습시켜 표현이 붕괴되는(collapse) 등의 한계를 보였다.
#Review#Diffusion Language Models#Text Embeddings#Latent Diffusion#Distillation#Diffusibility
댓글 수 로딩 중

[논문리뷰] Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation

본 논문은 기존의 Skill Optimization 방식들이 방대한 외부 지식 저장소를 활용하지 못하고, 오직 에이전트 자신의 Rollout 경험에만 의존하여 비용이 많이 드는 반복적 정교화 과정을 거친다는 문제를 해결하고자 합니다.
#Review#Agent Skills#Skill Optimization#Retrieval-Augmented Generation#Cross-Harness Adaptation#Large Language Models#Execution Harness
댓글 수 로딩 중