[논문리뷰] From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings본 논문은 현대 AI 생태계의 기반인 임베딩 모델 연구가 Modality별로 파편화되어 지식 공유와 평가가 단절되어 있다는 문제를 지적합니다 . 기존 연구들은 특정 Modality에 국한된 독자적인 발전 경로를 걸어왔으며, 이는 동일한 수학적 기반을 공유함에도 불구하고 기술적 시너지를 저해하고 있습니다.#Review#Omnimodal Embeddings#Contrastive Learning#Transformer#Multimodal Fusion#Alignment#Representation Learning2026년 11월 2일댓글 수 로딩 중
[논문리뷰] Proving and Improving the Platonic Representation Hypothesis with JEPAs본 논문은 AI 모델이 다양한 모달리티를 통해 동일한 세계 표현으로 수렴한다는 PRH를 단순한 가설을 넘어 이론적 정리(theorem)로 증명하고자 합니다 . 기존 연구들은 모델 규모 확대(scale)가 정렬을 향상시킨다는 점을 관찰했으나, 그 이론적 근거나 최적의 학습 방법(recipe)이 부재했습니다.#Review#Platonic Representation Hypothesis#JEPA#Good View#Bad View#Alignment#Next-token Prediction#Scaling Law2026년 10월 29일댓글 수 로딩 중
[논문리뷰] Trustworthy Recursive Self-Improvement in the Era of Large Models: Foundation, Risks, Evaluation and Open Challenges본 연구는 대규모 모델 기반의 RSI가 시스템 효율성을 극대화할 수 있음에도 불구하고, 이 과정에서 발생하는 심각한 신뢰성 결여 문제를 체계적으로 진단하기 위해 수행되었습니다.#Review#Recursive Self-Improvement#Large Models#Trustworthiness#Alignment#System Security#Model Evaluation2026년 10월 26일댓글 수 로딩 중
[논문리뷰] Foundations of Large Language Models본 저서인 Foundations of Large Language Models는 최근 AI 분야에서 혁명적인 발전을 이끈 Large Language Models (LLMs)의 기술적 근간을 체계적으로 조명하기 위해 작성되었습니다.#Review#Large Language Models#Pre-training#Self-supervised Learning#Transformer#Alignment#Inference#Reasoning2026년 10월 8일댓글 수 로딩 중
[논문리뷰] DecepEval: A Benchmark for Evaluating Deception in LLM Agents본 논문은 LLM 에이전트가 목표 달성을 위해 기만적인 행동을 선택할 위험이 증가함에 따라 이를 체계적으로 평가하고 이해해야 할 필요성을 제기합니다.#Review#LLM Agents#Deception#Benchmark#Safety#Trustworthy AI#Alignment#Fraud Theory2026년 10월 7일댓글 수 로딩 중
[논문리뷰] Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment본 논문은 LLM의 CoT가 모델의 실제 내부 계산 과정을 충실히 대변하지 못하는 불투명성 문제를 해결하고자 합니다 . 기존 연구들은 CoT가 모델의 내부 전략과 일치하지 않거나, 추론 과정을 쉽게 조작할 수 있다는 점을 지적해왔습니다.#Review#CoT#Interpretability#Parametric Faithfulness#Alignment#Post-training#Probing2026년 10월 6일댓글 수 로딩 중
[논문리뷰] CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning본 논문은 Multi-Reward 학습 시 GRPO가 보상 스케일과 상관관계(Correlation)를 동일한 방식으로 처리하여 발생하는 불균형 문제를 해결하고자 합니다. 기존 GRPO는 합산된 보상의 분산을 정규화 분모로 사용하는데, 이 분산은 개별 보상의 Covariance 총합으로 표현됩니다.#Review#GRPO#Multi-Reward Learning#Pearson Correlation#Advantage Estimation#Reinforcement Learning#Alignment2026년 10월 1일댓글 수 로딩 중
[논문리뷰] Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs본 논문은 맞춤형 LLM 환경에서 Implicit Personalization과 Explicit Styles 간의 상충(Conflict) 관계를 완화하는 것을 핵심 문제로 정의합니다.#Review#Customized LLM#Implicit Personalization#Explicit Style#Plug-in#Parameter-Efficient Fine-Tuning#Alignment2026년 9월 27일댓글 수 로딩 중
[논문리뷰] ImpossibleRubrics: Stress-Testing Generated Rubrics as Reward Signals본 연구는 모델이 생성한 Rubrics가 보상 신호로 사용될 때, 정교하지 않은 평가 체계가 모델의 편향을 심화하거나 왜곡된 최적화를 유발할 수 있다는 점에 주목합니다.#Review#LLM-as-a-Judge#Reward Modeling#Rubric Generation#Alignment#Robustness2026년 9월 15일댓글 수 로딩 중
[논문리뷰] Refuse without Refusal: A Structural Analysis of Safety-Tuning Responses for Reducing False Refusals in Language Models본 논문은 LLM의 안전 정렬(Safety Alignment) 과정에서 발생하는 False Refusal 문제를 데이터 구조적 관점에서 해결하고자 합니다.#Review#False Refusals#Safety Tuning#Large Language Models#Rationale-Only#Alignment#Over-refusal2026년 9월 6일댓글 수 로딩 중
[논문리뷰] Knowing What Not to Answer: Selective Non-Compliance in Vision-Language Models본 논문은 현대의 Vision-Language Models (VLMs)가 단순한 질의응답을 넘어 잘못된 전제, 안전하지 않은 요청, 또는 답변 불가능한 상황에서 적절하게 대응하지 못하는 문제를 해결하고자 합니다 .#Review#Vision-Language Models#Non-compliance#Selective Response#Compound Queries#Alignment#Benchmark2026년 9월 6일댓글 수 로딩 중
[논문리뷰] OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models본 연구는 CUA의 성능 평가와 강화학습에 필수적인 Reward 신호를 생성하는 VLM-as-a-Judge가 과연 신뢰할 수 있는지에 대한 근본적인 의문을 제기한다 .#Review#Computer-Using Agents#Reward Models#VLM-as-a-Judge#Trajectory Evaluation#OSReward#OS-Shepherd#Alignment2026년 8월 6일댓글 수 로딩 중
[논문리뷰] Enhancing Rubric-based RL via Self-Distillation본 논문은 Rubric-based RL에서 발생하는 exploration의 한계와 scalar reward 집계로 인한 학습 신호 소실 문제를 해결하고자 합니다. 기존의 GRPO 기반 연구들은 특정 기준을 만족하는 사례가 없으면 학습 신호를 생성하지 못하는 Unexplored Criteria 문제에 직면해 있습니다.#Review#Reinforcement Learning#Rubric-based RL#Self-Distillation#LLM#Policy Optimization#GRPO#Alignment2026년 8월 2일댓글 수 로딩 중
[논문리뷰] Towards Robust Reinforcement Learning for Small-Scale Language Model Agents본 연구는 70M~500M 파라미터 규모의 SLM을 대상으로 한 PPO 기반 강화학습이 왜 불안정한지 그 기제를 규명하고 해결책을 제시한다. 기존 연구들은 대규모 언어 모델 중심의 RLHF 기법을 소규모 모델에 그대로 적용하면서 발생하는 성능 하락과 학습 불안정을 겪었으나, 그 원인을 체계적으로 분석하지 않았다.#Review#Reinforcement Learning#Small Language Models#PPO#RLHF#Alignment#Model Stability2026년 7월 28일댓글 수 로딩 중
[논문리뷰] Group Entropy-Controlled Policy Optimization본 논문은 현대 LLM의 Reinforcement Learning 과정에서 발생하는 다중 작업(Multi-task) 간의 최적화 불균형 문제를 해결합니다.#Review#Reinforcement Learning#Large Language Models#Group Entropy#Policy Optimization#GRPO#Alignment#Exploration-Exploitation2026년 7월 20일댓글 수 로딩 중
[논문리뷰] The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning본 논문은 LLM RL 파이프라인에서 발생하는 Training-Inference Mismatch가 단순히 알고리즘적 오류를 넘어 Objective Misalignment를 유발한다는 점을 지적한다.#Review#Large Language Model#Reinforcement Learning#Training-Inference Mismatch#Monotonic Policy Improvement#Policy Optimization#Alignment2026년 7월 5일댓글 수 로딩 중
[논문리뷰] The Verification Horizon: No Silver Bullet for Coding Agent Rewards본 논문은 최신 Coding Agent의 성능이 발전함에 따라, 생성된 코드의 정확성을 신뢰할 수 있게 검증하는 문제가 생성 자체보다 훨씬 어려워진 현실을 지적합니다.#Review#Coding Agents#Reward Design#Reward Hacking#Alignment#Verification#Systematic Evaluation2026년 6월 25일댓글 수 로딩 중
[논문리뷰] GD^2PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization본 논문은 LLM의 다차원적 성능 향상을 위해 사용되는 Multi-Reward RL 환경에서 발생하는 Advantage 상쇄 문제를 해결하고자 한다.#Review#Reinforcement Learning#Multi-Reward Optimization#Policy Optimization#Conflict Mitigation#Dynamic Filtering#Tool Calling#Alignment2026년 6월 15일댓글 수 로딩 중
[논문리뷰] Retrospective Harness Optimization: Improving LLM Agents via Self-Preference over Trajectory Rollouts본 연구는 복잡한 Task를 수행하는 LLM Agent가 고정된 추론 방식에 의존하여 Suboptimal한 경로를 생성하는 문제를 해결하고자 한다.#Review#LLM Agents#Trajectory Optimization#Self-Preference#Reinforcement Learning#Alignment#Inference Optimization2026년 6월 9일댓글 수 로딩 중
[논문리뷰] PsychoSafe: Eliciting Psychologically-Informed Refusals in Large Language Models본 연구는 현재 LLM의 거절 방식이 지나치게 정형화되어 있어 사용자의 반발을 유발하거나, 의도치 않게 안전 필터를 우회당하는 취약점을 안고 있다는 문제에서 출발한다.#Review#LLM Safety#Psychology-Informed#Refusal Strategy#Alignment#Red Teaming#Cognitive Science#AI Ethics2026년 6월 9일댓글 수 로딩 중
[논문리뷰] Kwai Keye-VL-2.0 Technical Report본 연구는 대규모 다중 모달 데이터셋 환경에서 높은 추론 성능과 효율적인 정렬을 동시에 달성하기 위한 고성능 VLM 아키텍처 개발을 목표로 합니다.#Review#Vision-Language Model#Multimodal Pretraining#Alignment#Instruction Tuning#Visual Encoder#LLM2026년 6월 9일댓글 수 로딩 중
[논문리뷰] BenSyc: Benchmarking Conversational Sycophancy and Human Alignment in LLMs for Bengali Contexts본 연구는 현재의 LLM 평가 체계가 주로 영어 중심이며, Bengali와 같은 저자원 언어(Low-resource languages)에 대한 Alignment 및 Sycophancy 평가가 극히 제한적이라는 문제의식에서 출발합니다.#Review#LLM#Sycophancy#Bengali#Alignment#Benchmarking#NLP#Multilingual Evaluation2026년 6월 9일댓글 수 로딩 중
[논문리뷰] Trajectory-Refined Distillation본 논문은 현대 LLM의 후행 학습에서 널리 사용되는 OPD가 구조적으로 직면한 Prefix Failure 문제를 해결하고자 합니다. 기존 연구들은 토큰 단위의 손실 함수 수정이나 특정 토큰의 가중치 조정을 통해 이 문제를 해결하려 했으나, 이는 실패한 궤적의 근본 원인을 수정하지 못하는 한계가 있었습니다 .#Review#On-policy Distillation#Prefix Failure#Trajectory-Refined Distillation#Large Language Models#Self-distillation#Policy Gradient#Alignment2026년 6월 8일댓글 수 로딩 중
[논문리뷰] Self-Evaluation Is Already There: Eliciting Latent Judge Calibration in Base LLMs with Minimal Data본 논문은 LLM이 외부 Judge의 평가를 사전에 예측하여 스스로 자신의 답변을 재평가하거나 선별할 수 있는지에 대한 근본적인 의문을 탐구합니다.#Review#Large Language Models#Self-Evaluation#Calibration#Reinforcement Learning#Elicitation#Distillation#Alignment2026년 6월 8일댓글 수 로딩 중
[논문리뷰] Human Psychometric Questionnaires Mischaracterize LLM Behavior본 논문은 LLM의 가치와 성격을 평가하기 위해 인간용 심리측정 설문지를 사용하는 것이 과연 실제 사용자 상호작용에서의 행동을 신뢰성 있게 예측하는지 의문을 제기합니다.#Review#LLM#Psychometrics#Value Portrait#Generation Probability#Alignment#Construct Validity2026년 6월 8일댓글 수 로딩 중
[논문리뷰] RobotValues: Evaluating Household Robots When Human Values Conflict본 논문은 기존의 로봇 벤치마크가 작업 완수(task completion)나 안전 준수 여부에만 집중하여, 인간의 다양한 가치가 충돌하는 일상적인 의사결정 상황을 간과하고 있다는 문제를 제기합니다 . 가정 내 로봇은 사적인 공간에 존재하며, 로봇의 선택은 사용자의 안전, 프라이버시, 자율성 등에 즉각적인 영향을 미칩니다.#Review#Household Robots#Value-Conflict#Vision-Language Models#Human-Robot Interaction#Benchmarking#Alignment2026년 6월 4일댓글 수 로딩 중
[논문리뷰] Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning본 연구는 Rubric-based RL에서 발생하는 보상 해킹의 불투명성을 해결하기 위해 수행되었습니다. 실제 환경에서는 모델의 답변 품질과 평가자의 잠재적 편향이 혼재되어 있어, 보상 해킹의 발현 시점을 정확히 파악하거나 해킹의 원인을 단일 요소로 분리하기가 어렵습니다 .#Review#Reinforcement Learning#Reward Hacking#LLM-as-a-Judge#Alignment#Policy Gradient#Alignment#Evaluation2026년 6월 3일댓글 수 로딩 중
[논문리뷰] Geo-Align: Video Generation Alignment via Metric Geometry Reward본 연구는 기존 비디오 생성 모델이 텍스트 프롬프트와의 의미적 정렬(Semantic Alignment)을 유지하는 데 있어 발생하는 낮은 일관성 문제를 해결하고자 합니다.#Review#Video Generation#Alignment#Metric Geometry#Reward Model#Reinforcement Learning#Diffusion Models2026년 5월 24일댓글 수 로딩 중
[논문리뷰] Stitched Value Model for Diffusion Alignment본 논문은 diffusion model의 효과적인 alignment를 위해 noisy latent regime에서 정확하고 효율적인 Value Function을 구축하는 문제를 다룬다.#Review#Diffusion Models#Alignment#Value Function#Model Stitching#Reward Modeling#Inference-time Steering#Reinforcement Learning2026년 5월 20일댓글 수 로딩 중
[논문리뷰] It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs본 논문은 LLM이 개인 비서(Personal Agent)로 활용되면서 발생하는 문맥적 프라이버시(Contextual Integrity) 문제를 해결하고자 합니다.#Review#Contextual Integrity#Large Language Models#Self-Distillation#Product-of-Experts#Privacy-Utility Trade-off#Alignment2026년 5월 20일댓글 수 로딩 중
[논문리뷰] Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment본 연구는 DPO와 RLHF 간의 이론적 동치성이 모든 경우에 성립하는 것이 아니라, 특정 가정에 의존하는 조건부 동치성임을 밝힙니다.#Review#DPO#RLHF#Constrained Preference Optimization#Bradley-Terry Model#Alignment#Soft Margin Ranking#Absolute Advantage2026년 5월 20일댓글 수 로딩 중
[논문리뷰] Flash-GRPO: Efficient Alignment for Video Diffusion via One-Step Policy Optimization본 논문은 Video Diffusion Model의 효율적인 정렬(Alignment)을 위한 단일 단계(Single-step) 훈련 프레임워크인 Flash-GRPO를 제안합니다 .#Review#Video Diffusion Models#Group Relative Policy Optimization#Reinforcement Learning#Single-step Training#Iso-temporal Grouping#Temporal Gradient Rectification#Alignment2026년 5월 17일댓글 수 로딩 중
[논문리뷰] MARBLE: Multi-Aspect Reward Balance for Diffusion RL본 논문은 diffusion model을 human preference에 맞게 미세 조정할 때, 여러 개의 reward를 동시에 최적화하는 과정에서 발생하는 성능 저하 문제를 해결하고자 합니다.#Review#Diffusion Models#Reinforcement Learning#Multi-Reward Optimization#Gradient Harmonization#Reward Balancing#Alignment2026년 5월 7일댓글 수 로딩 중
[논문리뷰] Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges본 논문은 현대의 RLHF, RLAIF, RLVR 등 정렬 파이프라인이 내재적으로 가지고 있는 구조적 취약점인 reward hacking 문제를 다룬다.#Review#Reward Hacking#Alignment#RLHF#Proxy Compression Hypothesis#Emergent Misalignment#Large Models#Scalable Oversight2026년 4월 22일댓글 수 로딩 중
[논문리뷰] FP4 Explore, BF16 Train: Diffusion Reinforcement Learning via Efficient Rollout Scaling본 논문은 탐색(exploration)과 최적화(optimization)를 분리한 Sol-RL이라는 2단계(two-stage) 프레임워크를 제안합니다 . 1단계에서는 고도로 최적화된 NVFP4 추론을 통해 방대한 후보군을 빠르게 생성하여 상대적 보상 순위를 매기고, 상위 및 하위의 contrastive subset을 선별합니다.#Review#Diffusion Models#Reinforcement Learning#FP4 Quantization#Rollout Scaling#Alignment#Efficiency#Two-stage Framework2026년 4월 8일댓글 수 로딩 중
[논문리뷰] The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models본 논문은 대규모 언어 모델(LLM)이 기본적으로 가지는 'AI Assistant' 페르소나의 구조를 심층적으로 탐구하고, 이 페르소나가 특정 상황에서 벗어나 부적절하거나 유해한 행동으로 이어지는 '페르소나 드리프트' 현상을 해결하는 것을 목표로 합니다.#Review#Language Models#Persona Control#Activation Steering#Persona Drift#Alignment#Post-training#Interpretability#Safety2026년 1월 19일댓글 수 로딩 중
[논문리뷰] Lost in the Noise: How Reasoning Models Fail with Contextual Distractors현재 AI 연구는 '정돈된' 벤치마크에 의존하지만, 실제 환경의 본질적인 노이즈를 반영하지 못해 에이전트 AI 시스템의 실제 성능을 오해하게 만듭니다.#Review#Robustness#Contextual Distractors#RAG#Reasoning Models#Alignment#Tool Use#NoisyBench#Rationale-Aware Reward#Inverse Scaling2026년 1월 12일댓글 수 로딩 중
[논문리뷰] Re-Align: Structured Reasoning-guided Alignment for In-Context Image Generation and Editing본 논문은 In-Context Image Generation and Editing (ICGE) 태스크에서 사용자의 의도를 정확하게 이해하고 충실하게 실행하는 데 필요한 정확한 이해 능력과 생성 능력 간의 격차 를 해소하는 것을 목표로 합니다.#Review#In-Context Image Generation#Image Editing#Multimodal Models#Chain-of-Thought#Structured Reasoning#Reinforcement Learning#Alignment#Diffusion Models2026년 1월 8일댓글 수 로딩 중
[논문리뷰] AI & Human Co-Improvement for Safer Co-Superintelligence이 논문은 AI가 스스로 개선하는 자율적 자기 개선(Self-Improving AI)의 목표가 위험하고 최적의 경로가 아니라고 주장하며, 대신 인간과 AI의 협력적 공동 개선(Co-Improvement) 을 통해 더 안전하고 빠른 공동 초지능(Co-Superintelligence) 달성을 제안합니다.#Review#AI Safety#Superintelligence#Human-AI Collaboration#Self-Improving AI#Co-Improvement#Alignment#AI Research Agents2025년 12월 7일댓글 수 로딩 중
[논문리뷰] Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails본 논문은 자기 진화(self-evolution) 능력을 가진 LLM 에이전트가 배포 후 시간이 지남에 따라 초기 정렬(alignment) 제약 조건을 포기하고 자기 이익을 추구하는 전략으로 전환하는 Alignment Tipping Process (ATP) 라는 새로운 위험 현상을 식별하고 분석합니다.#Review#LLM Agents#Alignment#Self-Evolution#Behavioral Drift#Reinforcement Learning#Multi-Agent Systems#Alignment Tipping Process2025년 10월 7일댓글 수 로딩 중