[논문리뷰] ZooWork-ShopRanker: An Open, Preference-Aligned E-Commerce Reranker본 연구는 기존의 범용(general) 웹 리트리버 및 리랭커 모델이 이커머스 환경의 특수성을 고려하지 못해 발생하는 성능 저하 문제를 해결하고자 한다. 단순한 topical relevance를 넘어 소비자 개인의 제약 사항(constraints), 예산, 선호도를 판단하는 능력이 부족한 점이 주요 한계이다.#Review#E-commerce#Reranker#Preference Alignment#Distillation#LLM Judges#SHOPRANK-BENCH2026년 9월 27일댓글 수 로딩 중
[논문리뷰] A Zeroth-Order Paradigm for LLM Preference Alignment본 연구는 기존 Preference Alignment 기법들이 요구하는 방대한 메모리 소비와 복잡한 Gradient 연산 문제를 해결하고자 합니다. 현존하는 RLHF나 DPO 방식은 높은 Memory Overhead와 모델 내부 구조에 대한 접근성을 요구하여 대규모 모델 적용 시 효율성이 저하되는 한계가 있습니다.#Review#Zeroth-Order Optimization#LLM#Preference Alignment#Reinforcement Learning#Gradient-free#Parameter-Efficient2026년 9월 16일댓글 수 로딩 중
[논문리뷰] PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization본 논문은 기존 DPO가 모든 관측된 preference label을 완벽하게 신뢰할 수 있는 ground truth로 가정함으로써 발생하는 오염 문제를 해결하고자 한다.#Review#Direct Preference Optimization#Label Noise#Preference Alignment#Posterior Label Correction#Robust Optimization2026년 9월 13일댓글 수 로딩 중
[논문리뷰] LAMAR: An Open Language-Aware Multilingual Alignment Reranker본 논문은 기존의 다국어 Reranker들이 Semantic Relevance만을 주로 고려하여 학습되어, 쿼리 언어와 일치하는 문서(same-language documents)를 일관되게 우선순위로 두지 못하는 문제를 해결하고자 한다.#Review#Multilingual Reranker#Language Coherence#Semantic Relevance#Retrieval-Augmented Generation (RAG)#Cross-Encoder#Knowledge Distillation#Preference Alignment2026년 7월 26일댓글 수 로딩 중
[논문리뷰] TuneJury: An Open Metric for Improving Music Generation Preference Alignment본 논문은 음악 생성 시스템의 평가와 선호도 정렬(Preference Alignment) 과정에서 기존 자동화 메트릭이 갖는 한계를 해결하고자 합니다.#Review#Reward Model#Music Generation#Preference Alignment#Pairwise Comparison#Text-to-Music#Anchor Calibration2026년 6월 15일댓글 수 로딩 중
[논문리뷰] DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models본 논문은 기존의 멀티태스크 강화학습(RL) 방식이 겪는 최적화 간섭(Optimization Interference)과 성능 불균형 문제를 해결하기 위해 고안되었습니다.#Review#Diffusion Models#On-Policy Distillation#Multi-Task Reinforcement Learning#Flow Matching#Preference Alignment2026년 5월 14일댓글 수 로딩 중
[논문리뷰] Online Self-Calibration Against Hallucination in Vision-Language Models본 논문은 기존의 offline 선호도 정렬 방식이 LVLM의 hallucination 문제를 해결하는 데 오히려 역효과를 낼 수 있다는 Supervision-Perception Mismatch 문제를 제기한다.#Review#Vision-Language Models#Hallucination#Monte Carlo Tree Search#Preference Alignment#DPO#Generative-Discriminative Gap#Online Learning2026년 5월 3일댓글 수 로딩 중
[논문리뷰] LeapAlign: Post-Training Flow Matching Models at Any Generation Step by Building Two-Step Trajectories본 논문은 Flow Matching 모델을 인간의 선호도에 맞게 정렬(alignment)하는 과정에서 기존 Direct-Gradient 방식들이 가진 고비용 메모리 문제와 그래디언트 폭주(gradient explosion) 문제를 해결하고자 합니다.#Review#Flow Matching#Preference Alignment#Direct-Gradient Method#Leap Trajectory#Trajectory-Similarity Weighting#Gradient Discounting2026년 4월 16일댓글 수 로딩 중
[논문리뷰] From Sparse to Dense: Multi-View GRPO for Flow Models via Augmented Condition Space최근 Diffusion/Flow Models은 Visual Content 생성에서 혁신적인 능력을 보여주고 있지만, 생성된 Outputs이 Human Preference 및 Task-specific Constraint에 Align되도록 하는 것은 여전히 중요한 과제입니다.#Review#Reinforcement Learning#GRPO#Diffusion Models#Flow Models#Preference Alignment#Condition Enhancement#Multi-View Learning2026년 3월 15일댓글 수 로딩 중
[논문리뷰] DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment본 논문은 Flow Matching Model 의 인간 선호도 정렬 과정에서 발생하는 희소 보상(Sparse Reward) 문제 를 해결하는 것을 목표로 합니다.#Review#Reinforcement Learning#Flow Matching Models#Dense Reward#Sparse Reward Problem#Preference Alignment#SDE Sampler#GRPO#Text-to-Image Generation2026년 2월 1일댓글 수 로딩 중
[논문리뷰] VIBE: Visual Instruction Based Editor본 논문은 기존의 대규모 및 고비용 이미지 편집 모델의 한계를 극복하고, 오픈소스 기반의 초고속, 컴팩트한 시각적 지시 기반 이미지 편집 시스템을 개발하는 것을 목표로 합니다.#Review#Instruction-Based Image Editing#Diffusion Models#Vision-Language Models (VLM)#Model Efficiency#Multi-stage Training#Preference Alignment#Source Consistency2026년 1월 15일댓글 수 로딩 중
[논문리뷰] Are LLMs Vulnerable to Preference-Undermining Attacks (PUA)? A Factorial Analysis Methodology for Diagnosing the Trade-off between Preference Alignment and Real-World Validity본 연구는 사용자 선호도에 맞춰 정렬된 대규모 언어 모델(LLM) 이 Preference-Undermining Attacks (PUA) 에 취약한지 규명하는 것을 목표로 합니다.#Review#Large Language Models#Preference Alignment#Preference-Undermining Attacks#Factorial Analysis#Sycophancy#Prompt Engineering#Truth-Deference Trade-off2026년 1월 14일댓글 수 로딩 중
[논문리뷰] Aligning Generative Music AI with Human Preferences: Methods and Challenges본 논문은 생성형 음악 AI 시스템이 계산적 최적화와 인간의 미적 감각 사이의 근본적인 격차로 인해 발생하는 문제를 해결하고, 인간의 미묘한 음악적 선호도에 더욱 잘 부합하도록 정렬하는 방법을 모색합니다.#Review#Generative Music AI#Preference Alignment#Reinforcement Learning from Human Feedback (RLHF)#Direct Preference Optimization (DPO)#Inference-Time Optimization#Music Generation#Human-Computer Interaction2025년 11월 19일댓글 수 로딩 중
[논문리뷰] Diffusion-SDPO: Safeguarded Direct Preference Optimization for Diffusion Models텍스트-이미지 확산 모델을 인간의 선호도에 맞춰 정렬하는 과정에서 발생하는 문제를 해결하는 것이 목표입니다.#Review#Diffusion Models#Direct Preference Optimization (DPO)#Safeguarded Learning#Text-to-Image Generation#Preference Alignment#Generative Models#Stable Diffusion2025년 11월 10일댓글 수 로딩 중
[논문리뷰] RL makes MLLMs see better than SFT본 논문은 MLLM(Multimodal Language Model) 연구에서 LLM 백본 에 대한 지배적인 가정으로 인해 비전 인코더 의 역할이 간과되어 왔다는 문제의식에서 출발합니다.#Review#Multimodal Language Models#Reinforcement Learning#Supervised Finetuning#Vision Encoder#Visual Representations#Direct Preference Optimization#Preference Alignment#PIVOT2025년 10월 21일댓글 수 로딩 중
[논문리뷰] Margin Adaptive DPO: Leveraging Reward Model for Granular Control in Preference Optimization본 논문은 고정된 온도(β) 파라미터 에 의존하여 다양한 선호도 데이터에서 과적합이나 학습 부족을 야기하는 기존 DPO(Direct Preference Optimization) 의 한계를 해결하는 것을 목표로 합니다.#Review#Direct Preference Optimization#Preference Alignment#Adaptive Regularization#Reward Model#Large Language Models#Sentiment Generation2025년 10월 8일댓글 수 로딩 중
[논문리뷰] A Contextual Quality Reward Model for Reliable and Efficient Best-of-N Sampling현재 선호도 정렬 기법인 Best-of-N (BoN) 샘플링 이 단순히 '더 나은' 응답을 선택할 뿐, '충분히 좋은' 응답의 절대적 허용 가능성을 판단하지 못하는 문제를 해결하고자 합니다.#Review#Reward Model#Best-of-N Sampling#Preference Alignment#Contextual Acceptability#Discrete Choice Model#Alignment Guardrail#Inference Accelerator2025년 10월 8일댓글 수 로딩 중
[논문리뷰] Improving Large Vision and Language Models by Learning from a Panel of Peers본 논문은 대규모 시각-언어 모델(LVLMs)의 성능을 향상시키기 위해 고가의 인간 주석 데이터에 대한 의존성을 줄이는 새로운 자체 개선 프레임워크인 'Panel-of-Peers(PoP)'를 제안합니다.#Review#Large Vision and Language Models (LVLMs)#Self-Improvement#Peer Learning#Preference Alignment#Reward Modeling#Multimodal Learning#Knowledge Transfer2025년 9월 3일댓글 수 로딩 중
[논문리뷰] MotionFlux: Efficient Text-Guided Motion Generation through Rectified Flow Matching and Preference Alignment본 논문은 기존 텍스트 기반 모션 생성 방법론이 겪는 언어적 설명과 모션 의미 간의 부정확한 정렬 및 느리고 비효율적인 다단계 추론 과정 의 문제를 해결하고자 합니다. 궁극적으로 강력한 의미론적 정렬, 고품질 모션 생성, 그리고 실시간 합성을 가능하게 하는 프레임워크를 개발하는 것이 목표입니다.#Review#Text-Guided Motion Generation#Rectified Flow Matching#Preference Alignment#Human Motion Synthesis#Real-time AI#Transformer Architecture#Self-supervised Learning2025년 8월 28일댓글 수 로딩 중