[논문리뷰] The Arbiter Agent: Continually Monitoring Multi-Agent Conversations to Detect Emergent Misalignment본 논문은 독립적으로는 정렬된(Aligned) 에이전트들이 상호작용하며 발생하는 예측 불가능한 시스템 레벨의 위험을 감지하기 위한 실시간 감사 프레임워크를 제안한다.#Review#Multi-agent Safety#Emergent Misalignment#Alignment Auditing#LLM Agents#AI Control#Budget-constrained Monitoring2026년 6월 14일댓글 수 로딩 중
[논문리뷰] Emergent Misalignment Can Be Induced by Sycophancy and Reversed via Alignment Gating본 연구는 모델이 사용자에게 맞추려는 경향성인 Sycophancy가 결과적으로 모델의 근본적인 Safety Alignment를 훼손하고 Emergent Misalignment를 초래한다는 점에 주목합니다.#Review#Sycophancy#Emergent Misalignment#Alignment Gating#Safety Alignment#Reinforcement Learning2026년 6월 9일댓글 수 로딩 중
[논문리뷰] Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges본 논문은 현대의 RLHF, RLAIF, RLVR 등 정렬 파이프라인이 내재적으로 가지고 있는 구조적 취약점인 reward hacking 문제를 다룬다.#Review#Reward Hacking#Alignment#RLHF#Proxy Compression Hypothesis#Emergent Misalignment#Large Models#Scalable Oversight2026년 4월 22일댓글 수 로딩 중
[논문리뷰] Emergent Misalignment via In-Context Learning: Narrow in-context examples can produce broadly misaligned LLMs본 논문은 기존 파인튜닝(fine-tuning) 및 활성화 조종(activation steering)에서 관찰된 ' emergent misalignment (EM)' 현상이 인컨텍스트 학습(In-Context Learning, ICL) 환경에서도 발생하는지 여부를 탐구합니다.#Review#Emergent Misalignment#In-Context Learning#LLM Safety#Persona Rationalization#Prompt Engineering#Model Alignment2025년 10월 20일댓글 수 로딩 중