[논문리뷰] CLEAR: Continuous Latent Adapter Routing for Utility-Preserving LLM Safety Alignment

링크: 논문 PDF로 바로 열기

메타데이터

저자: Chengxiao Wang, Enyi Jiang, Xiaojing Liao, Sanmi Koyejo, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• CLEAR (Continuous Latent Adapter Routing): 입력 프롬프트의 위험도를 사전에 감지하여, 학습된 Hidden-state gate를 통해 LoRA 어댑터의 활성화 강도를 동적으로 제어하는 조건부 안전 정렬 프레임워크입니다.
• Alignment Tax: 전역적인(Global) 안전 정렬 과정에서 발생하는 부작용으로, 모델의 안전성은 높아지지만 일반적인 과업 수행 능력(Utility)이 저하되거나 과도한 거부(Over-refusal)가 나타나는 현상을 의미합니다.
• Hidden-state Gate: 모델의 중간 레이어에서 추출한 히든 스테이트(Hidden state)를 기반으로 입력을 분석하고, [0, 1] 범위의 연속적인 라우팅 점수(Routing score)를 출력하여 안전 개입의 강도를 조절하는 경량 MLP 모듈입니다.
• Safety LoRA: 모델의 Backbone은 동결(Frozen)한 채, 위험한 입력으로 판명된 경우에만 활성화되어 거부(Refusal) 또는 안전한 답변 생성 정책을 강제하는 특정 과업 최적화 어댑터입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM의 안전 정렬 시 발생하는 Alignment Tax 문제를 해결하기 위해, 입력을 조건부로 처리하는 새로운 프레임워크를 제안합니다. 기존의 SFT(Supervised Fine-Tuning)나 전역적 LoRA 방식은 안전하지 않은 입력과 유해하지 않은 일반 입력 모두에 동일한 안전 정렬 파라미터를 적용하여, 모델의 원래 추론 성능을 훼손하거나 유익한 입력까지 불필요하게 거부하는 한계를 보입니다. 저자들은 이러한 전역적 개입 방식이 안전성과 유용성 사이의 비효율적인 trade-off를 야기한다고 지적합니다. 따라서 안전한 입력에 대해서는 Backbone의 원본 성능을 유지하고, 위험한 입력에만 선택적으로 개입하는 정교한 제어 메커니즘이 필수적입니다. [Figure 1]

3. Method & Key Results (제안 방법론 및 핵심 결과)

제안하는 CLEAR는 모델의 Backbone을 동결하고, 경량의 Hidden-state gate와 안전 특화 LoRA 어댑터를 결합하여 입력 조건부 라우팅을 수행합니다. 게이트는 Subtype-aware 분류 손실과 Hard pairwise margin 손실을 통해 유해한 프롬프트와 일반적인 프롬프트를 잠재 공간(Latent space) 내에서 효과적으로 구분하도록 최적화됩니다. 모델은 예측된 위험 점수 $g(x) \in [0, 1]$에 따라 어댑터의 영향력을 연속적으로 조절하며, 이를 통해 유해한 요청에는 강력한 거부 정책을 적용하고 무해한 요청에는 모델의 기본 성능을 최대한 보존합니다 [Figure 1].

성능 평가 결과, Llama-3-8B-Instruct 모델에서 CLEAR는 HarmBench ASR을 32.3%에서 0.5%로 대폭 감소시키면서도, 기존 SFT 및 표준 LoRA 대비 GSM8K 정확도에서 약 7.1%p 높은 성능을 유지하였습니다 [Table 1]. 또한, 다양한 모델 크기에서도 효과적인 확장성을 입증하였으며, 특히 Latent Space Adaptive Attack 상황에서 기존 정렬 방식보다 압도적인 방어 강건성(Robustness)을 보였습니다 [Figure 3].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 CLEAR 프레임워크를 통해 LLM의 안전 정렬 과정에서 흔히 발생하는 안전-유용성 trade-off를 효과적으로 완화할 수 있음을 입증했습니다. 이 접근 방식은 모델 전체를 튜닝하지 않고도 입력에 따른 조건부 안전 개입을 가능하게 함으로써, 성능 손실을 최소화하면서 강력한 안전 가드레일을 구축할 수 있는 실용적인 해결책을 제시합니다. 향후 게이트의 적응형 강건성 확보 및 분포 변화(Distribution shift)에 대한 대응력 향상이 추가적인 연구 방향이 될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.