[논문리뷰] How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates

링크: 논문 PDF로 바로 열기

저자: Max Neuwinger, Hanna Yukhymenko, Imanol Schlag (ETH Zurich)

1. Key Terms & Definitions (핵심 용어 및 정의)

• Template (typed slots): 원본 harmful prompt에서 유해성을 만드는 단어나 구("harm-bearing" phrases)를 <illicit_substance> 같은 placeholder tag로 바꾼, 그 자체로는 무해한 질문 틀이다. 정렬이 잘 된 generator가 유해 prompt의 번역이나 변형을 거부하는 문제를 피하기 위해 쓰인다.
• TR / OR / PH branches: template을 채우는 세 가지 augmentation branch다. TR은 일반적인 harmful 값을 채운 번역 변형이고, OR은 benign 값을 채운 minimal pair로 over-refusal 측정과 학습에 쓰인다. PH는 언어별 cultural card의 실제 현지 entity를 사후(post-hoc)에 채운 culturally localized 변형이다.
• Cultural Card: 언어마다 자동 생성한 문서로, 현지에서 의미 있는 집단, 조직, 사건, 개념, 기관을 정리한 것이다. Gemma-4-31B-IT가 생성하고 Gemini Flash 3.6이 검증한다.
• ASR (Attack Success Rate) / OR (Over-refusal): ASR은 harmful prompt에 unsafe compliance로 답한 비율이고, OR은 benign direct pair를 거부한 비율이다. 두 지표 모두 GPT-OSS-Safeguard-120B가 판정한다.
• MSafeTemp: 이 파이프라인으로 만든 multilingual safety corpus다. WildGuard training track(44개 언어)과 HarmBench evaluation track(60개 언어)으로 구성된다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문이 풀려는 문제는 safety alignment가 English 중심이어서 low-resource language와 문화 특화 harm에서는 모델이 쉽게 뚫린다는 점이다. 이를 위한 multilingual 학습 및 평가 데이터를 대규모로 자동 생성하는 것이 목표다. 영어에서는 거부되던 prompt도 번역하고 현지 맥락(현지 극단주의 단체, 역사적 잔혹 행위, 특정 공동체 비하 표현 등)에 맞게 바꾸면 같은 모델이 응답할 수 있다. 저자들은 기존 접근의 한계를 네 가지로 정리한다.

• Native speaker 모집은 민감한 작업이라 비용이 크고 느리다.
• Human red-teaming은 품질이 가장 높지만 low-resource language까지 대규모로 다루지 못한다.
• Machine translation은 영어 entity를 그대로 유지해 현지 맥락을 반영하지 못한다.
• LLM 기반 synthetic generation은 내용이 본질적으로 유해하기 때문에 generator 자신의 refusal에 막힌다.

기존 benchmark(XSTest, OR-Bench, LinguaSafe, MORBench, PolyGuard 등)는 특정 지역만 다루거나 low-resource language를 제외한다. 같은 template에서 나온 harmful/benign 통제 변형도 제공하지 않는다. 저자들은 연구 질문으로 다음 세 가지를 제시한다.

• RQ1: 기존 open model의 safety가 영어 밖으로 일반화되는가?
• RQ2: template 파이프라인으로 human 개입 없이 데이터 생성을 확장할 수 있는가?
• RQ3: 이 데이터로 학습하면 over-refusal을 키우지 않고 multilingual safety gap을 줄일 수 있는가?

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 harmful prompt의 질문 틀과 유해 entity를 분리하는 template-based augmentation pipeline을 제안한다. 파이프라인은 네 가지 요구사항을 충족하도록 설계됐다: R1 harm fidelity, R2 linguistic correctness, R3 cultural authenticity, R4 over-refusal control. 생성 과정은 다음 네 단계다.

1. harm-bearing phrase를 추출해 slot으로 바꾼다.
2. 첫 번째 judge가 template이 유효하고 self-contained인지 검증한다.
3. placeholder tag는 고정한 채 주변 텍스트만 번역한다.
4. 두 번째 judge가 언어 일관성, 번역 품질, slot 보존 여부를 확인한다.

생성은 Gemma-4-31B-IT, judge는 GPT-OSS-120B, 평가는 GPT-OSS-Safeguard-120B가 맡아 generator와 judge를 분리했다. seed마다 언어별로 main template 1개와 paraphrase 2개를 만들고, template마다 5개 fill을 적용해 최대 15개 harmful variant를 얻는다. seed는 HarmBench 200개(평가 전용)와 WildGuardMix 2,500개(학습용 2,000개, held-out test 500개)를 사용했다.

데이터 규모와 품질 (RQ2)

• WildGuard track은 harmful 1,537,628개, benign 186,639 + 20,528개(direct + bounded), PH 97,120개로 총 약 1.8M개다.
• HarmBench track은 216,486개 prompt로 확장됐고 60개 언어를 다룬다.
• harmful slot에는 2.8M개 이상의 distinct entity가 들어갔다(distinct-to-total ratio 약 0.7).
• IRB 승인을 받은 human study(11개 언어, 600개 판정)에서 naturalness는 4.43/5, cultural fit은 4.46/5를 받았다.
• 평가자들은 harmful label의 91%에 동의했지만 benign label은 65%만 동의했다. 따라서 benign pair 기준의 over-refusal은 실제보다 과대평가됐을 수 있다.

Safety gap 평가 (RQ1)

• Olmo-3.1-32B-Instruct의 HarmBench ASR은 영어 원본 0%에서 번역본 13.7%로 올랐다.
• WildGuard test에서는 번역 변형이 Olmo, Gemma, Apertus 두 모델을 영어 대비 2.4–4.4× 더 자주 뚫었다.
• 반대로 Llama-3.3-70B는 영어에서 가장 취약했다(HarmBench 13.0%). 즉 영어 결과로 다른 언어의 safety를 예측할 수 없다.
• PH는 TR과 비슷한 빈도로 모델을 뚫지만, 뚫는 behavior의 겹침은 절반에 못 미친다(Jaccard 0.40–0.45). arm-specific failure의 약 45%는 현지 entity로만 드러났다.
• 강하게 거부하는 모델은 over-refusal이 컸다. GPT-OSS-20B는 benign pair의 32–45%를 거부했다. ASR과 OR을 동시에 낮춘 모델은 HarmBench에서의 Qwen3.5-27B 등 소수뿐이었다.

학습 실험 (RQ3) SFT 1 epoch 후 on-policy DPO를 적용했다.

• Apertus-8B-2509 Base에서 HB ASR은 14.2 → 1.5, WG ASR은 3.1 → 0.5로 떨어졌다.
• Olmo-3-7B IT에서 HB ASR은 21.5 → 2.9로 줄었다.
• SFT는 over-refusal을 높이는 경향이 있고(Olmo HB OR 2.7 → 28.4), DPO가 이를 상당 부분 되돌린다(19.8).
• 비용으로 capability가 일부 떨어졌다. MMLU 하락은 작았지만 GSM8K 하락은 더 컸다(Llama-3.1-8B IT 84.0 → 68.5).
• 학습에 쓰지 않은 언어에서도 학습 언어와 비슷한 수준의 개선이 나타나, 단순 암기가 아니라 cross-lingual transfer가 일어났음을 보여준다.

4. Conclusion & Impact (결론 및 시사점)

이 논문은 질문 틀과 유해 entity를 분리하는 template 기반 파이프라인으로 low-resource 언어를 포함한 대규모 multilingual safety 데이터를 자동 생성할 수 있음을 보였다. 그 결과물인 MSafeTemp는 평가와 학습 양쪽에 유용하다. safety는 영어 밖으로 고르게 일반화되지 않고, gap의 방향은 모델마다 다르다. culturally localized 변형은 번역만으로는 드러나지 않는 failure를 찾아낸다. 따라서 multilingual safety 연구는 English refusal rate만으로 충분하다고 보지 말고 언어, 문화, safety, helpfulness를 함께 평가해야 한다는 것이 저자들의 주장이다.

산업계 측면에서는 dataset, code, cultural card를 permissive license로 공개해 특정 언어 중심 모델의 alignment를 확장할 기반을 제공한다. 저자들이 밝힌 한계는 다음과 같다.

• LLM judge에 크게 의존한다.
• human study 규모가 작다.
• harm label을 영어 seed에서 그대로 물려받는다.
• single-turn prompt만 다룬다.
• RL 기반 학습은 다루지 않았다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.