[논문리뷰] PluraMath: Extending Mathematical Reasoning Evaluation Beyond High-Resource Languages

링크: 논문 PDF로 바로 열기

저자: Daryna Dementieva, Nikolay Babakov, Kathy Hämmerl, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• PLURAMATH: 기존 고자원 언어 중심의 수학 추론 벤치마크인 PolyMath를 18개의 저자원 및 중간 자원 언어로 확장한 새로운 다국어 벤치마크.
• DW-ACC (Difficulty-Weighted Accuracy): 난이도별 가중치를 적용하여 계산된 정확도 지표로, low, medium, high, top의 4단계 난이도에 {1, 2, 4, 8}의 가중치를 부여함.
• Base Prompting: 모델이 타겟 언어로 문제를 이해하고 타겟 언어로 해결책을 생성하도록 하는 기본 평가 설정.
• EN-CoT (Chain-of-Thought): 모델에게 타겟 언어로 문제를 제공하되, 추론 과정(Chain-of-Thought)은 고자원 언어인 영어로 수행하도록 강제하는 프롬프트 전략.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 대규모 언어 모델(LLM) 평가 및 학습 데이터가 영어와 중국어 등 고자원 언어에 과도하게 편향되어 있는 문제를 해결하는 것을 목적으로 합니다. 기존의 다국어 수학 추론 벤치마크들은 다국어 지원을 표방함에도 불구하고 여전히 고자원 언어에 집중되어 있어, 언어적 다양성이 낮은 '긴 꼬리(long tail)' 언어들에 대한 수학적 추론 능력은 검증되지 않았습니다. 본 논문에서는 이러한 격차를 줄이기 위해 6개 언어 가족을 아우르는 18개의 저자원 언어를 포함한 PLURAMATH를 구축하였습니다. [Table 1]은 구축된 벤치마크의 언어 구성과 자원 등급을 보여줍니다.

Table 1 — 벤치마크에 포함된 18개 언어의 언어 등급, 가족, 데이터 구축 과정을 보여주는 핵심 테이블

## 3. Method & Key Results (제안 방법론 및 핵심 결과) PLURAMATH는 자동 번역 시스템을 통한 초안 생성 후, 컴퓨터 과학 또는 수학 분야의 고등 학위를 가진 원어민 화자들이 엄격한 다단계 인적 검증을 거쳐 구축되었습니다. 저자들은 27개의 최신 추론 모델을 Base, Base+EN-CoT, Backtranslated 등 3가지 프롬프트 설정으로 평가하였습니다. 평가 결과, 고자원 언어와 저자원 언어 간의 수학적 추론 성능 격차는 여전히 뚜렷하며, 언어 지원 수준(language class)과 추론 성능 간에는 Spearman correlation (ρ = 0.646, p = 0.0038) 의 강한 상관관계가 확인되었습니다. [Table 2]는 27개 모델의 DW-ACC 결과를 보여주며, 대규모 모델일수록 성능이 안정적이지만 성능 향상이 단순히 번역 능력에 기인하는 것은 아니며 일반적인 instruction-following 능력과 더 높은 상관관계를 보임을 입증하였습니다. 특히 GPT-5.4나 Claude-Haiku-4.5와 같은 proprietary 모델들이 다양한 언어 환경에서 훨씬 더 안정적인 성능을 유지하였습니다.

Table 2 — 27개 모델에 대한 언어별/난이도별 성능(DW-ACC)을 정량적으로 비교한 핵심 데이터

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 다양한 언어적 환경에서의 수학적 추론 능력을 평가하기 위한 포괄적인 벤치마크와 데이터 구축 파이프라인을 제시합니다. 연구 결과는 수학적 추론 능력이 언어 간 쉽게 전이되지 않으며, 언어 장벽이 모델의 추론 성능에 큰 영향을 미치고 있음을 재확인해 줍니다. 본 연구를 통해 공개된 데이터와 평가 프레임워크는 향후 저자원 언어 커뮤니티의 다국어 LLM 개발을 가속화하고, 언어적 형평성을 갖춘 AI 모델 연구에 중요한 지표가 될 것입니다.

---

Figure 3 — 언어별 및 모델별 성능 분포와 성능 안정성을 직관적으로 보여주는 그래프

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.