[논문리뷰] Teaching Nemotron Greek: Mining a Corpus, Adapting Retrieval, and Grounding Generation for Modern Greek across Specialist Domains

링크: 논문 PDF로 바로 열기

메타데이터

저자: Ayoub Kirouane, Christos Petrocheilos, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• HERA (Hellenic Retrieval-Augmented): Modern Greek의 RAG 성능을 평가하기 위해 본 연구에서 구축한 4,946개 항목의 위키피디아 기반 롱 리트리벌 벤치마크입니다.
• BM25 (Best Matching 25): 학습된 매개변수가 없는 전통적인 lexical search 알고리즘으로, 본 연구에서는 Dense Retrieval 모델들과 성능을 비교하는 강력한 baseline으로 사용되었습니다.
• nDCG@10 (normalized Discounted Cumulative Gain at 10): 상위 10개 검색 결과의 품질을 측정하는 주요 평가 지표입니다.
• LoRA (Low-Rank Adaptation): 대규모 모델의 전체 매개변수를 튜닝하는 대신 저차원 행렬을 학습시켜 효율적으로 도메인 적응을 수행하는 기법입니다.
• InfoNCE: Contrastive learning을 통해 모델이 긍정적 샘플을 부정적 샘플과 구분하도록 학습시키는 목적 함수입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 Modern Greek이 주요 multilingual retrieval 벤치마크 및 Nemotron 모델의 지원 언어에서 제외되어, 전문 도메인에서의 RAG 성능이 검증되지 않는 문제를 해결하고자 합니다. 기존의 multilingual embedder들은 Modern Greek에 대한 충분한 사전 학습 데이터가 부족하여 검색 성능이 낮으며, 오히려 BM25와 같은 단순한 lexical baseline보다 못한 성능을 보이는 경우가 많습니다. 특히, Greek 법률, 금융, 의학 문서는 전문 용어가 밀집된 긴 텍스트로 구성되어 있어, 일반적인 multilingual 모델이 처리하기에 적합한 환경이 아닙니다. 연구진은 이러한 문제를 해결하기 위해 대규모 Greek 말뭉치를 마이닝하고, 이를 end-to-end로 적응시키는 프레임워크가 필요함을 강조합니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 Nemotron-3-Embed-1B 및 Qwen3-0.6B 모델을 InfoNCE 손실 함수를 사용하여 Modern Greek 도메인에 맞게 contrastive fine-tuning을 수행하였습니다. Retrieval 단계에서는 BM25를 보완하기 위해 Dense Retrieval과 RRF (Reciprocal Rank Fusion)를 결합하여 성능을 최적화했습니다. [Table 2]에 따르면, 적응된 1B 모델은 모든 도메인에서 baseline 대비 월등한 nDCG@10 성능을 보였으며, 특히 금융 도메인에서는 0.1935에서 0.7218로 대폭 향상되었습니다. [Table 4]는 HERA 벤치마크를 통한 out-of-domain 평가 결과인데, 적응된 1B 모델과 BM25를 RRF로 결합했을 때 nDCG@10 0.6715를 기록하며 개별 방식보다 더 우수한 결과를 나타냈습니다. 또한, 30B 매개변수의 MoE 모델을 LoRA로 학습시켜 grounding 성능을 높였으며, 모델의 답변 적절성(answer correctness)은 29.4%에서 66.9%로 크게 상승하였습니다.

Table 2 — 각 모델별 도메인별 nDCG@10 수치를 나타내는 정량적 비교 데이터

Table 4 — Out-of-domain 환경에서 BM25와 제안 방법론의 결합 효과를 보여주는 비교 테이블

## 4. Conclusion & Impact (결론 및 시사점) Modern Greek RAG 시스템의 성능은 모델의 크기보다는 해당 언어에 대한 노출(exposure)과 도메인 적응에 크게 좌우됩니다. 본 연구는 무조건적인 모델 크기 확장보다는 적절한 벤치마크 구축과 데이터 마이닝을 통한 도메인 특화 적응이 실질적인 성능 향상을 가져옴을 입증했습니다. 제안된 HERA 벤치마크와 적응된 모델들은 Greek 언어 처리가 필요한 다양한 산업 도메인에서 RAG 파이프라인의 표준적인 참조 모델로 활용될 수 있을 것입니다. 향후 연구는 언어 competence를 유지하면서도 도메인 fit을 강화하는 보다 효율적인 적응 기법 연구로 이어질 것으로 기대됩니다.

Figure 1 — 전문 도메인에서 모델들과 BM25의 성능 비교를 시각화한 핵심 결과 그래프

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.