[논문리뷰] Teaching LLMs a Low-Resource Language: Enhancing Code Completion in Pharo

링크: 논문 PDF로 바로 열기

저자: Kilian Kier, Alessandro Giagnorio, Omar AbedelKader, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Pharo: Smalltalk 기반의 오픈소스 동적 객체지향 프로그래밍 언어로, 데이터가 부족한 저자원 언어(low-resource language)의 대표적인 사례입니다.
• Tonel: Pharo에서 소스 코드와 메타데이터를 저장하고 Git에 게시하기 위해 사용하는 파일 포맷입니다.
• FIM (Fill-in-the-Middle): 코드의 앞부분(prefix)과 뒷부분(suffix)을 활용하여 누락된 중간 부분(middle)을 예측하는 학습 전략으로, IDE 환경에서 실시간 코드 완성을 구현하는 데 필수적입니다.
• AST-aware masking: 단순히 텍스트를 마스킹하는 것이 아니라 Abstract Syntax Tree의 구조를 고려하여 유효한 구문 단위로 코드 조각을 마스킹하고 이를 복원하도록 모델을 학습시키는 기법입니다.
• Pass@1: 모델이 한 번의 시도로 올바른 코드 조각을 생성할 확률을 나타내는 평가 지표입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 Pharo와 같은 저자원 프로그래밍 언어의 생태계에서 LLM 기반의 코드 완성 도구가 부재하다는 점을 해결하고자 합니다. 기존의 주류 언어(예: Python)는 거대한 학습 데이터셋을 통해 강력한 성능을 발휘하지만, Pharo와 같은 언어는 약 2,000개의 공용 저장소만 존재하여 데이터 희소성(data scarcity) 문제로 인해 충분한 성능을 내지 못합니다. 특히 [Figure 1]에서 볼 수 있는 Pharo 고유의 Tonel 포맷은 실행 코드와 메타데이터가 섞여 있어 LLM 학습 시 혼란을 야기하며, 일반적인 LLM이 적용되기 어려운 기술적 장벽으로 작용합니다. 따라서 저자들은 개발자가 실제 사용하는 IDE 환경 내에서 지연 시간(latency)을 최소화하면서도 정교한 문맥 이해가 가능한 specialized 모델 구축의 필요성을 제기합니다.

Figure 1 — Pharo 언어의 고유한 파일 포맷인 Tonel 구조를 설명하는 핵심 다이어그램입니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 Pharo의 구문적 특성을 학습시키고 실제 코딩 시나리오에 적용하기 위해 데이터 큐레이션, pre-training, fine-tuning으로 구성된 2단계 specialized 파이프라인을 제안합니다. 구체적으로 Qwen2.5 Coder 및 Mellum-base 모델을 대상으로 Pharo 전용 데이터셋을 활용해 학습을 진행하였으며, 특히 LoRA 기술을 활용하여 consumer-grade 하드웨어에서도 실행 가능한 효율적인 모델을 구성했습니다. 벤치마크 실험 결과, Qwen2.5 Coder 7B-SFT 모델은 **HumanEval+**와 Exercism 벤치마크에서 베이스 모델 대비 통계적으로 유의미한 성능 향상을 보였으며, [Table 2]에서 확인되듯 훨씬 큰 규모의 일반 범용 모델보다 Pharo 코드 완성 작업에서 높은 Pass@1 점수를 기록했습니다. 또한 리포지토리 수준의 완성 작업에서도, 'Impacted methods'를 컨텍스트로 제공했을 때 ChrF와 CrystalBLEU 지표가 큰 폭으로 개선되어, 문맥적 관련성이 높은 정보를 활용하는 전략의 유효성을 입증했습니다.

Table 2 — 제안하는 모델의 성능을 베이스 모델 및 대규모 모델과 정량적으로 비교한 핵심 지표 테이블입니다.

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 고도의 engineering 노력을 통해 저자원 프로그래밍 언어에 대한 LLM 학습이 충분히 실현 가능하며 효과적임을 증명했습니다. specialized 모델은 대규모 모델보다 작은 파라미터 사이즈를 가지면서도 뛰어난 성능과 낮은 inference latency를 보장하므로, 실질적인 IDE 내 실시간 코드 완성 도구로 채택될 수 있습니다. 이 연구의 성과는 향후 다른 저자원 언어 생태계가 겪는 기술적 고립을 극복하고, 언어 특화된 소규모 LLM이 대규모 범용 모델과 경쟁할 수 있는 실용적인 방향성을 제시했다는 점에 의의가 있습니다.

Table 3 — 리포지토리 수준의 코드 완성 성능을 측정하기 위한 다양한 컨텍스트 전략별 비교 테이블입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.