[논문리뷰] Lipi-Ghor: A Large-Scale, Diarized, Multi-Domain Bengali Speech Corpus and a Scalable Pipeline for Building It

링크: 논문 PDF로 바로 열기

메타데이터

저자: Sanjid Hasan, A H M Fuad, Risalat Labib, Bayazid Hasan Simon

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• SSTT (Speaker, Speech, Transcription, Timestamp): 오디오 데이터를 화자별로 구분하고 시간 정보와 전사(Transcription)를 매핑한 포맷으로, 본 논문이 제안하는 데이터 구조의 핵심입니다.
• Diarization: 긴 오디오 내에서 누가 언제 말했는지를 추적하는 기술로, Lipi-Ghor에서는 pyannote.audio 프레임워크 기반의 Precision-2 모델을 사용하여 수행되었습니다.
• ASR (Automatic Speech Recognition): 음성 데이터를 텍스트로 변환하는 기술로, 본 논문에서는 Bengali 언어의 낮은 리소스 문제를 해결하기 위한 모델 평가 및 벤치마킹 대상으로 사용됩니다.
• Zero-Shot Evaluation: 별도의 학습 데이터 없이 사전에 훈련된 모델이 특정 태스크를 얼마나 잘 수행하는지 평가하는 방식입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 2억 3천만 명 이상의 사용자를 보유한 Bengali 언어가 여전히 ASR 연구 분야에서 극심한 데이터 부족(Under-resourced)을 겪고 있다는 점을 해결하고자 합니다. 기존의 오픈 Bengali 데이터셋들은 단일 도메인 위주의 짧은 읽기 음성(Read speech)에 국한되어 있으며, Speaker Diarization 정보나 긴 형태의 오디오(Long-form audio)를 포함하지 않아 현대적인 음성-언어 모델 학습에 한계가 있습니다 [Table 1]. 따라서 본 연구는 다양한 도메인을 포괄하고 화자 정보가 명시된 대규모 데이터셋 구축 파이프라인의 필요성을 제기합니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 Lipi-Ghor라고 명명된 885시간 분량의 대규모 Bengali 음성 데이터셋을 구축하기 위해 4단계 파이프라인을 제안합니다 [Figure 1]. 먼저 도메인 인지 채널 큐레이션을 통해 유튜브 채널을 선정하고, bn 태그를 가진 캡션 데이터를 필터링한 뒤, yt-dlp를 통해 오디오를 추출합니다. 마지막으로 Precision-2 모델을 적용해 화자 정보를 포함한 SSTT 데이터 구조를 생성합니다. 실험 결과, 본 데이터셋으로 fine-tuning된 모델들은 기존 Zero-Shot 모델들 대비 우수한 성능을 보였습니다 [Figure 4]. 특히 Faster Whisper Medium 모델은 fine-tuning 후 20.70%의 WER(Word Error Rate)과 11.90%의 CER(Character Error Rate)을 달성하며 강력한 베이스라인임을 입증했습니다 [Table 9].

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 Bengali 언어를 위한 대규모, 도메인 다양성 확보, 화자 분리(Diarization)가 완료된 Lipi-Ghor 데이터셋과 그 구축 파이프라인을 성공적으로 제시했습니다. 이 연구는 저자원 언어에 대해서도 체계적인 데이터 큐레이션을 통해 효과적인 음성 데이터를 구축할 수 있음을 입증하며, 향후 다양한 언어의 ASR 및 음성-언어 모델 연구에 확장 가능한 방법론을 제공합니다. 또한 공개된 Gold Evaluation Split을 통해 향후 Bengali 언어 모델의 보다 정확한 정량적 평가가 가능해질 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.