[논문리뷰] IndicTalk: A Large-Scale Persona-Based Multilingual Conversational Corpus for Indic Languages본 연구는 다국어 및 코드 혼용 대화 시스템 구축에 필수적인 고품질 대규모 말뭉치가 부족한 문제를 해결합니다. 기존의 Indic 언어 데이터셋은 주로 감성 분석이나 개체명 인식과 같은 식별 작업(Discriminative tasks)에 치우쳐 있어, 생성 모델의 instruction tuning에 부적합합니다.#Review#Indic Languages#Code-mixed Conversation#LLM-based Generation#Persona-conditioned Dialogue#Multilingual NLP#Corpus Construction2026년 7월 27일댓글 수 로딩 중
[논문리뷰] The German Commons - 154 Billion Tokens of Openly Licensed Text for German Language Models이 논문은 대규모 독일어 언어 모델 개발 을 위한 오픈 라이선스 텍스트 데이터 의 심각한 부족 문제를 해결하는 것을 목표로 합니다. 기존 데이터셋의 불확실한 라이선스, 품질 문제, 그리고 비영어권 언어 데이터의 희소성을 극복하여 윤리적이고 법적 준수 가 가능한 고품질의 독일어 사전 훈련 코퍼스를 구축하고자 합니다.#Review#German Commons#Large Language Models#Training Data#Openly Licensed Text#Data Curation#German NLP#Corpus Construction#Quality Filtering2025년 10월 17일댓글 수 로딩 중