본문으로 건너뛰기

#Data Efficiency

28개의 포스트

[논문리뷰] MoVE: Translating Laughter and Tears via Mixture of Vocalization Experts in Speech-to-Speech Translation

본 논문은 기존 S2ST 시스템이 의미론적 정확도는 높으나, 웃음이나 울음 같은 NVs를 보존하지 못해 실질적인 대화의 정서적 맥락을 상실하는 문제를 해결한다. 기존 시스템들은 고품질 NVs 데이터의 부족과, 복잡한 다중 감정 상태를 처리하기 어려운 모델 구조적 한계로 인해 표현력이 부족하다.
#Review#Speech-to-Speech Translation#Non-verbal Vocalizations#Mixture of Experts#AudioLLMs#Expressive Speech#Data Efficiency
댓글 수 로딩 중

[논문리뷰] Efficient Exploration at Scale

오늘날 대규모 언어 모델(LLM)은 방대한 데이터를 학습하며 발전했지만, LLM의 능력을 인간의 선호도에 맞춰 정렬하는 데 필요한 고품질의 informative한 데이터를 효율적으로 수집하는 것은 여전히 중요한 과제입니다.
#Review#RLHF#Data Efficiency#Active Exploration#Epistemic Neural Network#Information-Directed Sampling#Scaling Laws#Large Language Models#Online Learning
댓글 수 로딩 중

[논문리뷰] In-Context Reinforcement Learning for Tool Use in Large Language Models

본 논문은 대규모 언어 모델(LLM)이 외부 도구를 효과적으로 활용하도록 훈련할 때, 기존 SFT(Supervised Fine-Tuning) 기반 파이프라인의 높은 레이블링 데이터 비용 문제를 해결하고자 합니다.
#Review#Reinforcement Learning#Large Language Models#Tool Use#In-Context Learning#Few-Shot Learning#SFT-free#Data Efficiency#Curriculum Learning
댓글 수 로딩 중

[논문리뷰] CHIMERA: Compact Synthetic Data for Generalizable LLM Reasoning

본 논문은 LLM의 추론 후속 훈련 과정에서 발생하는 콜드 스타트 문제, 제한된 도메인 커버리지, 주석 병목 현상 이라는 세 가지 핵심 데이터 관련 문제를 해결하는 것을 목표로 합니다. 특히, 인간 주석 없이 컴팩트하면서도 일반화 가능한 고품질 합성 추론 데이터셋 을 구축하여 이 문제를 해결하고자 합니다.
#Review#Synthetic Data#LLM Reasoning#Chain-of-Thought#Data Efficiency#Post-training#Generalization#Quality Control#Domain Coverage
댓글 수 로딩 중

[논문리뷰] Selective Training for Large Vision Language Models via Visual Information Gain

대규모 시각-언어 모델(LVLMs)이 시각적 증거 없이 텍스트 편향에 의존하여 응답하는 언어 편향(language bias) 및 시각적 무지(visual ignorance) 문제를 해결하는 것을 목표로 합니다.
#Review#Vision-Language Models#Visual Grounding#Language Bias Mitigation#Selective Training#Perplexity Metric#Data Efficiency#Multimodal AI
댓글 수 로딩 중

[논문리뷰] TreeCUA: Efficiently Scaling GUI Automation with Tree-Structured Verifiable Evolution

본 연구는 GUI 자동화의 핵심 과제인 GUI 플래닝의 확장성 문제를 해결하는 것을 목표로 합니다. 기존 방식의 스텝 중복과 낮은 궤적 다양성, 그리고 인간 주석 의존성으로 인한 데이터 부족 문제를 극복하고, 고품질의 대규모 GUI 궤적 데이터를 효율적으로 합성하는 방법론을 제시합니다.
#Review#GUI Automation#Computer-Use Agents#Trajectory Synthesis#Tree-Structured Exploration#Multi-Agent Framework#Reinforcement Learning#DPO#Data Efficiency
댓글 수 로딩 중

[논문리뷰] Innovator-VL: A Multimodal Large Language Model for Scientific Discovery

본 논문은 다양한 과학 도메인에 걸쳐 멀티모달 이해 및 추론 을 발전시키고, 동시에 일반 비전 태스크에서 우수한 성능을 유지하는 과학 멀티모달 대규모 언어 모델(MLLM) 인 Innovator-VL을 제시합니다.
#Review#Multimodal LLM#Scientific AI#Data Efficiency#Reinforcement Learning#Vision-Language Model#Scientific Reasoning#Reproducible AI
댓글 수 로딩 중

[논문리뷰] Towards Open-Vocabulary Industrial Defect Understanding with a Large-Scale Multimodal Dataset

기존 산업용 결함 검사 시스템의 높은 오탐률, 낮은 적응성, 일반화 능력 부족, 그리고 블랙박스 모델의 해석 불가능성 한계를 극복하는 것이 목표입니다.
#Review#Industrial Defect Detection#Multimodal Dataset#Vision-Language Model#Diffusion Model#Open-Vocabulary Learning#Quality Inspection#Data Efficiency#Foundation Model
댓글 수 로딩 중

[논문리뷰] Real2Edit2Real: Generating Robotic Demonstrations via a 3D Control Interface

본 연구는 로봇 학습에서 공간 일반화 및 정책 견고성을 제한하는 다양한 로봇 시연 데이터 수집의 높은 비용 문제를 해결하고자 합니다. 특히, 제한된 수의 실제 시연으로부터 사실적이고 다양한 새로운 로봇 시연을 효율적으로 생성 하여 데이터 효율성을 획기적으로 개선하는 프레임워크를 제안합니다.
#Review#Robotics#Demonstration Generation#3D Control Interface#Data Efficiency#Visuomotor Policy Learning#Spatial Generalization#Depth Map#Video Generation
댓글 수 로딩 중

[논문리뷰] Alchemist: Unlocking Efficiency in Text-to-Image Model Training via Meta-Gradient Data Selection

Text-to-Image(T2I) 생성 모델(예: Imagen, Stable Diffusion, FLUX)의 훈련 효율성을 개선하고 시각적 품질 저하, 불안정한 훈련 및 비효율적인 연산을 야기하는 저품질/과잉 데이터 문제를 해결하는 것입니다.
#Review#Text-to-Image#Data Selection#Meta-Learning#Meta-Gradient#Data Efficiency#Generative Models#Coreset Selection#Data Pruning
댓글 수 로딩 중

[논문리뷰] Xmodel-2.5: 1.3B Data-Efficient Reasoning SLM

이 논문은 대규모 언어 모델(LLM)이 복잡한 다단계 추론 능력을 갖추고 있음에도 불구하고 높은 연산 요구사항으로 인해 엣지 또는 비용에 민감한 환경에서의 배포가 어렵다는 문제를 해결하고자 합니다.
#Review#Small Language Models#Data Efficiency#Reasoning#Maximal-Update Parameterization#FP8 Mixed Precision#Optimizer Scheduling#Long-Context Adaptation#Agent AI
댓글 수 로딩 중

[논문리뷰] AnyTalker: Scaling Multi-Person Talking Video Generation with Interactivity Refinement

본 논문은 다양한 다중 인물 데이터 수집의 높은 비용과 여러 인물을 일관된 상호작용으로 구동하기 어려운 문제를 해결하고자 합니다. 특히, 적은 양의 다중 인물 데이터로도 자연스러운 제스처, 생생한 감정, 상호작용이 풍부한 다중 인물 대화 영상을 확장 가능하게 생성하는 것을 목표로 합니다.
#Review#Multi-Person Video Generation#Audio-Driven Animation#Diffusion Models#Interactivity Refinement#Identity-Aware Attention#Scalability#Data Efficiency
댓글 수 로딩 중

[논문리뷰] Pillar-0: A New Frontier for Radiology Foundation Models

본 논문은 급증하는 영상 판독량과 인력 부족으로 인한 의료 시스템의 부담을 해결하기 위해, 기존 의료 AI 모델의 한계를 극복하는 새로운 방사선과 파운데이션 모델 Pillar-0 을 제안합니다.
#Review#Radiology Foundation Model#Volumetric Imaging#Multi-window Tokenization#Multi-scale Attention#Contrastive Learning#Clinical Evaluation#Data Efficiency#Medical Imaging
댓글 수 로딩 중

[논문리뷰] RedOne 2.0: Rethinking Domain-specific LLM Post-Training in Social Networking Services

SNS(Social Networking Services)의 이질적인 워크로드, 빠르게 변화하는 규범과 속어, 다국어 코퍼스로 인한 급격한 분포 변화 등의 문제점을 해결하고, 기존 SFT(Supervised Fine-Tuning) 기반 LLM 학습 방식에서 발생하는 'seesaw' 효과(in-distribution 성능 향상 시 out-of-distribution 견고성 저하) 를 완화하는 것을 목표로 합니다.
#Review#LLM Post-Training#Domain Adaptation#Social Networking Services#Reinforcement Learning#Supervised Fine-Tuning#Catastrophic Forgetting#Data Efficiency
댓글 수 로딩 중

[논문리뷰] Diffusion Language Models are Super Data Learners

본 논문은 고품질 데이터 희소성이 LLM 훈련의 주요 병목이 되는 시대에, Autoregressive (AR) 모델 과 Diffusion Language Models (DLMs) 중 어떤 패러다임이 제한된 고유 데이터로부터 더 많은 신호를 추출하는지 규명하는 것을 목표로 합니다.
#Review#Diffusion Language Models#Autoregressive Models#Data Efficiency#Scaling Laws#Data-Constrained Learning#Crossover Phenomenon#Pre-training#Masked Diffusion
댓글 수 로딩 중

[논문리뷰] Data-Efficient RLVR via Off-Policy Influence Guidance

본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위한 Verifiable Rewards를 사용한 강화 학습(RLVR) 에서 데이터 선택의 비효율성을 해결하는 것을 목표로 합니다.
#Review#Reinforcement Learning with Verifiable Rewards (RLVR)#Influence Functions#Data Selection#Off-Policy Learning#Curriculum Learning#Large Language Models (LLMs)#Sparse Random Projection#Data Efficiency
댓글 수 로딩 중

[논문리뷰] Do You Need Proprioceptive States in Visuomotor Policies?

본 연구는 로봇의 시각-운동 정책(visuomotor policies)에서 고유 수용성 상태(proprioceptive states)의 필요성을 재평가하고, 기존 상태 기반 정책이 학습 궤적에 과적합되어 공간 일반화 능력이 저해되는 문제를 해결하고자 합니다.
#Review#Visuomotor Policies#Spatial Generalization#Imitation Learning#Proprioception#State-free Policies#Robot Manipulation#End-Effector Control#Data Efficiency
댓글 수 로딩 중

[논문리뷰] ReCode: Unify Plan and Action for Universal Granularity Control

현재 LLM 기반 에이전트의 주요 한계점인 고정된 결정 세분성(granularity) 문제를 해결하고, 인간처럼 유연하게 다양한 세분성 수준에서 의사결정을 내릴 수 있는 능력을 부여하는 것입니다.
#Review#LLM Agents#Decision Granularity Control#Recursive Code Generation#Hierarchical Planning#Action Unification#Program Synthesis#Data Efficiency
댓글 수 로딩 중

[논문리뷰] LimRank: Less is More for Reasoning-Intensive Information Reranking

본 논문은 계산 비용이 높은 대규모 파인튜닝 없이, 최소한의 고품질 감독으로도 LLM 을 추론 집약적 정보 리랭킹(reasoning-intensive information reranking) 태스크에 효과적으로 적용하는 것을 목표로 합니다.
#Review#Information Reranking#Large Language Models#Data Synthesis#Reasoning-Intensive Retrieval#Low-Resource Learning#Data Efficiency#Instruction Following
댓글 수 로딩 중

[논문리뷰] Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model

본 논문은 2D 데이터로 사전 훈련된 VLA 모델이 3D 물리 세계에서 정확한 동작을 수행하는 데 필요한 공간 인식이 부족하다는 문제를 해결하고자 합니다.
#Review#Vision-Language-Action Models#Spatial Perception#Implicit Representation Alignment#3D Foundation Models#Robotics#Data Efficiency#Representation Learning
댓글 수 로딩 중

[논문리뷰] Webscale-RL: Automated Data Pipeline for Scaling RL Data to Pretraining Levels

대규모 언어 모델(LLM)이 모방 학습의 한계(훈련-추론 격차, 견고한 추론 능력 부족)를 극복하고 강화 학습(RL)을 통해 더 강력한 능력을 얻도록 하는 것이 목표입니다. 하지만 기존 RL 데이터셋은 웹 스케일 사전 훈련 코퍼스에 비해 규모와 다양성 면에서 현저히 작다는 병목 현상을 해결하고자 합니다.
#Review#Reinforcement Learning (RL)#Large Language Models (LLMs)#Data Pipeline#Web-scale Data#Question-Answering (QA)#Data Generation#Data Diversity#Data Efficiency
댓글 수 로딩 중