[axolotl] Axolotl, 대규모 언어 모델 학습 시 메모리 부족 문제 해결: 효율적인 데이터셋 처리 개선Axolotl 라이브러리에서 대규모 SFT 데이터셋 로딩 시 발생하는 RAM OOM 오류를 해결하는 코드 변경 사항을 분석합니다.#Python#PyTorch#Hugging Face Datasets#Optimization#LLM2026년 6월 24일댓글 수 로딩 중
[onnxruntime] ONNX Runtime: MoE Router GEMV 최적화 및 Bias Fusion 구현GPT-OSS-20B 모델의 MoE 라우터 성능 향상을 위해 MatMulNBits 커널에 특화된 GEMV 경로와 Bias Fusion을 도입했습니다.#ONNX Runtime#CUDA#MoE#GEMV#Optimization2026년 6월 24일댓글 수 로딩 중
[논문리뷰] World Value Models for Robotic Manipulation본 연구는 기존 로봇 가치 모델이 정적인 이미지 기반의 VLM 백본에 의존하여 장기적인 시간적 맥락과 미래 결과를 이해하는 데 한계가 있다는 문제점에서 출발합니다.#Review#World Models#Robotic Manipulation#Value Estimation#Flow Matching#Distributional Value#Suboptimal-Value-Bench2026년 6월 23일댓글 수 로딩 중
[논문리뷰] ReMMD: Realistic Multilingual Multi-Image Agentic Verification for Multimodal Misinformation Detection본 논문은 실제 소셜 미디어 환경의 복잡한 다중 모달 허위 정보(misinformation)를 탐지하기 위한 기존 벤치마크와 모델들의 한계를 해결하고자 합니다.#Review#Multimodal Misinformation Detection#Agentic Verification#Multilingual Benchmark#Memory-Augmented Retrieval#Evidence Provenance2026년 6월 23일댓글 수 로딩 중
[논문리뷰] Qwen-AgentWorld: Language World Models for General Agents본 연구는 대규모 언어 모델(LLM) 기반 에이전트가 효과적으로 작동하기 위해 필수적인 환경 시뮬레이션 능력, 즉 World Model의 부재를 해결하고자 합니다. 기존 연구는 에이전트의 정책(Policy) 결정에만 집중할 뿐, 환경의 동역학을 예측하는 World Model 구축에는 소홀했습니다.#Review#Language World Model#Agentic Environment#Foundation Model#Reinforcement Learning#Chain-of-Thought#Agentic Agents#Simulation Fidelity2026년 6월 23일댓글 수 로딩 중
[논문리뷰] QG-MIL: A Gated Transformer Aggregator for Domain-Agnostic Multiple Instance Learning in Medical Imaging본 논문은 기존의 Attention 기반 Multiple Instance Learning(MIL) 모델이 가진 고질적인 Attention Concentration 문제를 해결하고자 한다.#Review#Multiple Instance Learning#Weakly Supervised Classification#Gated Transformer#Digital Pathology#Hematology#Attention Concentration2026년 6월 23일댓글 수 로딩 중
[논문리뷰] OpenThoughts-Agent: Data Recipes for Agentic Models본 논문은 에이전트용 모델을 학습시키기 위한 데이터 큐레이션(Data Curation) 방법론이 공개적으로 거의 알려져 있지 않은 문제를 해결하고자 한다.#Review#Agentic Models#Data Curation#Supervised Fine-Tuning#Reinforcement Learning#Scaling Laws#Agentic Benchmarks2026년 6월 23일댓글 수 로딩 중
[논문리뷰] NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?본 논문은 AI 코딩 에이전트가 단순한 논문 구현(reproduction)을 넘어, 실제 과학적 난제에 대해 기존 SOTA를 능가하는 독창적인 방법론을 발견(discovery)할 수 있는지 평가하는 것을 목표로 한다.#Review#Coding Agents#NatureBench#NatureGym#AI for Science#Benchmark#SOTA-normalized#Autonomous Discovery2026년 6월 23일댓글 수 로딩 중
[논문리뷰] MobileForge: Annotation-Free Adaptation for Mobile GUI Agents with Hierarchical Feedback-Guided Policy Optimization본 논문은 모바일 GUI 에이전트의 타겟 앱 적응 과정에서 발생하는 비용과 비효율성 문제를 해결하기 위해 MobileForge를 제안한다. 기존 연구들은 사람이 작성한 작업 데이터나 전문가 시연, 보상 레이블에 의존해야 하므로 앱의 잦은 업데이트에 대응하기 어렵다 .#Review#Mobile GUI Agents#Annotation-Free Adaptation#Hierarchical Feedback#Policy Optimization#MobileGym#HiFPO#GRPO2026년 6월 23일댓글 수 로딩 중
[논문리뷰] MemGUI-Agent: An End-to-End Long-Horizon Mobile GUI Agent with Proactive Context Management본 논문은 기존 MLLM 기반 모바일 GUI 에이전트들이 장기 작업(long-horizon task)에서 나타내는 신뢰성 저하와 컨텍스트 관리의 비효율성 문제를 해결하고자 합니다.#Review#Mobile GUI Agent#Context-as-Action#Proactive Context Management#Long-horizon Task#History Folding#UI Memory#End-to-End Model2026년 6월 23일댓글 수 로딩 중
[논문리뷰] LingxiDiagBench: A Multi-Agent Framework for Benchmarking LLMs in Chinese Psychiatric Consultation and Diagnosis본 논문은 기존 정신과 AI 벤치마크들이 실제 임상 현장의 다학제적 진단 요구를 반영하지 못하고 있다는 문제의식에서 출발한다 . 기존 연구들은 주로 정적인 Q&A 방식에 국한되어 있어, 실제 진단 과정에 필수적인 동적 대화와 정보 수집 전략을 평가하는 데 한계가 있었다.#Review#Psychiatric Diagnosis#Large Language Models#Multi-Agent Framework#Clinical Dialogue Benchmark#Mental Health#LingxiDiag-16K2026년 6월 23일댓글 수 로딩 중
[논문리뷰] Holistic Data Scheduler for LLM Pre-training via Multi-Objective Reinforcement Learning본 논문은 LLM pre-training의 데이터 혼합 전략이 단일 최적화 관점에만 치중되어, 복잡하고 동적인 학습 과정을 충분히 반영하지 못하는 문제를 해결합니다.#Review#Large Language Models#Deep Reinforcement Learning#Online Data Mixing#Reward Shaping#Multi-Objective Optimization#Curriculum Learning#Training Efficiency2026년 6월 23일댓글 수 로딩 중
[논문리뷰] FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning본 논문은 기존 자율주행 계획 연구의 양대 산맥인 Scoring-based 방식과 Anchor-based 방식 사이의 구조적 한계를 해결하고자 한다.#Review#Multimodal Driving Planning#Flow-matching#Reward-conditioned Distribution#Autonomous Driving#Trajectory Generation#Classifier-Free Guidance2026년 6월 23일댓글 수 로딩 중
[논문리뷰] FedOT: Ownership Verification and Leakage Tracing via Watermarks for Federated LDMs본 논문은 Federated Learning 환경에서 학습된 LDMs의 모델 소유권 보호와 유출 경로 추적 문제를 해결하기 위해 제안되었습니다 . 기존의 연구들은 주로 분류 모델에 집중되어 있어 복잡한 생성 모델인 LDMs에 직접 적용하기 어렵습니다.#Review#Federated Learning#Latent Diffusion Models#Watermarking#Ownership Verification#Leakage Tracing#Latent Vector Transformation2026년 6월 23일댓글 수 로딩 중
[논문리뷰] FLUX3D: High-Fidelity 3D Gaussian Generation with Diffusion-Aligned Sparse Representation본 논문은 기존 sparse voxel 기반 image-to-3DGS 생성 모델이 겪는 고해상도 외형 디테일의 손실 문제를 해결하고자 합니다.#Review#3D Gaussian Splatting#Diffusion-Aligned Sparse Representation#Sparse-Structure-Aware Diffusion#Image-to-3D Generation#High-Fidelity Reconstruction#Cross-modal Alignment2026년 6월 23일댓글 수 로딩 중
[논문리뷰] FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation본 논문은 기존의 Feedforward 장면 생성 모델들이 출력하는 볼륨 기반의 3D Gaussian 방식이 가지는 기하학적 한계를 극복하고자 합니다.#Review#3D Scene Generation#Triangle Splatting#Video Diffusion Models#Differentiable Rendering#Feedforward Latent Decoding#Surface Reconstruction2026년 6월 23일댓글 수 로딩 중
[논문리뷰] EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action Policies본 논문은 기존의 VLA 모델이 엄격한 Markovian 가정 하에 작동하여 장기 작업(long-horizon) 중 발생하는 시각 정보의 차단이나 일시적 변화를 적절히 처리하지 못하는 문제를 해결합니다.#Review#Vision-Language-Action Models#Robotic Manipulation#Long-Horizon#Memory-Augmented#Keyframe Evidence Memory#Non-Markovian2026년 6월 23일댓글 수 로딩 중
[논문리뷰] Escaping the Self-Confirmation Trap: An Execute-Distill-Verify Paradigm for Agentic Experience Learning본 연구는 LLM 기반 에이전트의 자가 진화(Self-evolution) 과정에서 발생하는 Self-Confirmation Trap 문제를 해결하고자 합니다.#Review#LLM Agents#Experience Learning#Self-Confirmation Trap#Multi-Agent Collaboration#Memory Construction#Heterogeneous Execution2026년 6월 23일댓글 수 로딩 중
[논문리뷰] DiffusionBench: On Holistic Evaluation of Diffusion Transformers본 논문은 현재 DiT 연구가 class-conditional ImageNet generation 성능에만 지나치게 편중되어, 실제 모델의 범용적인 성능 향상을 보장하지 못하는 문제를 해결하고자 합니다.#Review#Diffusion Transformers#ImageNet#Text-to-Image#Benchmarking#Unified Framework#Generative Modeling2026년 6월 23일댓글 수 로딩 중
[논문리뷰] DREAM: Dense Retrieval Embeddings via Autoregressive Modeling본 논문은 기존 Contrastive Learning 기반의 Dense Retriever 학습이 고비용의 레이블 데이터와 정교한 Hard Negative Mining을 필요로 하는 한계를 극복하고자 합니다.#Review#Dense Retrieval#Autoregressive Modeling#Next-Token Prediction#Attention Heads#Frozen LLM#Information Retrieval2026년 6월 23일댓글 수 로딩 중