[논문리뷰] BitNet Distillation본 논문은 기존의 풀-정밀도 LLM (예: Qwen )을 특정 다운스트림 태스크를 위해 1.58비트 정밀도 (삼진 가중치: {-1, 0, 1}) 로 미세 조정하여, 최소한의 계산 비용으로 풀-정밀도 모델에 필적하는 성능을 달성하는 것을 목표로 합니다.#Review#Low-bit Quantization#LLM Compression#Knowledge Distillation#Ternary Weights#Inference Optimization#Memory Efficiency#SubLN#Continual Pre-training2025년 10월 17일댓글 수 로딩 중
[논문리뷰] Beyond One World: Benchmarking Super Heros in Role-Playing Across Multiversal Contexts본 연구는 대규모 언어 모델(LLMs)이 버전별 캐릭터 , 특히 다양한 코믹 및 영화 세계관에 걸쳐 슈퍼히어로 역할을 얼마나 충실하고 일관성 있게 수행하는지 평가하는 것을 목표로 합니다. LLMs가 캐릭터의 고유한 지식, 가치관, 도덕적 코드를 유지하면서 다중 우주적 맥락에서 일관성을 보이는지 탐구하고자 합니다.#Review#Role-playing LLMs#Multiversal Consistency#Character Benchmarking#Moral Dilemmas#Canon Events#Reasoning-Acting Alignment#Chain-of-Thought#Superheroes2025년 10월 17일댓글 수 로딩 중
[논문리뷰] Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures본 논문은 기존 RLHF 보상 모델이 객관적인 품질 신호(문법 오류, 사실 정확성 등)를 제거했을 때 주관적인 쓰기 선호도 평가에서 성능이 크게 저하되는 문제를 해결하고자 합니다.#Review#Subjective Preference Learning#Writing Evaluation#Reward Models#RLHF#Cross-Cultural AI#Generative Models#Language Model Judges#Genre Instability2025년 10월 17일댓글 수 로딩 중
[논문리뷰] Attention Is All You Need for KV Cache in Diffusion LLMs본 논문은 확산 대규모 언어 모델(DLMs)의 추론 과정에서 발생하는 과도한 Key-Value (KV) 캐시 재계산으로 인한 높은 지연 시간을 해결하는 것을 목표로 합니다.#Review#Diffusion LLMs#KV Cache#Adaptive Caching#Inference Optimization#Attention Mechanism#Latency Reduction#Generative AI2025년 10월 17일댓글 수 로딩 중
[논문리뷰] Agentic Entropy-Balanced Policy Optimization본 논문은 Agentic Reinforcement Learning(RL)에서 멀티턴, 장기적 도구 사용 능력 학습 시 발생하는 엔트로피 관련 문제, 특히 롤아웃 단계의 과도한 분기(High-entropy Rollout Collapse) 와 정책 업데이트 단계의 기울기 소실(High-entropy Token Gradient Clipping) 을 해결하여 안정적이고 확장 가능한 웹 에이전트 훈련을 목표로 합니다.#Review#Agentic Reinforcement Learning#Web Agents#Tool Learning#Entropy Balancing#Policy Optimization#Rollout Strategy#Large Language Models2025년 10월 17일댓글 수 로딩 중
[논문리뷰] AI for Service: Proactive Assistance with AI Glasses기존의 수동적이고 사용자 명령에 의존하는 AI 서비스의 한계를 극복하고, 사용자의 필요를 예측하여 선제적으로 지원하는 'AI for Service' 라는 새로운 패러다임을 제안하는 것이 목표입니다.#Review#AI for Service#Proactive AI#AI Glasses#Multi-agent System#Human-AI Interaction#Context-aware AI#Wearable AI2025년 10월 17일댓글 수 로딩 중
[ultralytics] Ultralytics 8.3.215: 세그멘테이션 마스크 처리 성능 최적화 분석YOLO 세그멘테이션의 crop_mask 연산을 3배 가속화한 최적화 전략과 성능 개선 사례를 살펴봅니다.#YOLO#PyTorch#Optimization#ComputerVision#Performance2025년 10월 16일댓글 수 로딩 중
[triton] Expert Parallelism 기본 구현과 Reduce 커널 추가Triton Kernels 라이브러리에 Expert Parallelism을 위한 기본 구현과 독립적인 reduce 커널을 추가하여 MoE 워크로드의 분산 처리를 지원하는 PR 분석.#Triton#ExpertParallelism#MoE#Reduce#Distributed#GPU2025년 10월 16일댓글 수 로딩 중
[triton] AMD ds_read_tr 명령어 제한 완화로 더 유연한 레이아웃 지원AMD GPU의 ds_read_tr 명령어에 대한 불필요한 제한을 제거하고 임의의 linear layout에서도 활용 가능하게 개선한 PR 분석.#Triton#AMD#LDS#LinearLayout#SharedMemory#Optimization2025년 10월 16일댓글 수 로딩 중
[Loki] 쿼리 엔진에 Parallelize 힌트 노드 추가물리 실행 계획에 Parallelize 노드를 추가하여 스케줄러의 병렬 작업 분배 기반 마련.#Grafana Loki#Go#Performance#Query Engine#Parallelism2025년 10월 16일댓글 수 로딩 중
[논문리뷰] X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model다양한 로봇 플랫폼과 이질적인 데이터셋 전반에서 효과적인 훈련을 통해 일반화된 Vision-Language-Action (VLA) 모델을 구축하는 것이 목표입니다.#Review#Vision-Language-Action (VLA) Models#Soft Prompts#Transformer#Cross-Embodiment#Robotics#Pretraining#Domain Adaptation#Flow Matching2025년 10월 16일댓글 수 로딩 중
[논문리뷰] Universal Image Restoration Pre-training via Masked Degradation Classification본 논문은 다양한 종류의 이미지 손상(degradation)을 복원하는 단일 모델(universal image restoration)의 성능을 향상시키기 위해, 기존 사전 훈련 방법론의 한계를 극복하고자 합니다.#Review#Universal Image Restoration#Pre-training#Masked Image Modeling#Degradation Classification#Deep Learning#Computer Vision#Self-supervised Learning#Low-level Vision2025년 10월 16일댓글 수 로딩 중
[논문리뷰] UniMoE-Audio: Unified Speech and Music Generation with Dynamic-Capacity MoE본 연구는 음성 및 음악 생성의 통합이라는 오랜 과제를 해결하는 것을 목표로 합니다.#Review#Mixture of Experts#Speech Generation#Music Generation#Multimodal AI#Dynamic Routing#Training Curriculum#Data Imbalance#Audio Synthesis2025년 10월 16일댓글 수 로딩 중
[논문리뷰] UniME-V2: MLLM-as-a-Judge for Universal Multimodal Embedding Learning기존 multimodal 임베딩 모델의 한계인 hard negative 샘플의 다양성 부족 과 의미적 미묘한 차이 포착 능력 부족 을 해결하여, discriminative ability 를 향상시키는 보편적인 multimodal 임베딩 모델을 개발하는 것을 목표로 합니다.#Review#Multimodal Embeddings#MLLM-as-a-Judge#Hard Negative Mining#Semantic Alignment#Representation Learning#Reranking#Contrastive Learning2025년 10월 16일댓글 수 로딩 중
[논문리뷰] Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark본 논문은 통합 멀티모달 모델의 생성(Generation) 및 이해(Understanding) 능력 간의 실제적인 상호작용 을 평가하는 기존 벤치마크의 한계를 해결하는 것을 목표로 합니다.#Review#Multimodal AI#Unified Models#Benchmark#Generation#Understanding#Reasoning#Evaluation#Cross-modal Synergy2025년 10월 16일댓글 수 로딩 중
[논문리뷰] Trace Anything: Representing Any Video in 4D via Trajectory Fields본 논문은 비디오의 동적 장면을 모델링하고 이해하는 데 필수적인 효과적인 시공간 표현 문제를 해결하고자 합니다.#Review#4D Video Representation#Trajectory Fields#Neural Networks#Spatio-temporal Modeling#3D Point Tracking#Motion Forecasting#Computer Vision#B-splines2025년 10월 16일댓글 수 로딩 중
[논문리뷰] The Role of Computing Resources in Publishing Foundation Model Research본 논문은 GPU, 데이터, 인적 자원과 같은 컴퓨팅 리소스가 파운데이션 모델(FM) 연구의 과학적 발전 및 출판에 미치는 영향을 평가합니다. 특히 이러한 리소스 접근성이 연구 성과, 출판율, 인용 수에 어떤 상관관계를 가지는지 분석하고, 리소스 불균형이 AI 연구 생태계에 미치는 영향을 탐구하는 것을 목표로 합니다.#Review#Foundation Models#Computing Resources#GPU Disparity#AI Research#Publication Bias#Resource Allocation#Research Transparency2025년 10월 16일댓글 수 로딩 중
[논문리뷰] The Art of Scaling Reinforcement Learning Compute for LLMs본 연구는 LLM 훈련에 필수적인 RL(강화 학습)의 확장(Scaling) 특성에 대한 예측 방법론이 부족하다는 문제를 해결하고자 합니다.#Review#Reinforcement Learning#LLMs#Scaling Laws#Compute Efficiency#Predictability#Sigmoidal Curves#ScaleRL#Off-Policy RL2025년 10월 16일댓글 수 로딩 중
[논문리뷰] Stronger Together: On-Policy Reinforcement Learning for Collaborative LLMs본 논문은 대규모 언어 모델(LLM) 에이전트의 성능 향상을 위해 다중 에이전트 시스템(MAS) 과 강화 학습(RL) 을 통합하는 것을 목표로 합니다.#Review#Large Language Models (LLMs)#Reinforcement Learning (RL)#Multi-Agent Systems (MAS)#On-Policy RL#Collaborative AI#Agentic LLMs#Group-based Optimization2025년 10월 16일댓글 수 로딩 중
[논문리뷰] Revisiting Model Interpolation for Efficient Reasoning이 논문은 대규모 언어 모델(LLM)의 복잡한 연쇄적 사고(Chain-of-Thought, CoT) 추론에서 발생하는 과도한 사고(over-thinking) 및 높은 지연 시간 문제를 해결하기 위한 효율적인 추론 방법을 모색합니다.#Review#Model Interpolation#Efficient Reasoning#Large Language Models#Chain-of-Thought#Model Merging#Performance Dynamics#Ablation Study2025년 10월 16일댓글 수 로딩 중