본문으로 건너뛰기

최신 포스트

[논문리뷰] Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation

본 논문은 하이브리드 모델로의 전환 시 발생하는 부적절한 재귀적 파라미터 초기화 문제를 해결하고자 합니다. 기존 연구들은 Transformer의 가중치를 복사하는 데 집중하지만, 새롭게 도입되는 GDN의 동역학(decay, gate 등)을 고려하지 않아 초기 모델이 최적화되지 않은 상태에서 학습을 시작하게 됩니다 .
#Review#Hybrid Linear Attention#Gated DeltaNet#Model Distillation#Initialization#Softmax Attention#Knowledge Distillation#Recurrent Dynamics
댓글 수 로딩 중

[논문리뷰] S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence

본 논문은 기존 VLM들이 정적인 단일 프레임 관찰에 의존하여 연속적이고 진화하는 3D 환경에서의 공간 추론에 한계를 보인다는 점을 해결하고자 합니다 . 기존 모델들은 파편화된 2D 시각 정보에 의존하기 때문에 공간적 일관성(spatial consistency) 유지와 고도화된 3D 기하학적 이해가 어렵습니다.
#Review#Spatial Intelligence#Vision-Language Models (VLM)#Agentic Paradigm#Spatio-Temporal Reasoning#Tool-Use#Spatial Evidence Accumulation
댓글 수 로딩 중

[논문리뷰] Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

본 논문은 LLM pretraining에서 FP4 사용 시 관찰되는 훈련 불안정성의 근본 원인으로 E2M1 포맷의 기하학적 결함을 지목합니다. 기존 연구들은 이상치 처리를 위해 RHT를 사용하지만, 이는 텐서의 분포를 비대칭적인 E2M1 빈으로 집중시켜 오히려 양자화 품질을 저하시키는 결과를 초래합니다 .
#Review#FP4#Shrinkage Bias#E2M1#E1M2#Random Hadamard Transform#LLM Pretraining#Quantization
댓글 수 로딩 중

[논문리뷰] No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages

본 연구는 LLM의 코드 생성 능력이 학습 데이터가 풍부한 High-Resource 언어에 편중되어, 신생 기업에서 사용하는 No-Resource 언어에 대한 지원이 전무하다는 점을 해결하고자 한다.
#Review#Large Language Models#Code Generation#No-Resource Languages#Benchmark#Fine-Tuning#Pre-training
댓글 수 로딩 중

[논문리뷰] Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages

본 논문은 기존의 코드 생성 평가가 특정 언어에 편향되어 있어 LLM의 실질적인 다국어 코딩 능력을 측정하지 못하는 한계를 해결하고자 한다. LiveCodeBench(LCB)는 지속적인 업데이트와 엄격한 오염 방지 제어를 통해 우수한 성능을 입증했으나, 오직 Python 언어만을 지원한다는 결정적인 단점이 존재한다 .
#Review#Code Generation#Multi-lingual Benchmark#Large Language Models#LiveCodeBench#Contamination-aware#Cross-lingual Evaluation
댓글 수 로딩 중

[논문리뷰] Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance

본 논문은 10B-level industrial foundation model이 제공하는 고품질의 image inpainting 성능을 유지하면서도, 실제 배포가 불가능할 정도로 높은 연산 비용과 메모리 요구량을 해결하고자 합니다.
#Review#Image Inpainting#Diffusion Models#Knowledge Distillation#Model Compression#Latent Space Optimization#Lightweight Architecture#LλMI Block
댓글 수 로딩 중

[논문리뷰] JAMER: Project-Level Code Framework Dataset and Benchmark on Professional Game Engines

본 논문은 프로페셔널 게임 엔진 환경에서 프로젝트 레벨의 코드 프레임워크를 생성하고 평가하는 AI 기술의 부재를 해결하고자 한다 . 기존 연구들은 주로 단일 파일 생성이나 간단한 게임 로직에 국한되어 있으며, 게임의 복잡한 런타임 행동을 정량적으로 평가할 수 있는 방법론이 부족하였다.
#Review#Game Engine#Code Framework#Software Engineering#Benchmark#Dataset#Godot#Deterministic Evaluation
댓글 수 로딩 중

[논문리뷰] ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?

기존의 WAM은 미래 비디오 생성에 의존하여 로봇 행동을 추론하지만, 여기에는 세 가지 심각한 한계가 존재합니다. 우선, 다수의 프레임에 대한 시공간 토큰을 처리해야 하므로 Inference 비용이 극도로 높습니다.
#Review#World Action Models#Image Editing#Robot Manipulation#Flow Matching#Efficient Inference#Embodied AI
댓글 수 로딩 중

[논문리뷰] Holo-World: Unified Camera, Object and Weather Control for Video World Model

본 연구는 비디오 월드 모델에서 카메라, 객체 동역학, 그리고 날씨 상태를 단일 인터페이스로 통합 제어하는 과정에서 발생하는 데이터 부족과 모델링 충돌 문제를 해결하고자 합니다.
#Review#Video World Model#Unified State Control#Weather Transfer#Unified Scene Adapter#Scene-Weather Decomposed CFG#HoloStateData
댓글 수 로딩 중

[논문리뷰] FAPO: Fully Autonomous Prompt Optimization of Multi-Step LLM Pipelines

본 논문은 복잡한 Multi-step LLM 파이프라인에서 발생하는 단계 간 상호작용 실패와 병목 현상을 해결하기 위해 FAPO를 제안한다. 기존의 프롬프트 전용 최적화 기법은 파이프라인 전체의 구조적 결함을 파악하는 데 한계가 있으며, 단일 단계의 프롬프트 튜닝만으로는 성능 개선이 어렵다.
#Review#LLM Pipeline#Prompt Optimization#Autonomous Agent#Claude Code#LangGraph#Failure Attribution#Pipeline Architecture
댓글 수 로딩 중

[논문리뷰] Duration Aware Scheduling for ASR Serving Under Workload Drift

본 논문은 대규모 ASR 시스템에서 FCFS 기반 스케줄링이 작업 시간의 가변성을 고려하지 못해 발생하는 비효율성 문제를 해결한다. 기존의 vLLM과 같은 서빙 엔진들은 입력을 순차적으로 처리하므로, 긴 오디오 요청이 짧은 요청들을 가로막는 Head-of-Line blocking 현상이 빈번하게 발생한다.
#Review#ASR#Scheduling#Latency#vLLM#Whisper#Workload Drift#SJF#HRRN
댓글 수 로딩 중