본문으로 건너뛰기

최신 포스트

[논문리뷰] Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue

본 논문은 대화형 AI에서 발화와 신체 움직임이 분리되어 생성되는 기존 Cascade 방식의 한계점을 해결하고자 합니다. 기존 방식은 발화 생성 후 별도의 모션 모델을 수행하여 추론 지연(Latency)이 발생하며, 두 모듈 간의 공동 최적화(Joint optimization)가 불가능하다는 구조적 결함이 있습니다.
#Review#Spoken Dialogue Models#Co-speech Motion#End-to-End#Multimodal Co-learning#Joint Optimization#Progressive Training#Pseudo-labeling
댓글 수 로딩 중

[논문리뷰] MaxKernel: Agentic Kernel Generation for TPUs

본 논문은 현대 딥러닝 아키텍처의 가속화를 위해 필수적인 수동 커널 엔지니어링의 복잡성과 전문 지식 의존도를 해결하고자 합니다. 기존 방식은 하드웨어의 메모리 계층(HBM, SRAM/VMEM)을 수동으로 관리하고 복잡한 DMA pipelining을 최적화해야 하므로 진입 장벽이 매우 높습니다.
#Review#TPU#Kernel Generation#Agentic System#Performance Optimization#JAX/Pallas#Autonomous Search
댓글 수 로딩 중

[논문리뷰] Group Adaptive Clipping Policy Optimization

본 논문은 RLVR 환경에서 고정된 클리핑 경계가 학습 신호의 비대칭성을 적절히 반영하지 못하는 문제를 해결합니다. 기존 연구들은 롤아웃의 난이도나 그룹 내 정답 개수와 관계없이 일관된 클리핑 임계값을 적용하여, 어려운 문제에서 얻은 귀중한 학습 신호를 가진 롤아웃들을 과도하게 억제하는 경향이 있습니다 .
#Review#RLVR#Policy Optimization#Adaptive Clipping#GRPO#Trust Region#Importance Sampling
댓글 수 로딩 중

[논문리뷰] Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference

본 논문은 LLM pre-training에 막대한 computational resource가 소요되며, time-to-accuracy 개선이 수백만 달러의 비용 절감과 탄소 배출량 감소로 이어질 수 있다는 문제의식에서 출발합니다.
#Review#Layer Dropout#Stochastic Depth#LLM Training#Inference Optimization#Structured Sparsity#Hyperparameter Tuning#Early Exit#Self-Speculative Decoding
댓글 수 로딩 중

[논문리뷰] Beneath the Surface of Chains-of-Thought: A Mechanistic Interpretation of Reasoning Operations in LLMs

본 논문은 LLM의 CoT 생성 과정에서 텍스트로 표현되는 추론 연산들이 모델 내부의 Hidden Representations에서 어떤 구조로 기하학적으로 조직화되어 있는지 규명하고자 합니다.
#Review#Chain-of-Thought#Mechanistic Interpretability#Reasoning Operations#Representation Geometry#Large Language Models#Latent Dynamics
댓글 수 로딩 중