[논문리뷰] Higher-order Linear Attention논문은 scaled dot-product attention의 이차 비용 문제를 해결하여 장문맥 언어 모델의 확장을 가능하게 하는 것을 목표로 합니다.#Review#Linear Attention#Higher-order Interactions#Causal Streaming#Associative Scans#Prefix Summaries#Transformer Architectures#State Space Models2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model본 논문은 세계 모델이 증강된 Vision-Language-Action (VLA) 모델에서 차세대 관측 및 액션 시퀀스를 공동으로 예측하는 데 내재된 모달리티 충돌 문제를 해결하고자 합니다.#Review#Vision-Language-Action Models#World Models#Diffusion Models#Multimodal Learning#Robotics#Asynchronous Sampling#Diffusion Transformers2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Defeating the Training-Inference Mismatch via FP16대규모 언어 모델(LLM)의 강화 학습(RL) 미세 조정 과정에서 발생하는 불안정성의 근본 원인인 훈련-추론 불일치(training-inference mismatch) 를 해결하는 것이 목표입니다.#Review#Reinforcement Learning#LLM Fine-tuning#Training-Inference Mismatch#Floating Point Precision#FP16#BF16#RL Stability2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Continuous Autoregressive Language ModelsLarge Language Models (LLMs)의 비효율적인 순차적, 토큰 단위 생성 과정의 근본적인 한계를 극복하는 것이 목표입니다. 본 연구는 이산 토큰 예측에서 연속 벡터 예측 으로 패러다임을 전환하여, 각 생성 단계의 의미론적 대역폭을 증가 시킴으로써 LLM의 스케일링 및 계산 효율성을 향상시키고자 합니다.#Review#Large Language Models (LLMs)#Continuous Representation#Autoencoder#Likelihood-Free Modeling#Energy-Based Models#Next-Vector Prediction#Computational Efficiency#Temperature Sampling2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Beyond Objects: Contextual Synthetic Data Generation for Fine-Grained Classification텍스트-이미지(T2I) 모델을 활용한 합성 데이터 생성 에서 발생하는 과적합 및 다양성 감소 문제를 해결하고, 특히 소량 데이터(few-shot) 환경에서 미세 조정 분류(fine-grained classification) 성능을 극대화하는 것을 목표로 합니다.#Review#Text-to-Image Synthesis#Synthetic Data Generation#Fine-Grained Classification#Few-Shot Learning#Diffusion Models#Contextual Conditioning#Causal Intervention2025년 11월 9일댓글 수 로딩 중
[논문리뷰] A Survey on Efficient Vision-Language-Action Models이 논문은 대규모 Vision-Language-Action (VLA) 모델 이 직면한 막대한 계산 및 데이터 요구사항으로 인해 실제 로봇 환경에 배포되기 어려운 문제를 해결하는 것을 목표로 합니다.#Review#Embodied AI#Robotic Manipulation#VLA Models#Efficient AI#Model Compression#Efficient Training#Data Collection#Multimodal AI2025년 11월 9일댓글 수 로딩 중
[Triton] Proton 기본 버퍼 크기 설명 개선 — 문서화와 코드 주석 보강Proton 프로파일러의 기본 버퍼 크기 설정에 대한 문서와 코드 주석을 명확하게 개선한다#Triton#Proton#Documentation#Profiling#Developer Experience2025년 11월 8일댓글 수 로딩 중
[triton] Triton PROTON: FinalizeOp 최적화를 통한 프로파일링 오버헤드 개선Triton PROTON의 FinalizeOp를 리팩토링하여 warp 단위 병렬 쓰기를 구현하고 프로파일링 오버헤드를 최대 2배 이상 개선했습니다.#Triton#GPU#Optimization#Compiler#Profiling2025년 11월 7일댓글 수 로딩 중
[triton] AMD/Gluon: gfx1250에서 async_copy 런타임 테스트 추가 및 UpdateAsyncWaitCnt 활성화AMD gfx1250 아키텍처에서 async_copy의 다양한 shared memory layout 조합에 대한 런타임 테스트를 추가하고 UpdateAsyncWaitCnt를 활성화한 분석.#Triton#AMD#Gluon#gfx1250#Async Copy#Testing2025년 11월 6일댓글 수 로딩 중
[triton] Triton에서의 MXFP 변환 성능 최적화: TMA와 벡터화된 연산 활용Triton의 MXFP8/MXFP4 변환 커널을 TMA와 벡터화된 스토어, 타일링 튜닝을 통해 대폭 가속화한 사례를 분석합니다.#Triton#MXFP#GPU#Optimization#HPC2025년 11월 6일댓글 수 로딩 중
[triton] Proton 커널 내 프로파일러 Global Memory 지원Triton Proton의 intra-kernel profiler에 global memory buffer 지원을 추가하여, shared memory가 부족한 환경에서도 프로파일링이 가능하도록 한 PR을 분석합니다.#Triton#Proton#Profiler#Global Memory#GPU Performance2025년 11월 5일댓글 수 로딩 중
[pydantic-ai] Validation 에러 재시도 메시지 개선 — Markdown 코드 블록 포맷LLM에게 전달하는 validation 에러 메시지를 Markdown 코드 블록으로 포맷하여 가독성 향상#Python#Pydantic AI#LLM#UX#Bug Fix2025년 11월 4일댓글 수 로딩 중
[vllm] ROCm AITER MHA 백엔드 재설계AMD GPU용 AITER MHA 어텐션 백엔드를 재설계하여 cache 레이아웃 변환과 컨텍스트 병렬 처리를 개선#vllm#Performance2025년 11월 4일댓글 수 로딩 중
[triton] Tutorials: 벤치마크 결과 테이블에 단위(units) 표시 추가Triton 튜토리얼의 벤치마크 결과 테이블 컬럼에 ylabel 단위를 포함시켜 결과의 가독성을 개선한 변경 분석.#Triton#Tutorial#Benchmark#UX#Python2025년 11월 4일댓글 수 로딩 중
[Triton] AMD FAv3 pingpong에서 s_xxx 명령어 배치 최적화Memory cluster와 compute cluster 사이의 스칼라 명령어 배치를 개선하여 GPU 파이프라인 활용도를 높임#Triton#AMD#Scheduling#Performance#FlashAttention2025년 11월 3일댓글 수 로딩 중
[vllm] Suffix Decoding - Arctic Inference의 접미사 매칭 기반 Spec DecodeArctic Inference의 Suffix Decoding을 통합하여 이전 출력의 접미사 패턴을 활용한 speculative decoding#vllm#Performance2025년 11월 3일댓글 수 로딩 중
[Triton] gfx1250에 Gluon async_copy API 추가AMD gfx1250 타겟에서 Gluon 프론트엔드를 통한 async global-to-shared copy 지원#Triton#Compiler2025년 11월 3일댓글 수 로딩 중
[triton] rewrite-partition-dependencies를 insert-aref로 통합하여 Warp Specialization 파이프라인 간소화Triton Warp Specialization의 partition dependency 재작성 pass를 insert-aref pass에 통합하여 컴파일 파이프라인을 간소화한 PR 분석.#Triton#WarpSpecialization#MLIR#Compiler#Refactoring2025년 11월 3일댓글 수 로딩 중