[논문리뷰] Embodied.cpp: A Portable Inference Runtime of Embodied AI Models on Heterogeneous Robots본 논문은 현대의 Embodied AI 모델들이 요구하는 복잡한 실행 조건을 기존의 범용 LLM/VLM 추론 런타임이 충족하지 못하는 문제를 해결하고자 합니다.#Review#Embodied AI#Inference Runtime#VLA#WAM#C++#Heterogeneous Computing#Closed-loop Control2026년 7월 5일댓글 수 로딩 중
[ray] Ray Object Manager의 Pull RPC 배치 처리 최적화 분석Ray의 PullManager에서 개별 객체 요청을 배치 RPC로 통합하여 네트워크 오버헤드와 CPU 사용량을 획기적으로 개선한 사례를 분석합니다.#Ray#Distributed Systems#RPC#Optimization#C++2026년 7월 1일댓글 수 로딩 중
[faster-qwen3-tts] Qwen3-TTS, GGML 백엔드 통합으로 속도 혁신: C++ 네이티브 백엔드의 놀라운 성능 향상Qwen3-TTS에 GGML 백엔드를 통합하여 C++ 네이티브 구현을 통해 획기적인 성능 개선을 달성했습니다.#Qwen3-TTS#GGML#성능 최적화#C++#TTS2026년 6월 29일댓글 수 로딩 중
[ray] Ray Core의 Lock Contention 해결: Publisher의 비동기 처리 도입Ray의 Object Pubsub 로직을 IO 스레드로 분리하여 스케줄링 루프의 Lock Contention을 획기적으로 개선한 사례를 분석합니다.#Ray#C++#Concurrency#Performance#Distributed Systems2026년 6월 17일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CPU ScatterElements 커널의 멀티스레딩 최적화 분석CPU ScatterElements 연산을 ThreadPool을 활용해 병렬화하여 129배의 성능 향상을 달성한 사례를 분석합니다.#ONNXRuntime#C++#Optimization#MultiThreading#Performance2026년 5월 22일댓글 수 로딩 중
[sglang] SGLang Ngram Speculative Decoding 최적화: MatchState 증분 업데이트 성능 개선Ngram 기반 Speculative Decoding에서 MatchState 업데이트 시 불필요한 힙 할당을 제거하고 성능을 1.4배 향상시킨 사례를 분석합니다.#SGLang#Speculative Decoding#C++#Performance Optimization#Trie2026년 4월 6일댓글 수 로딩 중
[sglang] SGLang Ngram 추측 디코딩: 외부 코퍼스 기반 Suffix Automaton 통합으로 성능 최적화SGLang의 Ngram 추측 디코딩에 외부 코퍼스 기반 Suffix Automaton을 도입하여 성능을 개선합니다.#SGLang#Ngram#Speculative Decoding#Suffix Automaton#성능 최적화#LLM#Python#C++2026년 4월 6일댓글 수 로딩 중
[sglang] sgl-kernel 레거시 경로 대규모 제거: AOT에서 JIT로의 전환 완성SGLang에서 sgl-kernel AOT(Ahead-of-Time) 빌드 의존성 1,708줄을 삭제하고 JIT 커널만 남긴 대규모 정리 분석.#SGLang#sgl-kernel#JIT#AOT#Cleanup#CUDA#C++2026년 4월 1일댓글 수 로딩 중
[Ray Core] OOM Killer에서 대용량 메모리를 점유한 유휴 워커를 우선 종료메모리 부족 시 태스크가 할당된 워커만 종료하던 OOM Killer를 개선하여, 유휴 상태에서 대량 메모리를 점유하는 워커를 우선 종료하도록 변경한 분석.#Ray#C++#Performance#OOM#Memory Management2026년 3월 16일댓글 수 로딩 중
[Ray] 다중 gRPC 연결로 오브젝트 전송 처리량 향상GRPC_ARG_USE_LOCAL_SUBCHANNEL_POOL 옵션으로 오브젝트 매니저의 gRPC 연결을 다중화하여 전송 대역폭을 확대한 분석.#Ray#C++#Performance#gRPC#Networking2026년 2월 24일댓글 수 로딩 중
[Ray Core] Memory Monitor의 OS별 조건부 컴파일 패턴 적용메모리 모니터를 인터페이스 분리 + OS별 빌드로 리팩토링하여 유지보수성과 확장성 개선.#Ray#C++#Performance#Memory Management#Architecture2026년 2월 18일댓글 수 로딩 중
[Ray] 메모리 모니터 리팩터링: cgroup 경로 주입으로 테스트 가능성 확보Ray의 메모리 모니터에 cgroup 경로를 주입할 수 있도록 리팩터링하여 가짜 cgroup으로 메모리 사용량을 모킹할 수 있게 한 PR 분석.#Ray#C++#Memory Monitor#Testability#Dependency Injection#Resource Isolation2026년 2월 6일댓글 수 로딩 중
[Ray] Ray gRPC 토큰 인증 최적화 -- shared_ptr 캐싱optional에서 shared_ptr로 토큰 관리를 전환해 매 RPC 호출마다 발생하던 객체 복사를 제거#Ray#gRPC#Authentication#C++2025년 12월 23일댓글 수 로딩 중
[triton] Triton PROTON: CUDA 그래프 프로파일링 오버헤드를 줄이고 MsgPack API를 추가하여 성능을 대폭 개선Triton PROTON 라이브러리의 CUDA 그래프 프로파일링 오버헤드를 줄이고 MsgPack 직렬화 API를 추가하여 성능을 3배~10배 향상시킨 코드 변경 분석.#Triton#PROTON#CUDA#Profiling#Optimization#MsgPack#C++#Python2025년 12월 19일댓글 수 로딩 중
[Ray Core] 메모리 스토어와 플라즈마 스토어에서 참조 카운터 분리 리팩터링Ray의 CoreWorker에서 메모리 스토어와 플라즈마 스토어에 결합되어 있던 참조 카운터 로직을 상위 레이어로 분리하여, 코드 얽힘을 해소하고 유지보수성을 개선한 PR을 분석합니다.#Ray#Ray Core#Refactoring#C++#Memory Management#Reference Counting2025년 11월 13일댓글 수 로딩 중
[Ray Core] request ID 생성을 worker로 이동하여 plasma get 성능 회귀 수정동기 AsyncGet 응답 대기를 제거하여 plasma store get 처리량 2배 복구#Ray#Plasma Store#C++#Performance2025년 11월 12일댓글 수 로딩 중