[loki] Go에서 불필요한 String 할당 제거하기: Grafana Loki의 98% Allocation 최적화 사례Grafana Loki에서 인덱스 스트리밍 리더의 성능을 저해하던 불필요한 문자열 할당을 제거하여 메모리 할당량을 98% 줄인 최적화 기법을 살펴봅니다.#Go#Performance#Optimization#GrafanaLoki#MemoryManagement2026년 8월 28일댓글 수 로딩 중
[loki] Grafana Loki의 안정성 향상: Circuit Breaker 도입을 통한 트래픽 제어Grafana Loki의 Distributor에 Circuit Breaker를 도입하여 과부하 시 트래픽을 효율적으로 차단하고 시스템 안정성을 확보하는 방법.#Grafana Loki#Go#Circuit Breaker#Distributed Systems#Reliability2026년 7월 10일댓글 수 로딩 중
[loki] Grafana Loki LogQL 최적화: `max_query_series` 한도 내에서 효율적인 시리즈 누적Loki LogQL 쿼리 엔진에서 `max_query_series` 한도를 효율적으로 적용하여 메모리 사용량을 최적화하는 방법.#Grafana Loki#LogQL#성능 최적화#Go#메모리 관리#Software Engineering2026년 7월 9일댓글 수 로딩 중
[loki] Grafana Loki 엔진의 집계 성능 최적화: 메모리 할당 감소와 효율적인 라벨 처리Loki 엔진의 집계 로직을 개선하여 메모리 할당을 줄이고, 라벨 캐싱 최적화 및 AddN 도입으로 성능을 약 25% 향상시켰습니다.#Grafana Loki#Go#Performance Optimization#Memory Management#Engineering2026년 6월 24일댓글 수 로딩 중
[loki] Grafana Loki의 Shuffle Sharding 알고리즘 최적화: 성능 향상의 비결Grafana Loki의 Shuffle Sharding 알고리즘이 어떻게 최적화되어 성능을 크게 향상시켰는지 분석합니다.#Grafana Loki#Shuffle Sharding#성능 최적화#Go#알고리즘2026년 6월 9일댓글 수 로딩 중
[ollama] Ollama MLX Gemma4 성능 최적화: Fused Operations를 통한 효율성 증대Ollama의 MLX 백엔드에서 Gemma4 모델의 성능을 fused operations로 최적화한 PR 분석.#Ollama#MLX#Gemma4#성능 최적화#Fused Operations#Deep Learning#Go#Machine Learning2026년 4월 15일댓글 수 로딩 중
[Loki] Kafka 파티션 불필요한 Shuffle Sharding 제거ShardSize가 0일 때 불필요한 shuffle shard 생성을 건너뛰어 메모리 사용량 절감.#Grafana Loki#Go#Performance#Kafka#Memory Optimization2026년 4월 1일댓글 수 로딩 중
[Grafana Loki] Bitmap.Slice에서 바이트 정렬 경계의 off-by-one 패닉 수정endWord 계산에서 8의 배수일 때 1바이트를 초과 할당하여 발생하는 out-of-bounds 패닉을 올림 나눗셈으로 수정한 버그 분석.#Grafana Loki#Go#Bug Fix#Bitmap#Memory2026년 4월 1일댓글 수 로딩 중
[Loki] Shard Factor 1일 때 Shuffle Shard 생략으로 메모리 50% 절감단일 파티션 할당 시 불필요한 ShuffleShard 호출을 건너뛰어 CPU와 메모리 사용량 대폭 절감.#Grafana Loki#Go#Performance#Memory Optimization#Kafka2026년 3월 18일댓글 수 로딩 중
[Loki] 쿼리 엔진 캐시 정확성 테스트 추가결과 캐시의 정확성을 검증하는 통합 테스트로 캐시 히트/미스 시 동일한 결과를 보장.#Grafana Loki#Go#Performance#Testing#Caching2026년 3월 13일댓글 수 로딩 중
[Grafana Loki] 배치 처리를 파이프라인 래퍼로 분리하여 캐시 통합 준비실행기의 drain 로직에 섞여 있던 배치 처리를 독립 파이프라인으로 추출하여, 태스크 캐시 구현의 기반을 마련한 리팩터링 분석.#Grafana Loki#Go#Refactoring#Pipeline#Arrow2026년 3월 11일댓글 수 로딩 중
[Grafana Loki] Thor(V2) 쿼리 엔진에 결과 캐시 미들웨어 추가메트릭, 인스턴트 메트릭, 로그 쿼리 각각에 독립적인 결과 캐시를 추가하여 반복 쿼리의 GCS/오브젝트 스토어 접근을 제거한 성능 최적화 분석.#Grafana Loki#Go#Performance#Cache#Query Engine2026년 3월 9일댓글 수 로딩 중
[Loki] 컨텍스트 취소 시 downstreamer goroutine 누수 방지Loki 쿼리 프론트엔드의 downstreamer에서 컨텍스트 취소 시 goroutine이 영구적으로 블로킹되는 누수를 select로 수정한 PR 분석.#Grafana Loki#Go#Goroutine Leak#Context Cancellation#Channel#Bug Fix2026년 3월 5일댓글 수 로딩 중
[Loki] 쿼리 엔진 정합성 테스트 병렬 실행으로 CI 시간 15% 단축Grafana Loki의 구/신 쿼리 엔진 정합성 테스트에서 순차 실행되던 두 엔진 쿼리를 errgroup을 활용해 병렬로 실행하여 전체 테스트 시간을 15% 줄인 최적화를 분석합니다.#Grafana Loki#Go#Testing#Performance#Parallelism#errgroup2026년 2월 24일댓글 수 로딩 중
[Grafana Loki] 오브젝트 스토어 클라이언트에 요청 레이턴시 히스토그램 메트릭 추가기존 Thanos 클라이언트의 e2e 메트릭과 별개로, 요청 헤징 후 실제 라운드트립 레이턴시를 측정하는 네이티브 히스토그램 메트릭을 추가한 분석.#Grafana Loki#Go#Performance#Observability#Prometheus2026년 2월 24일댓글 수 로딩 중
[Grafana Loki] 쿼리 엔진 aggregator의 자료구조를 개선하여 38% 성능 향상groupState에서 라벨 데이터를 분리하고, 라벨 목록을 맵으로 변경하며, BuildRecord의 선형 탐색을 제거하여 메트릭 쿼리 실행 시간을 38% 단축한 분석.#Grafana Loki#Go#Performance#Query Engine#Data Structure#Aggregation2026년 2월 24일댓글 수 로딩 중
[Grafana Loki] 블룸 필터 캐시를 맵으로 교체하여 운영 복잡도 제거ingest-limits-frontend의 스트림 캐시에서 블룸 필터를 Go map으로 교체하여, 사전 크기 설정 불필요와 false positive 제거를 동시에 달성한 분석.#Grafana Loki#Go#Performance#Cache#Data Structure2026년 2월 23일댓글 수 로딩 중
[Grafana Loki] 루프 언롤링된 Uvarint 디코더로 delta 인코딩 최적화표준 라이브러리 Varint 디코더를 루프 언롤링 버전으로 교체하여 delta 디코딩에서 최대 51% 속도 향상을 달성한 분석.#Grafana Loki#Go#Performance#Encoding#Benchmark#Data Object2026년 2월 20일댓글 수 로딩 중
[Grafana Loki] 검증이 완료될 때까지 accepted stream 캐시를 비활성화확률적 자료구조인 블룸 필터 기반 캐시의 효과를 추가 검증하기 위해 기본값을 비활성으로 변경한 분석.#Grafana Loki#Go#Bloom Filter#Cache#Feature Flag#Reliability2026년 2월 19일댓글 수 로딩 중
[Grafana Loki] 범위 집계를 병렬 파티션으로 푸시다운하여 쿼리 처리 최적화결합법칙/교환법칙이 성립하는 집계 연산을 parallelPushdown 최적화에 적용하여, 네트워크 전송량 감소와 파이프라인 병목 해소를 동시에 달성한 분석.#Grafana Loki#Go#Performance#Query Optimization#Parallel Processing2026년 2월 19일댓글 수 로딩 중
[Grafana Loki] 프론트엔드 캐시를 리팩터링하고 캐시된 스트림을 요청에서 필터링acceptedStreamsCache로 캐시를 분리하고, 이미 승인된 스트림을 요청에서 제거하여 백엔드 부하를 줄이며, 블룸 필터 메트릭을 추가한 분석.#Grafana Loki#Go#Performance#Bloom Filter#Cache#Metrics2026년 2월 18일댓글 수 로딩 중
[Grafana Loki] batchDecoratorReader에서 읽기 에러 시 패닉을 방지하는 수정레코드 배치 데코레이터가 non-EOF 에러에서 스키마 불일치로 패닉하던 문제를 수정하고, 항상 데코레이션 로직을 적용하도록 변경한 분석.#Grafana Loki#Go#Error Handling#Panic#Arrow#Data Pipeline2026년 2월 13일댓글 수 로딩 중
[Grafana Loki] cmp.Diff 대신 cmp.Equal로 상태 비교를 단순화Kubernetes 컨트롤러에서 변경 감지를 위해 diff 문자열 생성 후 빈 문자열 비교하던 것을 Equal로 교체한 최적화 분석.#Grafana Loki#Go#Kubernetes#Operator#Performance2026년 2월 11일댓글 수 로딩 중
[Loki] LogQL 벤치마크에 오브젝트 스토리지 지연 시뮬레이션 추가Loki LogQL 벤치마크에 S3/GCS 같은 오브젝트 스토리지 지연을 시뮬레이션하는 플래그를 추가하여 프로덕션 환경에 가까운 성능 측정을 가능하게 한 PR 분석.#Grafana Loki#Go#Benchmarking#Object Storage#Latency Simulation#LogQL2026년 2월 7일댓글 수 로딩 중
[Loki] memory.Bitmap 슬라이싱 지원: 비정렬 오프셋 처리Loki의 memory.Bitmap에 슬라이싱 기능을 추가하고, 워드 경계에 정렬되지 않은 비트맵의 연산을 지원하도록 개선한 PR 분석.#Grafana Loki#Go#Bitmap#Memory#Data Structure#Performance2026년 2월 6일댓글 수 로딩 중
[Loki] 대소문자 무시 정규식을 바이너리 연산자로 최적화정규식 엔진 대신 바이트 단위 대소문자 무시 비교 연산자를 도입하여 case-insensitive 매칭 성능을 대폭 개선한 분석.#Loki#Go#Performance#Regex#Query Engine2026년 2월 5일댓글 수 로딩 중
[Loki] 인덱스 빌더에서 오브젝트 다운로드 시 슬라이스 사전 할당으로 메모리 효율화io.ReadAll 대신 오브젝트 크기 기반 사전 할당으로 인덱스 빌드 시 불필요한 메모리 재할당을 제거한 분석.#Loki#Go#Performance#Memory Allocation#Object Storage2026년 2월 2일댓글 수 로딩 중
[Grafana Loki] JSON 파서에서 bytes.Runes() 할당을 in-place UTF-8 디코딩으로 제거쿼리 엔진 워커의 JSON 키 정제 과정에서 매번 새 슬라이스를 할당하던 bytes.Runes()를 utf8.DecodeRune으로 교체하고, JSON 파서 재사용과 요청 키 프리필터링을 추가한 최적화 분석.#Grafana Loki#Go#Performance#Memory Allocation#JSON Parser2026년 1월 29일댓글 수 로딩 중
[Loki] 인덱스 빌더 크기 추정 최적화: 반복 계산 제거로 97% 성능 개선Grafana Loki의 데이터 객체 인덱스 빌더에서 매번 모든 테넌트를 순회하며 크기를 계산하던 방식을 증분 추적으로 변경하여 97%의 성능 향상을 달성한 PR을 분석합니다.#Grafana Loki#Performance#Go#Index Builder#Optimization2026년 1월 28일댓글 수 로딩 중
[Grafana Loki] Allocator에 동시 접근 감지를 추가하여 메모리 안전성 확보Arena 스타일 메모리 Allocator에 atomic CAS 기반 동시 접근 감지를 추가하여, 고루틴 간 경합 시 즉시 panic으로 디버깅을 용이하게 한 분석.#Grafana Loki#Go#Memory Management#Concurrency#Atomic2026년 1월 28일댓글 수 로딩 중
[Loki] Thor 쿼리 엔진 메모리 최적화 Part 3: 불필요한 스키마 재생성 제거Arrow 스키마 재생성과 필드 복사를 제거하여 쿼리 엔진의 메모리 할당을 추가 절감한 분석.#Loki#Go#Performance#Memory Allocation#Apache Arrow2026년 1월 21일댓글 수 로딩 중
[Loki] Partition Ring 셔플 샤딩 캐시 크기를 설정 플래그로 추출하드코딩된 셔플 샤딩 캐시 크기를 런타임 설정 플래그로 추출하여 테넌트 수에 따라 조정 가능하게 만든 분석.#Loki#Go#Performance#Configuration#Caching2026년 1월 21일댓글 수 로딩 중
[Loki] Thor 쿼리 엔진 메모리 최적화 Part 2: 식별자 캐싱과 빌더 ReserveFQN 파싱 결과를 캐싱하고 Arrow 빌더에 Reserve를 적용하여 실행 시간 7%, 메모리 할당 12% 절감한 분석.#Loki#Go#Performance#Memory Allocation#Caching2026년 1월 21일댓글 수 로딩 중
[Loki] 자식 할당자가 반환한 메모리의 조기 해제 방지Grafana Loki의 메모리 할당자에서 자식 할당자가 부모에게 반환한 메모리가 부모의 Reset 시 Go 런타임으로 조기 해제되는 버그를 3상태 비트맵 도입으로 수정한 PR을 분석합니다.#Grafana Loki#Memory Management#Go#Allocator#Bug Fix2026년 1월 20일댓글 수 로딩 중
[Loki] 부모-자식 메모리 할당자 도입으로 계층적 메모리 수명 관리쿼리 엔진의 메모리 할당자에 부모-자식 관계를 추가하여 할당/해제 수명을 계층적으로 관리하는 최적화 분석.#Loki#Go#Performance#Memory Management#Allocator2026년 1월 20일댓글 수 로딩 중
[Grafana Loki] dataobj pageReader의 메모리 할당을 Reclaim과 Bitmap 직접 전달로 최적화pageReader.read()에서 Reset 대신 Reclaim을 사용하고, presence 비트맵을 직접 전달하여 불필요한 할당을 줄인 dataobj 읽기 경로 최적화 분석.#Grafana Loki#Go#Performance#Memory Allocation#Data Object2026년 1월 20일댓글 수 로딩 중
[Loki] Bitmap 디코더 최적화: 처리량 93.5% 개선Loki dataobj의 bitmap 디코더를 boolean 전용으로 특수화하고 memory.Bitmap으로 전환하여 처리량을 93.5% 개선한 PR 분석.#Grafana Loki#Go#Bitmap#Decoder#Performance#Data Object2026년 1월 19일댓글 수 로딩 중
[Loki] memory 서브패키지 통합으로 코드 구조 개선memory/bitmap, memory/buffer를 memory 패키지로 통합하여 중복 제거#Grafana Loki#Go#Refactoring#Performance2026년 1월 16일댓글 수 로딩 중
[Loki] Delta Decoder 최적화로 3배 처리량 개선streamio.Reader 인터페이스 제거와 직접 바이트 슬라이스 접근으로 delta decoder 성능 60% 향상.#Grafana Loki#Go#Performance#Encoding#Data Pipeline2026년 1월 15일댓글 수 로딩 중
[Loki] 데이터 오브젝트 Plain Value 디코더 최적화로 처리량 93% 향상Grafana Loki의 dataobj에서 Plain Value 디코더를 Arrow 스타일 메모리 표현, []byte 기반 디코딩, 포인터 간접 참조 최소화로 재작성하여 디코딩 처리량을 93% 향상시킨 최적화를 분석합니다.#Grafana Loki#Go#Performance#Decoder#Memory Optimization#Benchmark2026년 1월 15일댓글 수 로딩 중
[Loki] Plain 디코더 벤치마크 추가 및 코드 개선Loki dataobj의 plain bytes 디코더에 체계적인 벤치마크를 추가하고, 불필요한 조건 체크를 제거하여 디코딩 성능을 개선한 PR 분석.#Grafana Loki#Go#Benchmarking#Decoder#Data Object#Performance2026년 1월 14일댓글 수 로딩 중
[Grafana Loki] pkg/dataobj를 위한 실험적 arena 스타일 메모리 패키지 도입메모리 영역을 회수하고 재사용할 수 있는 arena 스타일 Allocator와 비트맵/버퍼 유틸리티를 새로 도입한 분석.#Grafana Loki#Go#Memory Management#Arena Allocator#Performance#Bitmap2026년 1월 14일댓글 수 로딩 중
[Grafana Loki] 델타 디코더 벤치마크 개선 및 Decode 메서드 성능 측정 추가단일 값 decode 벤치마크를 배치 단위 Decode 메서드 벤치마크로 재작성하고, 처리량 메트릭과 errors.Is 최적화를 추가한 분석.#Grafana Loki#Go#Performance#Benchmark#Encoding2026년 1월 14일댓글 수 로딩 중
[Loki] 새 쿼리 엔진 메모리 할당 최적화: 객체 수 32% 감소Loki의 새 쿼리 엔진에서 Arrow 빌더 사전 할당, 문자열 캐싱, 슬라이스 재사용 등으로 메모리 할당 객체 수를 32% 줄인 PR 분석.#Grafana Loki#Go#Memory Allocation#Query Engine#Apache Arrow#Performance2026년 1월 7일댓글 수 로딩 중
[Loki] Partition Ring Shuffle Sharding에 LRU 캐시 도입dskit 업데이트로 partition ring shuffle shard 캐시에 LRU 기반 바운디드 메모리 관리 추가.#Grafana Loki#Go#Performance#Memory Management#Caching2025년 12월 19일댓글 수 로딩 중
[Grafana Loki] 스케줄러 Peer 연결 미종료로 인한 메모리 누수 수정streamSink 종료 시 Peer 연결을 닫지 않아 반대편 워커의 Serve()가 영원히 반환되지 않던 메모리 누수를 defer conn.Close()로 해결한 분석.#Grafana Loki#Go#Memory Leak#Distributed Systems#gRPC2025년 12월 19일댓글 수 로딩 중
[Loki] 페이지 빌더 메모리 사전 할당 제거로 희소 컬럼 메모리 효율 개선Grafana Loki의 dataobj 페이지 빌더에서 최대 페이지 크기만큼 메모리를 사전 할당하던 것을, Go의 자연스러운 슬라이스 성장에 맡겨 희소 컬럼의 메모리 오버헤드를 줄인 최적화를 분석합니다.#Grafana Loki#Go#Memory#Performance#Data Object2025년 11월 27일댓글 수 로딩 중
[Loki] 테넌트 rate limit 기반 셔플 샤딩으로 쿼리 성능 향상Grafana Loki의 distributor에서 테넌트별 ingestion rate limit을 기반으로 셔플 샤딩을 적용하여, 저볼륨 테넌트의 세그먼트 키를 동일 파티션에 모아 쿼리 성능을 향상시킨 최적화를 분석합니다.#Grafana Loki#Go#Performance#Sharding#Distributed Systems#Query Optimization2025년 11월 24일댓글 수 로딩 중
[Grafana Loki] 파서의 문자열 인턴 셋에서 키 충돌 결과 캐싱 버그 수정internedStringSet이 키 충돌(duplicate suffix) 결과까지 캐싱하여 다른 스트림에 잘못된 라벨이 적용되던 버그를, 충돌 감지를 캐시 밖으로 이동하여 수정한 분석.#Grafana Loki#Go#Bug Fix#Parser#Performance2025년 11월 24일댓글 수 로딩 중
[Loki] 인메모리 레이트 트래커로 UpdateRates RPC 구현Grafana Loki의 인제스트 리미터에서 UpdateRates RPC를 순환 버퍼 기반 인메모리 레이트 트래커로 구현하여, 스트림별 속도 제한의 기반을 마련한 PR을 분석합니다.#Grafana Loki#Rate Limiting#Go#In-Memory#Circular Buffer2025년 11월 19일댓글 수 로딩 중
[Grafana Loki] 정규식 필터 평가에서 배치당 한 번만 컴파일하도록 최적화LogQL 정규식 필터에서 행마다 regex를 컴파일하던 것을 배치당 한 번 컴파일로 변경하여 할당량을 대폭 줄인 분석.#Grafana Loki#Go#Regex#Performance#Query Engine#Arrow2025년 10월 30일댓글 수 로딩 중
[Grafana Loki] 쿼리 옵티마이저를 bottom-up에서 top-down 방식으로 리팩터링하여 중복 작업 제거DAG 노드마다 규칙을 개별 적용하던 bottom-up 옵티마이저를 루트에서 시작하는 top-down 방식으로 전환하여, 중복 규칙 적용과 추론 복잡성을 제거한 분석.#Grafana Loki#Go#Performance#Query Optimizer#Refactoring2025년 10월 24일댓글 수 로딩 중
[Loki] 쿼리 엔진 병렬 푸시다운 최적화 패스 추가Grafana Loki의 물리 플래너에 parallelPushdown 최적화 규칙을 추가하여, 필터링과 파싱 같은 작업을 Parallelize 노드 내부로 이동시켜 병렬 처리 범위를 확대한 PR을 분석합니다.#Grafana Loki#Query Engine#Performance#Go#Query Optimization#Parallelism2025년 10월 17일댓글 수 로딩 중
[Loki] 쿼리 엔진에 Parallelize 힌트 노드 추가물리 실행 계획에 Parallelize 노드를 추가하여 스케줄러의 병렬 작업 분배 기반 마련.#Grafana Loki#Go#Performance#Query Engine#Parallelism2025년 10월 16일댓글 수 로딩 중
[Grafana Loki] GetShards 호출에서 청크 크기 정보를 인덱스에서 직접 가져와 48% 성능 향상인덱스를 두 번 읽던 GetShards 로직을 한 번의 읽기로 통합하여 응답 시간 48%, 메모리 27% 절감을 달성한 최적화 분석.#Grafana Loki#Go#Performance#Index Query#TSDB2025년 10월 9일댓글 수 로딩 중