본문으로 건너뛰기

[loki] Loki LogQL: 파서 뒤 label filter를 미리 검사해 통과할 수 없는 로그 라인의 파싱 건너뛰기

PR 링크: grafana/loki#25806 상태: Merged | 변경: +1099 / -20

들어가며

Loki에서 가장 흔한 쿼리 패턴 중 하나는 다음과 같습니다.

{service_name="api"} | json | userId="abc123"

이 쿼리는 stream의 모든 라인을 json으로 파싱한 뒤, userId가 다른 라인을 버립니다. 매칭되는 라인이 적을수록 파싱 작업 대부분이 그대로 버려집니다. 95만 라인 중 10개만 매칭되는 상황이라면 파싱 비용의 99.99%가 낭비입니다.

이 PR의 핵심 관찰은 단순합니다. 라인에 abc123이라는 바이트열이 아예 없다면, 파서가 그 라인에서 userId="abc123"을 읽어낼 수 없습니다. 그래서 json, logfmt, regexp 파서가 파싱 전에 ShouldParseLine 성격의 체크로 라인이 필터를 통과할 가능성이 있는지 먼저 확인하고, 가능성이 없으면 파싱 없이 버립니다.

참고: 이 글에서 볼 수 있는 diff는 앞부분만 포함되어 있어(label_filter_line_hints.logqltest), Go 구현 코드를 직접 인용하기 어렵습니다. 대신 PR 설명, 리뷰 논의, 그리고 테스트 케이스를 근거로 구현의 의도와 경계 조건을 분석합니다.

동작 방식: Before / After

Before — 모든 라인을 파싱한 뒤 필터링:

for each line:
    labels = json.Parse(line)      // 330B 라인 전체 파싱
    if labels["userId"] != "abc123": drop

After — 값 존재 여부를 먼저 확인 (개념 흐름):

for each line:
    if label already set (stream / metadata / label_format): parse
    else if !bytes.Contains(line, "abc123") && no escape risk: drop  // 파싱 생략
    else: parse as before

핵심은 "확실히 실패한다"고 증명할 수 있을 때만 버리고, 조금이라도 불확실하면 기존대로 파싱한다는 보수적(conservative) 설계입니다. 결과는 바뀌지 않습니다.

코드 분석

1. 어떤 필터가 "요구사항(need)"을 만드는가

  • = 필터의 값, 그리고 abcd.*, abcd|efgh처럼 리터럴로 simplify되는 =~ 정규식
  • and의 양쪽 모두
  • !=, 숫자 필터, or, 빈 값을 허용하는 필터는 아무것도 요구하지 않음
  • e[rx]ror처럼 리터럴로 단순화되지 않는 정규식도 요구사항 없음

테스트에서도 이 경계가 확인됩니다.

clear
load
  {app="a"} `{"level":"error"}` @ 20s [repeat every 20s for 3]
  {app="a"} `{"msg":"error"}`   @ 10s                            # noise: no level key

eval instant at 60s sum(count_over_time({app="a"} | json | level=~"e[rx]ror" [1m]))
  {} 3

2. 함정(trap): 라인에 값이 없어도 통과하는 경우

테스트 파일은 "값이 라인에 없는데도 필터를 통과하는" 케이스를 trap으로 명시합니다.

  {app="b", foo="barx"} `{"foo":"bazx"}`      @ 20s ...  # trap: stream label
  {app="c"}             `{"foo":"bazx"}`      @ 20s ... [metadata foo="barx"] # trap: structured metadata
  {app="d"}             `{"foo":"b\u0061rx"}` @ 20s ...  # trap: escape
  • Stream / structured metadata 라벨: 이미 foo가 있으면 파서는 라인 값을 foo_extracted로 넣고, 필터는 기존 값을 읽습니다. 그래서 체크는 라인 검색 전에 라벨 lookup을 먼저 합니다. lookup이 더 싸기 때문입니다.
  • Escape: "b\u0061rx"는 디코딩하면 barx입니다. \u가 있으면 파싱합니다.
  • label_format: 앞 stage가 라벨을 설정하면 파서는 그 키를 건너뜁니다.

U+FFFD 처리도 섬세합니다. json/logfmt는 값 안의 invalid UTF-8과 U+FFFD를 공백으로 바꾸므로, foo="abcd efgh"는 "abcd efgh" 전체가 아니라 공백으로 나뉜 각 조각을 요구합니다.

  {app="b"} `{"foo":"abcd�efgh"}`      @ 20s ...   # trap: U+FFFD
  {app="c"} `{"foo":"abcd\ufffdefgh"}` @ 20s ...   # trap: escaped U+FFFD

3. 비용 상한 장치

첫 리뷰 이후 가장 크게 바뀐 부분입니다. pracucci는 alternation 개수에 비례해 비용이 선형 증가한다는 벤치마크를 제시했습니다.

Alternatives Hinted Plain
1 3.6 µs 26 µs
100 314 µs 24 µs
500 1.58 ms 26 µs

이에 따라 다음 제한이 추가됐습니다.

  • 리터럴 최대 4개, 길이 내림차순 정렬 (긴 리터럴일수록 드물어서 탈락 판정이 빠름). alternation이 4개에 안 들어가면 아예 요구사항 없음
  • 4바이트 미만 리터럴 무시 — 너무 흔해서 걸러내는 효과가 없음
  • Case-insensitive 리터럴 무시 — 바이트 단위 비교로 약 6배 비쌈
  • 키 검색 제거 — 같은 stream 라인은 대개 키를 공유하고, json은 키를 변형(tenant-id → tenant_id, nested 키 join)하기도 함
  • |= "abc123" | json | userId="abc123" 처럼 앞선 line filter가 이미 보장한 리터럴은 재검색하지 않음
  • pattern 파서는 제외 — 파싱 자체가 한 번 검색하는 비용과 비슷해서 이득이 없음

또 리뷰에서 lineLiteral이 searches=1을 반환하지만 escape 검색도 수행한다는 지적이 있었고, 검색 횟수를 lineNeed 인터페이스 메서드로 계산하도록 고쳐 비용 계산이 정확해졌습니다.

4. Escape 처리를 유지한 이유

pracucci는 "라인에 \\가 있으면 그냥 파싱"으로 단순화하자고 제안했지만, hundredwatt는 실제 로그를 근거로 반대했습니다.

level=info ... component=frontend org_id=123 query="{job=\"cloud/aws\"}...

query-frontend 로그처럼 \"가 거의 항상 들어가는 로그에서는 단순화하면 최적화가 무력화됩니다. 그래서 \u만 일반적으로 검사하고, \/, \'는 값에 /, '가 있을 때만 검사합니다.

왜 이게 좋은가

950,000개 JSON 라인(약 330B), 10개 매칭 기준:

Query Before After
Metric 449 ms 97 ms (−78%)
Log 854 ms 94 ms (−89%)
Metric, UUID가 다른 필드에도 있음 454 ms 511 ms (+12%)

최악의 경우(모든 라인에 값이 있어 검색 후 결국 파싱)는 라인당 약 60~70ns 추가이고, 상한 장치 덕분에 215개 alternation 케이스는 +1,063%에서 +1%로, 24단어 값은 +134%에서 +24%로 줄었습니다.

일반적 교훈

  1. 비싼 연산 앞에 싼 negative filter를 둬라. bytes.Contains 한 번이 JSON 파싱보다 수십 배 싸다.
  2. "확실히 실패"할 때만 short-circuit하라. escape, 유니코드 치환, 기존 라벨 같은 의미론적 차이를 하나라도 놓치면 결과가 틀린다.
  3. 최적화 자체의 최악 비용에 상한을 둬라. 입력(alternation 수)에 비례하는 체크는 회귀의 씨앗이다.
  4. 테스트로 최적화가 실제로 일어나는지도 검증하라. 리뷰에서 지적됐듯 hint가 항상 true여도 결과는 같으므로, 정확성 테스트만으로는 최적화 제거를 감지 못한다. 저자는 각 체크를 하나씩 제거해 테스트가 실패하는지 확인했다.

참고 자료

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.

댓글

관련 포스트

PR Analysis 의 다른글