[CPython] CPython RemoteUnwinder 프레임 캐싱으로 메모리 읽기 최적화

PR 링크: python/cpython#142137 상태: Merged | 변경: +1855 / -142

들어가며

CPython의 원격 프로파일러(RemoteUnwinder)는 외부 프로세스에서 대상 프로세스의 call stack을 읽어 프로파일링한다. 매 샘플마다 전체 스택 프레임을 원격 메모리에서 읽어야 하는데, call stack이 깊고 하단이 안정적인 경우(예: 웹 서버의 메인 루프) 대부분의 프레임은 변하지 않는다. 이 PR은 last_profiled_frame 포인터를 도입해 변하지 않은 프레임을 캐시에서 재사용하는 최적화를 구현했다.

핵심 코드 분석

PyThreadState에 last_profiled_frame 추가

Before:

// Include/cpython/pystate.h
struct _ts {
    struct _PyInterpreterFrame *current_frame;
    Py_tracefunc c_profilefunc;
    // ...
};

After:

// Include/cpython/pystate.h
struct _ts {
    struct _PyInterpreterFrame *current_frame;
    struct _PyInterpreterFrame *last_profiled_frame;
    Py_tracefunc c_profilefunc;
    // ...
};

PyThreadState에 last_profiled_frame 필드를 추가했다. 원격 프로파일러가 스택을 샘플링할 때 현재 프레임 주소를 이 필드에 기록한다. 이후 eval loop에서 프레임이 pop될 때 이 포인터가 자동으로 부모 프레임으로 갱신되어 항상 유효한 프레임을 가리키게 된다.

High-Water Mark 패턴으로 캐시 무효화 방지

InternalDocs/frames.md에서 발췌:

The eval loop keeps this pointer valid by updating it to the parent
frame whenever a frame returns (in _PyEval_FrameClearAndPop).

This creates a "high-water mark" that always points to a frame still
on the stack. On subsequent samples, the profiler can walk from
current_frame until it reaches last_profiled_frame, knowing that
frames from that point downward are unchanged and can be retrieved
from a cache.

The update is guarded: it only writes when last_profiled_frame is
non-NULL AND matches the frame being popped.

핵심 아이디어는 "high-water mark" 패턴이다. 프로파일러가 마지막으로 읽은 프레임 주소를 기록해두면, 다음 샘플에서는 current_frame부터 last_profiled_frame까지만 새로 읽고 나머지는 캐시에서 가져온다.

RemoteUnwinder에 cache_frames 옵션 추가

Before:

self.unwinder = _remote_debugging.RemoteUnwinder(
    self.pid, all_threads=self.all_threads, mode=mode,
    native=native, gc=gc,
    skip_non_matching_threads=skip_non_matching_threads
)

After:

self.unwinder = _remote_debugging.RemoteUnwinder(
    self.pid, all_threads=self.all_threads, mode=mode,
    native=native, gc=gc,
    skip_non_matching_threads=skip_non_matching_threads,
    cache_frames=True, stats=collect_stats
)

cache_frames=True 파라미터로 프레임 캐싱을 활성화한다. stats=True일 때 캐시 히트율, 메모리 읽기 횟수 등 통계를 수집할 수 있다.

캐시 통계 모니터링

stats = self.unwinder.get_stats()
hits = stats.get('frame_cache_hits', 0)
partial = stats.get('frame_cache_partial_hits', 0)
misses = stats.get('frame_cache_misses', 0)
total = hits + partial + misses
hit_pct = (hits + partial) / total * 100

캐시 성능을 실시간으로 모니터링할 수 있다. Full hit(전체 스택 캐시), partial hit(일부만 새로 읽기), miss(전체 새로 읽기)를 구분해서 추적한다.

왜 이게 좋은가

1. 메모리 읽기 대폭 감소: call stack이 깊고 안정적인 서버 워크로드에서, 매 샘플마다 전체 스택 대신 변경된 상위 몇 프레임만 원격으로 읽는다.
2. 프로파일링 오버헤드 감소: process_vm_readv syscall 횟수가 줄어들어 프로파일링 자체의 성능 영향이 줄어든다.
3. 비활성 시 zero overhead: last_profiled_frame이 NULL이면 eval loop의 guard 조건이 false이므로 프로파일링을 사용하지 않을 때 성능 영향이 없다.
4. transient frame 안전성: 프로파일러 샘플 사이에 호출되고 반환된 일시적 프레임은 guard 조건에 의해 캐시 포인터를 오염시키지 않는다.

정리

이 PR은 원격 프로파일링의 핵심 병목인 "매번 전체 스택을 원격 메모리에서 읽는 문제"를 high-water mark 기반 프레임 캐싱으로 해결한다. C 레벨의 last_profiled_frame 포인터 하나로 eval loop과 프로파일러 간의 효율적인 협력 구조를 만들었고, 비활성 시 zero overhead를 보장하는 설계가 돋보인다.

참고 자료

• CPython InternalDocs/frames.md -- CPython 프레임 내부 구조 문서
• PEP 799 -- Profiling Package -- Python 3.15 프로파일링 패키지 제안

알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.