[cpython] Python JIT Shim 빌드 프로세스 개선: 런타임 컴파일에서 빌드 타임 링크로

2026년 4월 23일수정: 2026년 4월 23일

PR 링크: python/cpython#148872 상태: Merged | 변경: +None / -None

들어가며

CPython은 최근 몇 년간 성능 최적화에 많은 노력을 기울이고 있으며, JIT(Just-In-Time) 컴파일러 통합은 이러한 노력의 핵심 부분입니다. JIT 컴파일러는 런타임에 코드를 기계어로 변환하여 실행 속도를 높이는 기술입니다. 하지만 JIT 컴파일러를 시스템에 통합하는 과정은 복잡하며, 특히 JIT 컴파일된 코드와 기존 인터프리터 코드 간의 전환(shim)은 중요한 성능 및 디버깅 고려 사항을 수반합니다.

이 PR(Pull Request) GH-126910: Build/link the JIT shim in the Python interpreter는 Python 인터프리터 내에서 JIT shim을 처리하는 방식을 근본적으로 변경합니다. 기존에는 JIT shim이 런타임에 컴파일되고 메모리에 동적으로 로드되었지만, 이 PR은 shim을 Python 인터프리터 바이너리에 빌드 타임에 정적으로 링크하도록 변경합니다. 이 변화는 JIT 통합을 단순화하고, 디버깅 경험을 개선하며, 잠재적으로 런타임 오버헤드를 줄이는 데 기여합니다.

코드 분석: 무엇이 어떻게 변경되었나?

이 PR의 핵심은 JIT shim의 생성 및 관리를 런타임에서 빌드 타임으로 옮기는 것입니다. 이를 위해 여러 파일에서 변경이 이루어졌습니다.

`Include/internal/pycore_ceval.h` 및 `Include/internal/pycore_jit.h`

이 헤더 파일들은 JIT shim 함수의 선언 방식을 변경합니다. 기존에는 _Py_LazyJitShim이라는 함수가 _Py_JIT 매크로가 정의된 경우에만 조건부로 선언되었습니다. 이는 런타임에 shim을 '지연' 컴파일하는 방식과 관련이 있었습니다.

Before:

#ifdef _Py_TIER2
#ifdef _Py_JIT
_Py_CODEUNIT *_Py_LazyJitShim(
    struct _PyExecutorObject *current_executor, _PyInterpreterFrame *frame,
    _PyStackRef *stack_pointer, PyThreadState *tstate
);
#else
_Py_CODEUNIT *_PyTier2Interpreter(
    struct _PyExecutorObject *current_executor, _PyInterpreterFrame *frame,
    _PyStackRef *stack_pointer, PyThreadState *tstate
);
#endif
#endif

After:

#ifdef _Py_TIER2
_Py_CODEUNIT *_PyTier2Interpreter(
    struct _PyExecutorObject *current_executor, _PyInterpreterFrame *frame,
    _PyStackRef *stack_pointer, PyThreadState *tstate
);
#endif

extern _PyJitEntryFuncPtr _Py_jit_entry;

그리고 pycore_jit.h에 _PyJIT 함수가 직접 선언됩니다.

After (Include/internal/pycore_jit.h):

_Py_CODEUNIT *_PyJIT(
    _PyExecutorObject *executor, _PyInterpreterFrame *frame,
    _PyStackRef *stack_pointer, PyThreadState *tstate
);

int _PyJIT_Compile(_PyExecutorObject *executor, const _PyUOpInstruction *trace, size_t length);
void _PyJIT_Free(_PyExecutorObject *executor);
// void _PyJIT_Fini(void);  // Removed
PyAPI_FUNC(int) _PyJIT_AddressInJitCode(PyInterpreterState *interp, uintptr_t addr);

_Py_LazyJitShim이 사라지고 _PyJIT이 직접 선언된 것은, shim이 더 이상 런타임에 '지연' 컴파일되는 것이 아니라, 빌드 시점에 이미 존재함을 의미합니다. 또한, _PyJIT_Fini 함수가 제거된 것은 런타임에 동적으로 할당된 JIT shim 메모리를 해제할 필요가 없어졌음을 시사합니다.

`Python/ceval.c`

인터프리터의 핵심 실행 루프를 담당하는 ceval.c에서는 JIT 진입점(_Py_jit_entry)이 초기화되는 방식이 변경됩니다.

Before:

#ifdef _Py_TIER2
#ifdef _Py_JIT
_PyJitEntryFuncPtr _Py_jit_entry = _Py_LazyJitShim;
#else
_PyJitEntryFuncPtr _Py_jit_entry = _PyTier2Interpreter;
#endif

After:

#ifdef _Py_TIER2
#ifdef _Py_JIT
_PyJitEntryFuncPtr _Py_jit_entry = _PyJIT;
#else
_PyJitEntryFuncPtr _Py_jit_entry = _PyTier2Interpreter;
#endif

_Py_jit_entry가 _Py_LazyJitShim 대신 _PyJIT으로 직접 초기화됩니다. 이는 _PyJIT 함수가 빌드 시점에 이미 정의되어 있고 바로 사용할 수 있음을 명확히 보여줍니다.

`Python/jit.c`

JIT 관련 로직을 포함하는 jit.c 파일에서는 런타임 shim 컴파일 관련 코드가 제거됩니다. 특히 _Py_jit_shim_size 변수와 compile_shim 함수가 사라집니다.

Before:

static size_t _Py_jit_shim_size = 0;

// ... (중략)

/* One-off compilation of the jit entry shim
 * We compile this once only as it effectively a normal
 * function, but we need to use the JIT because it needs
 * to understand the jit-specific calling convention.
 * Don't forget to call _PyJIT_Fini later!
 */
static _PyJitEntryFuncPtr
compile_shim(void)
{
    // ... (shim 컴파일 로직)
}

After:

// static size_t _Py_jit_shim_size = 0; // Removed

// ... (중략)

// Removed compile_shim function

또한, _PyJIT_AddressInJitCode 함수에서 _Py_jit_shim_size를 사용하여 JIT shim의 주소 범위를 확인하는 로직도 제거됩니다. 이는 shim이 더 이상 동적으로 할당된 메모리 영역에 존재하지 않음을 의미합니다.

Before (_PyJIT_AddressInJitCode 내부):

    if (_Py_jit_entry != _Py_LazyJitShim && _Py_jit_shim_size != 0) {
        uintptr_t start = (uintptr_t)_Py_jit_entry;
        uintptr_t end = start + _Py_jit_shim_size;
        if (addr >= start && addr < end) {
            return 1;
        }
    }

After (_PyJIT_AddressInJitCode 내부):

    // Removed the block checking _Py_jit_shim_size

`Makefile.pre.in`, `PCbuild/pyproject.props`, `PCbuild/pythoncore.vcxproj`, `PCbuild/regen.targets`

이 파일들은 빌드 시스템의 변경을 반영합니다. JIT shim을 Python 인터프리터 바이너리에 직접 링크하기 위해 빌드 스크립트와 프로젝트 파일이 수정되었습니다.

Makefile.pre.in: JIT_OBJS 변수에 JIT shim 오브젝트 파일($(JIT_SHIM_O))이 추가되어 Python 인터프리터 빌드 시 함께 링크되도록 합니다. 또한, JIT 관련 타겟(JIT_TARGETS, JIT_BUILD_TARGETS)에 jit_shim*.o 파일이 포함되고, regen-jit 타겟이 이들을 생성하도록 변경됩니다.
PCbuild/pyproject.props, PCbuild/pythoncore.vcxproj, PCbuild/regen.targets: Windows 빌드 시스템(MSBuild)에서도 유사하게 JIT shim 오브젝트 파일(jit_shim-*.o)이 생성되고 pythoncore.vcxproj에 AdditionalDependencies로 추가되어 최종 바이너리에 링크되도록 합니다. 특히 regen.targets에서는 _JITOutputs에 jit_shim-*.o 파일들이 추가되어 JIT 빌드 프로세스에 포함됩니다.

Makefile.pre.in 변경 예시:

Before:

PYTHON_OBJS= \
        // ...
        Python/jit.o \
        Python/legacy_tracing.o \
        // ...

jit_stencils.h @JIT_STENCILS_H@: $(JIT_DEPS)
	@REGEN_JIT_COMMAND@

.PHONY: regen-jit
regen-jit:
	@REGEN_JIT_COMMAND@

clean-jit-stencils:
	-rm -f jit_stencils*.h

After:

JIT_OBJS=	@JIT_SHIM_O@
PYTHON_OBJS= \
        // ...
        Python/jit.o \
        $(JIT_OBJS) \
        Python/legacy_tracing.o \
        // ...

JIT_SHIM_BUILD_OBJS=	@JIT_SHIM_BUILD_O@
JIT_BUILD_TARGETS=	jit_stencils.h @JIT_STENCILS_H@ $(JIT_SHIM_BUILD_OBJS)
JIT_TARGETS=	$(JIT_BUILD_TARGETS) $(filter-out $(JIT_SHIM_BUILD_OBJS),$(JIT_OBJS))
JIT_GENERATED_STAMP=	.jit-stamp

$(JIT_GENERATED_STAMP): $(JIT_DEPS)
	@REGEN_JIT_COMMAND@
	@touch $@

$(JIT_BUILD_TARGETS): $(JIT_GENERATED_STAMP)
	@if test ! -f "$@"; then \
		rm -f $(JIT_GENERATED_STAMP); \
		$(MAKE) $(JIT_GENERATED_STAMP); \
		test -f "$@"; \
	fi

.PHONY: regen-jit
regen-jit: $(JIT_TARGETS)

clean-jit-stencils:
	-rm -f $(JIT_TARGETS) $(JIT_GENERATED_STAMP) jit_stencils*.h jit_shim*.o

이러한 빌드 시스템 변경은 JIT shim이 이제 Python 바이너리의 일부로 컴파일되고 링크됨을 보장합니다.

왜 이게 좋은가?

이 PR의 변경사항은 여러 면에서 Python JIT 통합에 긍정적인 영향을 미칩니다.

런타임 오버헤드 감소: 기존에는 JIT shim이 런타임에 동적으로 컴파일되고 메모리에 로드되었습니다. 이 과정은 초기화 시간에 약간의 오버헤드를 발생시킬 수 있습니다. shim을 빌드 타임에 정적으로 링크함으로써 이러한 런타임 컴파일 및 로딩 오버헤드를 완전히 제거할 수 있습니다. 이는 특히 JIT가 활성화된 환경에서 Python 인터프리터의 시작 시간을 단축하는 데 기여할 수 있습니다.
디버깅 편의성 향상: diegorusso의 리뷰 댓글에서 볼 수 있듯이, _PyJIT 심볼과 그 eh_frame 정보가 이제 Python 바이너리에 포함됩니다. eh_frame은 스택 언와인딩(stack unwinding) 정보를 제공하여 디버거(예: GDB)가 JIT 컴파일된 코드와 인터프리터 코드 사이의 호출 스택을 정확하게 추적할 수 있도록 합니다. 기존에는 런타임에 생성된 코드의 경우 이러한 정보가 누락되거나 디버거가 인식하기 어려웠을 수 있습니다. 이제 _PyJIT이 일반 심볼처럼 보이므로, 크래시 발생 시 스택 트레이스를 분석하거나 디버거로 JIT 코드를 단계별로 실행하는 것이 훨씬 쉬워집니다.
```
$ nm -an python | grep ' _PyJIT$'
000000000035e5b8 T _PyJIT

$ readelf --debug-dump=frames-interp python | grep -A4 -B1 '35e5b8'
  0xffffffffffdbbf88 (offset: 0x35d568) -> 0x66f08 fde=[ 564a0]
  0xffffffffffdbcfd8 (offset: 0x35e5b8) -> 0x66f4c fde=[ 564e4]
  0xffffffffffdbd060 (offset: 0x35e640) -> 0x66fc0 fde=[ 56558]
```
위 출력은 _PyJIT 심볼이 바이너리에 존재하며, 해당 주소(0x35e5b8)에 대한 FDE(Frame Description Entry)가 있음을 보여줍니다. 이는 디버거가 _PyJIT 함수 내에서 정확한 스택 정보를 얻을 수 있음을 의미합니다.
JIT 통합 단순화: PR 설명에서 언급했듯이, 이 변경은 다른 JIT 관련 PR(https://github.com/python/cpython/pull/146071)을 단순화하는 데 도움이 됩니다. JIT shim의 빌드 프로세스를 표준화하고 인터프리터 빌드 시스템에 통합함으로써, JIT 관련 코드베이스의 복잡성을 줄이고 향후 JIT 기능 개발 및 유지보수를 용이하게 합니다.
메모리 관리 간소화: 런타임에 동적으로 메모리를 할당하고 해제하는 대신, shim이 정적으로 링크되면 메모리 관리 오버헤드가 줄어듭니다. _PyJIT_Fini 함수의 제거는 이러한 변화의 직접적인 결과입니다.

이러한 개선사항들은 Python JIT의 안정성과 성능을 높이는 데 기여하며, 개발자들이 JIT 기능을 더 쉽게 활용하고 디버깅할 수 있는 환경을 제공합니다. 특히 디버깅 정보의 풍부함은 JIT 컴파일러와 같은 복잡한 시스템에서 문제를 진단하고 해결하는 데 매우 중요합니다.

결론

이 PR은 Python 인터프리터의 JIT shim 빌드 방식을 런타임 컴파일에서 빌드 타임 링크로 전환하는 중요한 최적화입니다. 이는 런타임 오버헤드를 줄이고, 디버깅 경험을 크게 개선하며, JIT 시스템의 전반적인 통합을 단순화하는 효과를 가져옵니다. _PyJIT 심볼이 바이너리에 포함되고 eh_frame 정보가 제공됨으로써, 개발자들은 이제 JIT 컴파일된 코드와 인터프리터 코드 사이의 상호작용을 훨씬 더 쉽게 이해하고 디버깅할 수 있게 되었습니다. 이러한 종류의 빌드 시스템 및 런타임 최적화는 CPython과 같은 대규모 프로젝트에서 성능과 개발자 경험을 동시에 향상시키는 데 필수적입니다.

참고 자료

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.

PR Analysis 의 다른글

이전글 [vllm] vLLM CPU 성능 최적화: NEON 하드웨어를 위한 고속 Exp 연산 도입
현재글 : [cpython] Python JIT Shim 빌드 프로세스 개선: 런타임 컴파일에서 빌드 타임 링크로
다음글 [triton] Triton Gluon Attention 커널의 Autotuning을 통한 성능 최적화 분석

댓글

관련 포스트

PR Analysis 의 다른글