[cpython] Python AST 노드의 메모리 및 성능 최적화: Managed Dict 도입

PR 링크: python/cpython#160616 상태: Merged | 변경: +23 / -27

들어가며

Python 코드를 분석하고 조작하는 데 필수적인 추상 구문 트리(Abstract Syntax Tree, AST)는 파이썬 인터프리터의 핵심 구성 요소입니다. 하지만 기존 CPython 구현에서는 AST 노드들이 각자 별도의 __dict__를 할당받아 메모리 사용량이 많고, 파싱 및 순회 성능에도 영향을 미치는 문제가 있었습니다. 이번 PR (gh-153568)은 이러한 비효율성을 해결하기 위해 AST 노드에서 __dict__ 슬롯을 제거하고 Py_TPFLAGS_MANAGED_DICT 플래그를 도입하여, 노드 속성을 공유되는 키와 함께 인라인 값으로 저장하도록 변경합니다. 이 변경을 통해 ast.parse 성능은 약 15.8% 향상되고, AST 트리의 메모리 사용량은 약 51.6% 감소하는 놀라운 결과를 가져왔습니다.

코드 변경사항 분석

이번 PR의 핵심은 CPython의 ast.AST 타입 정의를 수정하여 메모리 관리 방식을 변경하는 것입니다. 주요 변경 사항은 다음과 같습니다.

1. Parser/asdl_c.py 및 Python/Python-ast.c 수정

이 파일들은 CPython의 AST 노드 구현과 관련된 C 코드를 포함하고 있습니다. 가장 중요한 변경은 AST_object 구조체에서 PyObject *dict; 멤버를 제거하고, 타입 플래그에 Py_TPFLAGS_MANAGED_DICT를 추가한 것입니다.

Before:

typedef struct {
    PyObject_HEAD
    PyObject *dict;
} AST_object;

After:

typedef struct {
    PyObject_HEAD
} AST_object;

또한, ast_dealloc, ast_traverse, ast_clear 함수에서 self->dict를 직접 관리하던 부분을 PyObject_ClearManagedDict(op) 및 PyObject_VisitManagedDict(op, visit, arg) 호출로 대체했습니다. 이는 파이썬 런타임이 관리하는 딕셔너리(Managed Dictionary)를 사용하도록 변경되었음을 의미합니다. Py_TPFLAGS_MANAGED_DICT 플래그는 객체가 자체 __dict__를 가지는 대신, 파이썬 딕셔너리 키를 공유하고 값을 인라인으로 저장하는 방식을 사용하도록 지시합니다.

기존에는 각 AST 노드가 생성될 때마다 별도의 PyObject *dict를 할당받아야 했지만, 이제는 이러한 별도 할당 없이 파이썬 딕셔너리 키를 공유하고 값만 효율적으로 저장하게 됩니다.

ast_type_members 배열에서 __dictoffset__ 멤버를 제거한 것도 이와 같은 맥락입니다. 이는 더 이상 AST 노드가 자체적인 __dict__를 위한 오프셋을 가지지 않음을 나타냅니다.

2. Lib/test/test_ast/test_ast.py 및 Lib/test/test_sys.py 테스트 코드 수정

변경된 내용을 검증하기 위한 테스트 코드도 수정되었습니다.

Lib/test/test_ast/test_ast.py 파일에는 test_nodes_have_inline_values라는 새로운 테스트가 추가되었습니다. 이 테스트는 _testinternalcapi.has_inline_values(node)를 사용하여 AST 노드가 인라인 값을 가지는지 확인합니다. 이는 Py_TPFLAGS_MANAGED_DICT 플래그가 제대로 적용되었는지 검증하는 역할을 합니다.

Lib/test/test_sys.py 파일의 test_pythontypes 함수에서는 _ast.Module() 객체의 sizeof 검증이 변경되었습니다.

Before:

check(_ast.Module(), size('3P'))

After:

check(_ast.Module(), size('2P'))

size('3P')에서 size('2P')로 변경된 것은 AST 노드 객체의 크기가 줄어들었음을 의미합니다. 이는 __dict__ 포인터가 제거되면서 객체 자체의 크기가 작아졌기 때문입니다. P는 파이썬 객체의 포인터 크기를 나타내므로, 3P에서 2P로 줄었다는 것은 약 1개의 포인터만큼 크기가 감소했음을 시사합니다. 이는 메모리 절약 효과를 직접적으로 보여주는 지표입니다.

3. Misc/NEWS.d/ 파일 업데이트

변경 사항을 사용자에게 알리기 위해 NEWS.d 파일에 관련 내용이 추가되었습니다. 두 개의 파일이 추가되었는데, 하나는 ast.parse 속도 향상과 AST 노드 메모리 사용량 감소를, 다른 하나는 구체적인 성능 향상 수치(약 15.8% 속도 향상, 약 51.6% 메모리 감소)를 명시하고 있습니다.

왜 이게 좋은가?

이 PR은 CPython의 AST 처리 방식에 있어 매우 중요한 최적화를 이루어냈습니다. 주요 이점은 다음과 같습니다.

1. 성능 향상: ast.parse 함수가 약 15.8% 더 빨라졌습니다. 이는 코드를 파싱하는 작업이 더 효율적으로 수행됨을 의미하며, 특히 대규모 코드베이스를 다루거나 동적으로 코드를 생성/분석하는 애플리케이션에서 체감될 수 있는 성능 개선입니다.
2. 메모리 사용량 감소: AST 트리가 차지하는 메모리 양이 약 51.6% 감소했습니다. AST 노드들이 더 이상 개별 __dict__를 할당받지 않고, 파이썬 런타임이 관리하는 공유된 키와 인라인 값을 사용하게 되면서 메모리 오버헤드가 크게 줄어들었습니다. 이는 메모리 제약이 있는 환경이나 매우 큰 AST를 다룰 때 큰 이점을 제공합니다.
3. 일반화된 최적화 기법: Py_TPFLAGS_MANAGED_DICT 플래그의 도입은 AST 노드뿐만 아니라, 유사한 구조를 가진 다른 파이썬 내장 타입에도 적용될 수 있는 일반화된 최적화 기법을 제시합니다. 이는 향후 CPython의 다른 부분에서도 유사한 메모리 및 성능 개선을 가능하게 할 잠재력을 가집니다.

일반적 교훈: 객체 지향 프로그래밍에서 각 객체가 자체 __dict__를 가지는 것은 유연성을 제공하지만, 많은 수의 작은 객체가 생성될 때는 상당한 메모리 및 시간 오버헤드를 유발할 수 있습니다. Py_TPFLAGS_MANAGED_DICT와 같은 메커니즘을 통해 객체 속성 관리를 런타임 수준에서 최적화하면, 이러한 오버헤드를 크게 줄일 수 있습니다. 이는 특히 파이썬 인터프리터 자체를 최적화할 때 고려해야 할 중요한 설계 패턴입니다.

결론

gh-153568 PR은 CPython의 AST 처리 방식을 근본적으로 개선하여, 파싱 속도 향상과 메모리 사용량 감소라는 두 마리 토끼를 잡았습니다. Py_TPFLAGS_MANAGED_DICT 플래그의 도입은 파이썬 객체 모델의 효율성을 한 단계 끌어올린 중요한 발전이며, 앞으로 CPython의 성능 개선에 긍정적인 영향을 미칠 것으로 기대됩니다.

참고 자료

• https://docs.python.org/3/c-api/typeobj.html#c.Py_TPFLAGS_MANAGED_DICT
• https://docs.python.org/3/library/ast.html#ast.AST
• https://docs.python.org/3/library/ast.html#ast.parse

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.