[feast] Feast 성능 최적화: 엔티티 키 직렬화 Hot Path 2.4배 개선하기

PR 링크: feast-dev/feast#5981 상태: Merged | 변경: +712 / -30

들어가며

Feast와 같은 피처 스토어(Feature Store)에서 엔티티 키(Entity Key)의 직렬화 및 역직렬화는 시스템 전체의 처리량(Throughput)을 결정짓는 가장 중요한 'Hot Path'입니다. 모든 온라인 스토어(Redis, DynamoDB, Postgres 등)에 데이터를 쓰고 읽을 때마다 이 로직이 실행되기 때문입니다.

최근 Feast 메인 레포지토리에 반영된 이 PR은 순수 파이썬(Pure Python) 구현만으로 직렬화 성능을 2.4배(410k ops/sec), 역직렬화 성능을 1.8배(366k ops/sec) 끌어올렸습니다. 시니어 엔지니어의 관점에서 어떤 기법들이 이 극적인 성능 향상을 만들어냈는지 분석해 보겠습니다.

---

코드 분석: 핵심 최적화 전략

1. Single Entity Fast Path 도입

실제 운영 환경에서 엔티티 키는 보통 1개인 경우가 90% 이상입니다. 기존 코드는 키가 1개뿐일 때도 불필요한 sorted() 호출과 리스트 생성을 수행했습니다.

Before:

def serialize_entity_key_prefix(entity_keys, ...):
    sorted_keys = sorted(entity_keys)
    # ... 이후 로직

After:

# Fast path optimization for single entity
if len(entity_keys) == 1:
    sorted_keys = [entity_keys[0]]
else:
    sorted_keys = sorted(entity_keys)

이 변경사항은 단순해 보이지만, sorted() 함수 호출 오버헤드와 정렬을 위한 비교 연산을 완전히 제거합니다. 특히 serialize_entity_key 함수에서도 동일한 패턴을 적용하여 단일 엔티티 작업 시 20~35%의 속도 향상을 가져왔습니다.

2. 문자열 인코딩 배치 처리 및 메모리 할당 최적화

반복문 내부에서 매번 .encode("utf8")를 호출하는 대신, 이를 미리 처리하여 중복 연산을 줄였습니다.

Before:

for k in sorted_keys:
    output.append(struct.pack("<I", ValueType.STRING))
    if entity_key_serialization_version > 2:
        output.append(struct.pack("<I", len(k)))
    output.append(k.encode("utf8"))

After:

if sorted_keys:
    encoded_keys = [k.encode("utf8") for k in sorted_keys]
    for i, k_encoded in enumerate(encoded_keys):
        output.append(struct.pack("<I", ValueType.STRING))
        if entity_key_serialization_version > 2:
            output.append(struct.pack("<I", len(k_encoded)))
        output.append(k_encoded)

또한 struct.pack 호출 횟수를 줄이기 위해 struct.unpack("<2I", ...)와 같이 여러 필드를 한 번에 처리하는 방식을 도입하여 시스템 호출 오버헤드를 최소화했습니다.

3. memoryview를 활용한 Zero-copy 역직렬화

가장 인상적인 부분은 역직렬화 과정에서 memoryview를 도입한 것입니다. 기존의 슬라이싱(buffer[start:end])은 파이썬에서 새로운 바이트 객체를 생성하여 메모리 복사가 발생합니다.

After:

# Optimized deserialization using memoryview for zero-copy slicing
buffer = memoryview(serialized_entity_key)
pos = 0

# ... 중략 ...

# Zero-copy slice for value bytes
value_bytes = buffer[pos : pos + value_length].tobytes()

memoryview를 사용하면 원본 데이터를 복사하지 않고 참조만 하므로, 대량의 데이터를 처리할 때 메모리 할당량(Allocation)을 15-25% 감소시킬 수 있습니다.

---

왜 이게 좋은 최적화인가?

1. 현실적인 데이터 분포 활용: '90%가 단일 키'라는 도메인 지식을 활용해 Fast Path를 설계했습니다. 모든 케이스를 최적화하려 하기보다 가장 빈번한 케이스를 먼저 해결하는 것이 효율적입니다.
2. 안전한 성능 향상: 성능을 올리면서도 100% binary format compatibility를 유지했습니다. 기존 저장된 데이터를 마이그레이션할 필요 없이 라이브러리 업데이트만으로 즉시 성능 이득을 볼 수 있습니다.
3. 방어적 프로그래밍: 최적화 과정에서 발생할 수 있는 Buffer Overflow나 잘못된 데이터 접근을 막기 위해 bounds checking 로직을 강화했습니다. 성능과 안정성을 동시에 잡은 사례입니다.

결론

이번 PR은 복잡한 알고리즘의 변경 없이도 파이썬 표준 라이브러리의 특성(memoryview, struct)을 깊이 있게 이해하고 활용함으로써 극적인 성능 향상을 이끌어냈습니다. 시니어 엔지니어라면 라이브러리나 프레임워크의 내부 동작 원리를 파악하여 이와 같은 Hot Path 최적화를 수행할 수 있어야 합니다.

향후 이 로직은 Cython으로 확장될 계획이라고 하니, 추가적인 2~4배의 성능 향상이 더욱 기대됩니다.

참고 자료

• https://docs.python.org/3/library/stdtypes.html#memoryview
• https://docs.python.org/3/library/struct.html
• https://github.com/feast-dev/feast

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.