[pytorch] Benchmark: Inductor 벤치마크에서 CycleGAN 모델 제거

PR 링크: pytorch/pytorch#175299 상태: Merged | 변경: +3 / -92

들어가며

PyTorch Inductor의 CI는 TorchBench에 포함된 다양한 모델에 대해 accuracy 테스트를 실행하고, 결과를 expected accuracy CSV 파일과 비교합니다. pytorch_CycleGAN_and_pix2pix 모델은 다양한 backend/mode 조합(aot_eager, inductor, cpu_inductor 등)에서 테스트되고 있었지만, 안정적으로 동작하지 않아 CI 실패의 원인이 되고 있었습니다.

핵심 코드 분석

CSV 파일에서 모델 엔트리 일괄 삭제

24개의 expected accuracy CSV 파일에서 pytorch_CycleGAN_and_pix2pix 엔트리가 제거되었습니다.

Before (각 CSV 파일):

pyhpc_turbulent_kinetic_energy,pass,0

pytorch_CycleGAN_and_pix2pix,pass,0

pytorch_stargan,pass,0

After:

pyhpc_turbulent_kinetic_energy,pass,0

pytorch_stargan,pass,0

영향을 받은 CSV 파일 목록은 aot_eager_torchbench_inference.csv, aot_eager_torchbench_training.csv, dynamic_aot_eager_torchbench_inference.csv, cpu_inductor_torchbench_inference.csv 등 24개에 달합니다.

왜 이게 좋은가

벤치마크 모델이 불안정하면 해당 모델과 무관한 코드 변경에서도 CI가 실패할 수 있습니다. 이는 실제 회귀를 감지하는 CI의 본래 목적을 훼손합니다. 불안정한 모델을 제거하는 것은 "신호 대 잡음비"를 높이는 작업으로, CI의 신뢰도를 개선합니다. 92줄 삭제는 단순한 정리처럼 보이지만, 매 PR마다 실행되는 수백 개의 벤치마크 중 false negative를 제거하는 의미 있는 변경입니다.

정리

• pytorch_CycleGAN_and_pix2pix 모델을 24개 expected accuracy CSV에서 제거
• CI 벤치마크의 flaky failure 원인 제거
• 92줄 삭제, 3줄은 기존 eager_fail_to_run 상태를 반영한 변경

참고 자료

• PR #175299
• TorchBench

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.