[pytorch] Benchmark: Inductor 벤치마크에서 modded_nanogpt 모델 Skip 처리

PR 링크: pytorch/pytorch#172141 상태: Merged | 변경: +3 / -0

들어가며

PyTorch Inductor 벤치마크에서 불안정한 모델은 CI의 신뢰도를 떨어뜨립니다. 이 PR은 modded_nanogpt 모델이 제대로 동작한 적이 없다는 이유로 skip 리스트에 추가한 3줄짜리 변경입니다.

핵심 코드 분석

torchbench.yaml에 skip 엔트리 추가

Before:

skip:
  all:
    - stable_diffusion
    - stable_diffusion_text_encoder
    - stable_diffusion_unet

After:

skip:
  all:
    - stable_diffusion
    - stable_diffusion_text_encoder
    - stable_diffusion_unet
    # Has never been working correctly
    # https://github.com/pytorch/pytorch/issues/172015#issuecomment-3730509098
    - modded_nanogpt

주석에 관련 이슈 링크를 포함하여, 향후 수정 시 왜 skip되었는지 추적할 수 있게 했습니다.

왜 이게 좋은가

3줄의 변경이지만, "처음부터 동작하지 않던 모델"을 벤치마크에 포함시키는 것은 CI 리소스 낭비입니다. skip 처리와 함께 이슈 링크를 남기는 것은 PyTorch 프로젝트의 좋은 관행으로, 나중에 모델이 수정되면 skip을 해제할 수 있는 추적성을 제공합니다.

정리

• modded_nanogpt를 torchbench.yaml의 skip 리스트에 추가
• 관련 이슈 링크를 주석으로 포함하여 추적성 확보

참고 자료

• PR #172141
• Issue #172015

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.