[논문리뷰] Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion

링크: 논문 PDF로 바로 열기

저자: Cédric Bonhomme, Alexandre Dulaunoy

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• CVE (Common Vulnerabilities and Exposures): 소프트웨어의 취약점을 식별하는 표준 명칭으로, 본 논문에서는 취약점 분석의 입력 텍스트로 활용됨.
• MITRE ATT&CK: 공격자의 행동 패턴을 체계적으로 분류한 지식 베이스로, 취약점이 어떤 공격 기법을 활성화하는지 연결하는 기준이 됨.
• Label Expansion: 전문가가 직접 작성한 Gold set(학습 데이터)의 부족을 해결하기 위해 LLM을 활용하여 추가적인 학습용 데이터를 생성하는 기법.
• Recall@K: 모델이 추천한 상위 K개의 기법 리스트 내에 실제 정답(Gold Label)이 포함될 확률을 나타내는 지표.
• Provenance-tiered: 데이터의 출처를 전문가가 검수한 Gold 데이터와 자동 생성된 Derived 데이터로 엄격히 구분하여 관리하는 데이터셋 구조.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 CVE 취약점 설명 텍스트를 MITRE ATT&CK 기법으로 매핑하는 자동화 시스템의 한계를 해결하고자 한다. 기존의 CWE→CAPEC→ATT&CK 체인을 통한 매핑은 table-expansion으로 인한 과도한 잡음이 포함되어 있어 훈련 데이터로 부적합하다 [Figure 2]. 따라서 저자들은 전문가가 검수한 1,207개의 CVE로 구성된 Gold set을 바탕으로 지도 학습 모델을 구축하고자 한다. 그러나 전문가 레이블의 데이터 부족 문제(Data Scarcity)를 해결하기 위해 시도되는 LLM-Assisted Label Expansion이 과연 성능 향상에 실질적인 기여를 하는지에 대한 명확한 검증이 필요하다.

Figure 2 — CVE2CAPEC 데이터의 노이즈 분석

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 roberta-base 인코더를 기반으로 하는 multi-label 분류기를 제안하며, 이는 전문가가 검수한 Gold set으로만 학습된다. 해당 분류기는 기존의 Zero-shot 임베딩 기반 베이스라인과 비교했을 때, Recall@5를 0.322에서 0.686으로 두 배 이상 향상시키는 우수한 성과를 거두었다 [Table 1]. 이후 진행된 LLM-Assisted Label Expansion 실험에서는 총 3단계의 엄격한 검증을 거쳤다. 초기에 단일 seed 실험에서는 성능 저하가 관찰되었고, 5개의 seed 실험에서는 미미한 성능 향상이 나타난 듯 보였으나, 최종적인 확장 규모 테스트 결과 이는 모델 체크포인트 선택 과정에서 발생하는 Evaluation Noise에 의한 가짜 신호(Artifact)임이 밝혀졌다. 결과적으로, 전문가 검수 수준과 약 0.39의 일치도를 보이는 LLM 레이블은 모델 성능 향상에 도움이 되지 않으며, 대규모 데이터 추가 시 오히려 macro-F1 지표가 -0.04 하락하는 등 희귀 기술 커버리지에 악영향을 미치는 것으로 확인되었다 [Figure 1].

Figure 1 — 전체 파이프라인 개요

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 고품질의 전문가 레이블이 데이터 수량보다 모델 성능에 훨씬 결정적인 역할을 한다는 점을 입증하였다. LLM을 활용한 레이블 확장은 적절한 검증 과정 없이 수행될 경우 오히려 학습된 분류기의 성능을 저하시키는 잡음원(noise source)이 될 수 있음을 시사한다. 이 결과는 데이터 품질이 제한된 보안 도메인에서 모델 성능을 높이기 위해서는 무분별한 데이터 확장보다 Provenance-tiered 데이터셋을 통한 엄격한 관리가 우선되어야 함을 강조한다. 저자들은 모든 연구 과정과 데이터, 모델을 오픈 소스로 공개하여 재현성을 보장하고 향후 취약점 분석 자동화 연구의 기준점을 제시하였다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.