[논문리뷰] Feyospace-v1: How the Cyber Mercury Seven Trained Frontier Cyber Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Zongjie Li, Alan Z. W, John Nicolas J, Walter H. F, Scott Donald L, Gordon Y. P, Deke X Jr.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• CyberGym: 본 연구에서 모델의 사이버 보안 수행 능력을 평가하기 위해 사용하는 공식 리더보드 및 벤치마크 평가 환경입니다.
• SFT (Supervised Fine-Tuning): 사전에 수집된 고품질의 실행 검증된(execution-verified) 데이터셋을 활용하여 모델의 추론 및 사이버 보안 전문 지식을 내재화하는 학습 기법입니다.
• Trajectory: 모델이 특정 사이버 보안 작업(예: 취약점 분석, CTF 문제 해결)을 수행하는 과정에서 생성한 일련의 단계적 사고(reasoning)와 액션(action)의 기록입니다.
• Evidence Auditing: 모델이 생성한 Trajectory가 실제 환경에서 올바르게 실행되어 결과를 도출했는지 검증하고, 그 증거를 필터링하는 데이터 품질 관리 프로세스입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 독립적인 연구 팀이 대규모 컴퓨팅 자원 없이도 최첨단(frontier) 수준의 사이버 보안 에이전트 모델을 개발하기 위한 실용적인 방법론을 제안합니다. 기존의 폐쇄형 모델들은 높은 보안 및 기술적 장벽으로 인해 접근이 제한적이며, 일반적인 모델들은 특정 사이버 작업 수행 시 데이터 부족과 환경 구축의 어려움에 직면해 있습니다. 저자들은 데이터의 양적 팽창보다는 데이터 중심(Data-centric)의 프레임워크를 통해 고품질의 학습 데이터를 확보하는 것이 핵심이라고 판단했습니다. 이를 위해 저자들은 재현 가능하고 검증 가능한 실행 환경 구축과 고품질의 지도 학습 데이터 확보를 위한 통합 시스템 개발에 집중했습니다 [Figure 2].

Figure 2 — 데이터 중심 포스트 트레이닝 프레임워크

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 5가지 보완적 기술(Choulea, SkyReal, Hongzwang, PSBreakup, Kreator)과 Environment-Grounded Data Pipeline을 결합한 데이터 구축 프레임워크를 제안합니다. Choulea는 모델의 추론 패턴을 복원하고, SkyReal은 교사 모델의 샘플링 비용을 최적화하며, Hongzwang과 PSBreakup은 폐쇄형 모델의 제한을 우회하거나 병합 과정에서 손실된 능력을 복구합니다. 최종적으로 Kreator 기법을 통해 전문가의 개입을 학습 가능한 데이터로 변환하여, 총 164,269개의 검증된 궤적(trajectory)을 확보했습니다.

이 데이터를 기반으로 Qwen3 모델 시리즈를 SFT한 결과, 세 개의 체크포인트(Feyospace-s0, s1, s2) 모두 CyberGym 벤치마크에서 기존 모델 대비 성능 향상을 보였습니다. 특히 Feyospace-s1은 CyberGym 리더보드에서 10위를 기록하며, 정량적으로는 이전 베이스라인 모델 대비 CyberGym 검증 성공률이 평균 23.76% 상승했습니다 [Figure 1]. 또한, 통합된 CTF 데이터셋에서도 평균 10.49%의 성능 개선을 달성했습니다. 이는 소규모 팀이 독립적으로도 최상위권의 에이전트 성능을 달성할 수 있음을 입증하는 결과입니다.

Figure 1 — 모델 규모별 CyberGym 성공률

4. Conclusion & Impact (결론 및 시사점)

본 연구는 대규모 리소스에 의존하지 않고도 데이터 엔지니어링과 체계적인 환경 구축을 통해 고성능의 에이전트 모델을 학습시킬 수 있음을 증명했습니다. 저자들이 공개한 데이터 구축 파이프라인과 기술적 접근법은 연구 커뮤니티의 기술적 투명성을 높이고, 에이전트 개발의 접근성을 개선하는 데 기여할 것으로 기대됩니다. 본 연구는 향후 연구자들이 사이버 보안 분야에서 오픈 소스 모델을 더욱 효과적으로 활용할 수 있도록 하는 강력한 토대를 마련했습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.