[논문리뷰] Qwen3-Coder-Next Technical Report

링크: 논문 PDF로 바로 열기

저자: Qwen Team

핵심 연구 목표

본 논문은 코딩 에이전트에 특화된 오픈-웨이트 언어 모델인 Qwen3-Coder-Next 를 소개합니다. 800억 개의 총 파라미터 중 추론 시 30억 개만 활성화 되는 MoE(Mixture-of-Experts) 아키텍처를 통해 효율적인 추론과 강력한 코딩 능력을 동시에 달성하는 것을 목표로 합니다. 특히, 에이전트 훈련을 통해 소규모 활성 파라미터 모델의 성능 한계를 확장하는 데 중점을 둡니다.

핵심 방법론

Qwen3-Coder-Next 는 Qwen3-Next 기반의 하이브리드 어텐션 및 MoE 아키텍처를 사용합니다. 검증 가능한 코딩 태스크와 실행 환경을 대규모로 합성 하는 에이전트 훈련 스택을 구축하여 GitHub PRs 및 기존 오픈소스 데이터셋에서 태스크를 생성합니다. 또한, 실행 피드백을 활용한 미드-훈련(mid-training) 및 강화 학습(reinforcement learning, RL) 을 통해 다단계 코드 편집, 도구 사용, 오류 복구와 같은 에이전트 행동을 학습하며, 특히 다양한 도구 호출 템플릿 을 사용하여 일반화 성능을 강화했습니다.

주요 결과

Qwen3-Coder-Next 는 SWE-Bench Verified 에서 70.6% , SWE-Bench Multilingual 에서 62.8% , SWE-Bench Pro 에서 42.7% 의 성능을 달성하며, 활성 파라미터 수 대비 경쟁력 있는 결과를 보여주었습니다. 특히, TerminalBench 2.0 에서는 36.2% 를 기록하여 다양한 CLI 환경에서 견고한 일반화 능력을 입증했습니다. 또한, 경쟁 프로그래밍 벤치마크(HMMT25, AIME) 에서 Qwen3-Next 대비 크게 향상된 성능을 보여, 강력한 코드 추론 능력이 수학 추론으로 전이될 수 있음을 시사합니다.

AI 실무자를 위한 시사점

Qwen3-Coder-Next 는 적은 활성 파라미터(3B)로 강력한 코딩 에이전트 기능을 제공하여, 실제 개발 환경에서 낮은 지연 시간과 배포 비용 으로 고성능 AI 에이전트를 구축할 수 있는 실용적인 해법을 제시합니다. MoE 아키텍처 와 대규모 에이전트 훈련 스택 은 복잡한 소프트웨어 엔지니어링 문제 해결을 위한 효율적인 LLM 개발 방향을 제시합니다. AI 실무자들은 이 모델을 활용하여 코드 생성, 디버깅, 테스트 등 다양한 개발 워크플로우를 자동화하고, 특히 도구 사용 및 환경 상호작용 이 필수적인 다단계 에이전트 애플리케이션 개발에 집중할 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.