본문으로 건너뛰기

[논문리뷰] K2-Horizon: A Frontier Fleet of Open Source Language Models

링크: 논문 PDF로 바로 열기

참고: 이 환경에서는 논문 HTML의 <img src>를 확인할 수 없었습니다. 텍스트 본문만 가져올 수 있었고, 이미지 경로에는 접근이 거부되었습니다. 경로를 추측하지 않기 위해 Part 2는 빈 배열로 두었고, 본문에서도 Figure/Table 번호를 참조하지 않았습니다.

저자: K2 Team (Institute of Foundation Models, MBZUAI), Zhengzhong Liu, Haonan Li, Xuezhe Ma, Alexander Moreno, et al., Eric P. Xing

1. Key Terms & Definitions (핵심 용어 및 정의)

  • MoVA (Mixture-of-Value Attention): Attention의 단일 value projection을 MoE 방식의 여러 value expert로 바꾼 구조입니다. Router가 expert를 sparse하게 고르고, 각 expert 출력에 SiLU를 적용한 뒤 가중합해 nonlinearity를 넣습니다. 36B 모델에서는 64개 중 4개의 expert를 고릅니다. 합쳐진 value만 cache하기 때문에 KV cache 크기는 늘지 않고, FlashAttention, GQA, sparse attention과도 그대로 호환됩니다.
  • Softplus Attention Gate: Gated attention의 gate activation으로 sigmoid 대신 softplus(β = log 2)를 씁니다. Sigmoid는 (0, 1) 범위에 묶여 attention output을 줄이기만 할 수 있습니다. Softplus는 위쪽 한계가 없어 출력을 줄이는 것과 키우는 것이 모두 가능합니다. 초기화 시점에는 gate 값이 약 1이어서 일반 attention과 똑같이 동작합니다.
  • Grouped RMSNorm: Feature 차원을 k개 group으로 나누고 group마다 RMS를 따로 계산하는 normalization입니다. 정규화된 각 출력 원소의 크기가 (−√d_g, √d_g)로 제한되어 training stability가 좋아집니다. 3.7B, 7B, 32B, 36B-A4B 모델에 적용되었습니다.
  • ISO-RAM Merging: RL로 학습한 domain expert들을 하나의 모델로 합치는 weight merging 방식입니다. Attention과 shared-expert matrix는 ISO-merger로 합칩니다. Base 모델의 singular value spectrum은 고정하고, 각 specialist의 singular vector 변화만 반영합니다. 나머지 parameter는 RAM으로 합치는데, 여러 specialist가 공통으로 바꾼 부분은 평균하고 한 specialist만 바꾼 부분은 원래 크기 그대로 유지합니다.
  • Uno: 기존 AR 모델에서 distill한 lossless diffusion adapter입니다. 별도의 draft model 없이 Ψ-Spec sampler로 draft 단계와 verification 단계를 거쳐 decoding을 가속합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문의 목표는 frontier급 agentic LLM의 개발 lifecycle 전체를 완전히 공개해 재현성과 투명성을 확보하는 것입니다. 저자들에 따르면 성능 좋은 open-weight 모델은 많지만, 학습 데이터, intermediate checkpoint, 설계 결정 과정까지 공개한 경우는 드뭅니다. 이 때문에 scale, sparsity, 데이터 같은 개별 요소가 최종 모델에 어떤 영향을 주는지 통제된 조건에서 연구하기 어렵습니다. 전작 K2-V2는 base model 하나만 공개했다는 한계가 있었습니다. 이번 연구는 공개 범위를 6개 모델의 pre-training, mid-training, post-training, deployment 전 단계로 넓혔습니다.

아키텍처 측면에서 저자들이 지적한 한계는 두 가지입니다.

  • 기존 MoE는 sparsity를 FFN에만 적용합니다.
  • Sigmoid gate는 출력 범위가 제한되어 attention의 expressiveness를 떨어뜨립니다.

이에 따라 저자들은 적은 active parameter로도 reasoning 성능을 유지하는 새로운 구조를 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

K2-Horizon은 0.9B dense부터 375B-A23B MoE까지 6개 모델로 구성된 fleet입니다. 모든 모델에 대해 weight, 약 380개 checkpoint, 21.6 TB 규모의 학습 데이터, 학습 log, code를 공개합니다.

학습 파이프라인

  • Pre-training: 8k sequence로 학습하며, 데이터 중 약 10T token이 synthetic data입니다.
    • Data mix는 소규모 ablation에서 측정한 값이 아니라, production scale에서 예측한 benchmark score를 기준으로 골랐습니다. 그 결과 web 비중이 높은 mix가 선택되었습니다.
    • Learning rate는 끝까지 constant로 유지하고, decay 효과는 checkpoint averaging으로 대신합니다.
  • Mid-training: 약 1.9T token을 4단계로 학습하면서 context를 32k → 128k → 512k로 늘립니다. Agentic trajectory는 post-training을 기다리지 않고 context extension 단계부터 넣습니다.
  • Post-training(flagship): search, knowledge work, tool use, scientific reasoning, instruction following + abstention의 5개 domain에서 RL expert를 따로 학습합니다. 이 expert들을 ISO-RAM으로 합친 뒤, targeted SFT로 남은 약점을 보완합니다.
  • Scaling 검증: 3.7B, 7B, 32B, 36B-A4B 모델은 같은 22T-token corpus와 같은 recipe로 학습했습니다. Bergsma et al.의 scaling-collapse 접근법이 production scale에서도 성립하는지 검증한 결과, 네 모델의 normalized loss curve가 거의 겹쳤습니다.

주요 정량 결과

  • 375B-A23B: Active parameter가 23B로, 40–55B를 쓰는 대부분의 open-weight baseline보다 적습니다.
    • Toolathlon-Verified 65.3으로 open-weight 모델 중 1위이며, GPT-5.6 Terra(64.8)를 넘습니다.
    • SWE-Atlas-QnA(strict) 48.4로 1위입니다.
    • τ³-Banking 34.0으로 두 GPT-5.6 variant를 모두 앞섭니다.
    • Terminal-Bench 2.1 70.2를 비롯해 8개 benchmark에서 2위입니다.
    • 약점은 expert-level 과학 reasoning입니다. HLE 32.0, CritPt 8.6으로 GLM-5.2(41.1 / 20.9)에 크게 뒤집니다.
  • 36B-A4B(MoVA): Dense 32B 대비 active parameter가 약 1/7이지만, 모든 benchmark에서 32B와 몇 점 이내 차이를 보입니다.
    • Pre-training 1.1M step 시점의 비교에서는 MMLU, GSM8K, HellaSwag, HumanEval 기준으로 1.2~3.7점 차이에 그쳤습니다.
    • MoE 모델 중 τ³-Banking 26.8, Terminal-Bench 2.1 58.6으로 1위이며, active parameter가 55B인 Nemotron 3 Ultra보다 높습니다.
  • 소형 모델: 7B는 SWE-bench Verified 72.4로 Qwen3.5 9B(50.8)를 크게 앞섭니다. 3.7B도 65.6으로 해당 크기대에서 큰 격차로 1위입니다.
  • Uno:
    • Batch size 1에서 7B 모델 기준 약 2.2×, batch size 64에서 1.5× 빠릅니다.
    • 0.9B 모델의 평균 tokens per forward pass(TPF)는 1.73(c1), 1.50(c64)입니다.
    • 정확도는 DiffusionGemma나 Nemotron-Labs-Diffusion 같은 diffusion baseline보다 모든 task에서 높습니다.

4. Conclusion & Impact (결론 및 시사점)

K2-Horizon은 완전 공개 방식으로도 agentic 및 coding 영역에서 frontier open-weight 모델과 겨룰 수 있음을 보여줍니다. 아키텍처 측면에서는 MoVA와 softplus gating이 attention에 두 번째 sparsity 축을 열었습니다. 36B-A4B 결과는 이 구조로 dense 모델에 가까운 성능을 훨씬 적은 compute로 낼 수 있음을 보여줍니다.

학계에 주는 의미는 다음과 같습니다.

  • 같은 데이터로 학습한 dense 모델과 sparse 모델 쌍, 그리고 단계별 checkpoint가 공개되었습니다.
  • 따라서 scale, sparsity, 데이터 구성의 효과를 통제된 조건에서 연구할 수 있습니다.

산업계에 주는 의미는 다음과 같습니다.

  • 여러 domain expert를 RL로 따로 학습한 뒤 weight merging으로 통합하는 post-training 전략을 실제로 참고할 수 있습니다.
  • Draft model이 필요 없는 Uno 가속 기법과 FP8, NVFP4, GGUF, MLX quantized build를 배포에 바로 활용할 수 있습니다.

남은 과제로는 expert-level 과학 reasoning(HLE, CritPt)의 격차가 명시되어 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글