[논문리뷰] TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks
링크: 논문 PDF로 바로 열기
저자: Xingchen AGI Lab, Baotian Hu, Bingkai Yang, Boyang Wang, et al.
1. Key Terms & Definitions (핵심 용어 및 정의)
- MLA + DSA + IndexShare: Xing 4 285B의 attention 구성입니다. MLA(Multi-head Latent Attention)는 KV representation을 압축합니다. DSA(DeepSeek Sparse Attention)는 lightning indexer로 query마다 Top-K 개의 과거 KV만 고릅니다. IndexShare는 sparse index를 여러 layer에서 재사용해 indexer 연산이 반복되지 않게 합니다.
- DSpark: inference 시점의 block-wise speculative decoding 기법입니다. 5-layer DFlash 기반 draft model이 7개 speculative position을 병렬로 예측합니다. 여기에 인접 token 간 의존성을 보정하는 lightweight Markov head와 position별 acceptance probability를 추정하는 confidence head를 결합합니다.
- HyperParallel-FSDP (HSDP): Ascend SuperPoD 구조에 맞춘 hybrid sharded data parallelism입니다. parameter는 SuperPoD 내부에서 FSDP sharding되고, SuperPoD 사이에서는 replicate됩니다. 이 구조로 memory 부담을 덜어 Pipeline Parallelism(PP)을 대체합니다.
- Owner-based Muon: 분산 Muon optimizer에서는 모든 rank가 같은 Newton–Schulz iteration을 중복 수행합니다. 이 방식은 matrix마다 owner rank를 정해 그 rank만 full-matrix 연산을 하도록 실행을 재배치합니다.
- TeleGym: 서로 다른 agent harness의 실행, 평가, trajectory 구성을 policy optimization(Slime)과 연결하는 통합 agent execution platform입니다.
2. Motivation & Problem Statement (연구 배경 및 문제 정의)
이 논문이 다루는 핵심 문제는 GPU가 아닌 국산 chip(Ascend 910C)과 framework(MindSpore)만으로 frontier급 agentic MoE 모델을 효율적으로 설계하고 학습하는 것입니다. 대부분의 open-source 모델은 GPU에서 학습되기 때문에, Ascend에서 규모를 키우려면 별도의 시스템 문제를 풀어야 합니다. Ascend 910C는 Cube matrix 연산은 강하지만 Vector 연산과 HBM bandwidth는 상대적으로 제약이 큽니다.
저자들이 짚은 기존 방식의 한계는 다음과 같습니다.
- MLA의 한계: MLA는 KV Cache 크기를 줄여 주지만, 초장문 context에서는 여전히 많은 과거 KV를 읽어야 합니다. 그래서 context가 길어질수록 decode latency가 늘어납니다.
- 깊은 network의 overhead: layer가 많을수록 normalization, routing, indexing, scheduling 같은 non-matrix overhead가 커져 Cube utilization이 떨어집니다.
- PP의 bubble: Pipeline Parallelism에는 구조적인 pipeline bubble이 있습니다. 예를 들어 p=4, m=8인 1F1B 설정의 이론적 bubble 비율은 약 27%입니다.
- FSDP의 통신 비용: 일반 FSDP를 수천 NPU 규모로 확장하면 AllGather와 ReduceScatter가 SuperPoD 경계를 넘나들며 통신 비용이 커집니다.
- RL의 불균형: agentic RL에서는 task마다 실행 시간이 크게 달라 학습 데이터 생산과 policy update 사이에 불균형이 생깁니다.
따라서 model 구조, 분산 학습, host scheduling, RL infrastructure를 함께 설계하는 접근이 필요하다고 저자들은 주장합니다.
3. Method & Key Results (제안 방법론 및 핵심 결과)
저자들은 architecture, pretraining system, post-training system 세 층위를 Ascend 특성에 맞춰 함께 최적화한 Xing 4 시리즈를 제안합니다.
모델 구성과 attention 설계
- 대표 모델 Xing 4 (285B)는 45 layers, routed experts 256개, token당 8 experts, 활성 parameter 약 17B이며, 최대 1M-token context를 지원합니다 [Figure 1].
- 처음 3개 layer는 Dense FFN이고, 나머지 layer는 MoE FFN입니다.
- 공개 모델 Xing4.0-29B-A4B는 총 29B, 활성 4B parameter이며 native 256K context를 지원합니다. mHC, MLA, MTP를 결합했고, Ascend NPU와 MindSpore만으로 학습되었습니다.
- Huawei Zhanlu simulation 결과, MLA+DSA+IndexShare는 MLA baseline 대비 다음 성능을 보였습니다. 저자들은 simulation 결과가 실제 배포보다 낙관적일 수 있다고 명시합니다.
- Prefill Throughput 4.68×
- Decode Throughput 1.27×
- Relative TTFT 0.21×, Relative TPOT 0.79×

Figure 1 — 285B 모델 구조
Depth-width trade-off
- Wider-shallower 구성(45 layers, expert intermediate size 2048)과 60-layer baseline을 비교했습니다.
- TTFT는 0.83×, Prefill Throughput은 1.20×, Decode Throughput은 **1.11×**였습니다.
- 학습 throughput도 약 10% 높아졌습니다.
Speculative decoding
- DSpark는 base 대비 **2.67×–3.77×**의 decoding throughput을 보였습니다.
- MTP3는 base 대비 **1.80×–1.93×**에 그쳤습니다.
- DSpark는 MTP3 대비 1.48×–2.10× 빨랐고, 가장 큰 향상은 HumanEval에서 나왔습니다.
Pretraining system (MindSpore HyperParallel)
- HSDP는 zero-copy communication과 3-way communication overlap으로 통신 overhead를 억제합니다 [Figure 4].
- 이를 통해 PP=1, 즉 PP 없이 학습할 수 있습니다. 1,024-NPU 환경에서 PP-1F1B 대비 step time이 36.4s → 31.8s로 줄었습니다(1.14×).
- Abstract는 PP 제거 효과를 16.1% throughput 향상으로 보고합니다. 하지만 본문 표의 수치(36.4s → 31.8s, 1.14×)와 어떻게 맞춰지는지는 명시되지 않았습니다.
- HSDP + Muon 구성(step time 28.9s) 대비 추가 최적화 효과는 다음과 같습니다.

Figure 4 — HSDP 실행 timeline
| 최적화 | Step time | Speedup | 비교 기준 |
|---|---|---|---|
| Owner-based Muon | 31.8s → 28.9s | 1.10× (step time −9.1%) | HSDP |
| Fine-grained selective recomputation | 28.9s → 26.9s | 1.07× | HSDP + Muon |
| Layer-wise indexer backward | 28.9s → 24.5s | 1.18× (−15.2%) | HSDP + Muon |
- DSA 장문 학습에는 Q-Block pairing과 document-aware KV Window compaction도 적용했습니다.
- CPU affinity + core isolation을 함께 적용하자 학습 throughput이 512-card cluster에서 1–2%, 8,192-card cluster에서 5–10% 올랐습니다.
Post-training
- TeleGym과 intermediate server, Slime으로 3계층 RL 구조를 만들었습니다 [Figure 16].
- Disaggregated asynchronous execution, bounded oversampling, partial rollout으로 실행 시간이 서로 다른 task를 함께 처리합니다. 긴 trajectory는 policy update 이후에도 이어서 실행됩니다.
- 이 RL 시스템의 정량적 성능 수치는 명시되지 않았습니다.

Figure 16 — TeleGym RL 프레임워크
4. Conclusion & Impact (결론 및 시사점)
이 논문은 Ascend 910C와 MindSpore만으로 285B MoE 모델을 8,192 cards에서 pretraining할 수 있음을 보였습니다. 이를 가능하게 한 것은 architecture와 system을 함께 설계한 방식입니다. 구체적으로는 sparse attention, wider-shallower MoE, DSpark, HSDP, owner-based Muon, host-level CPU 격리, TeleGym 기반 비동기 RL을 결합했습니다. 공개된 29B 모델과 현재 진행 중인 trillion-parameter 학습이 이 시리즈를 이어갈 예정입니다.
산업적으로는 GPU 생태계에 의존하지 않는 대규모 LLM 학습 경로를 구체적인 engineering 수치로 보여 줬다는 의미가 있습니다. 특히 hardware 특성(Cube는 강하고 Vector와 HBM은 제약)이 model topology 선택을 직접 이끈다는 사례로서 hardware-aware architecture design의 참고점이 됩니다.
다만 이 보고서는 시스템 효율 위주입니다. 모델 품질(benchmark 정확도) 비교 결과는 본문에 명시되지 않았고, attention 비교의 상당 부분은 simulation에 기반합니다.
⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.
관련 포스트
- [논문리뷰] DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
- [논문리뷰] IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse
- [vllm] [vLLM 분석] Speculative Decoding 성능 최적화: DSpark Markov Head 복제 전략
- [논문리뷰] MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference
- [논문리뷰] On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability
Review 의 다른글
- 이전글 [논문리뷰] TPHC: Improving Hyper-Connections with Tensor-Parallel Grouped Updates
- 현재글 : [논문리뷰] TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks
- 다음글 [논문리뷰] The Noise Floor of a Quantization Comparison: Engine, restart, batch and kernel drift, measured against 8-bit and 4-bit effects in two decision models
댓글