[논문리뷰] Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription

링크: 논문 PDF로 바로 열기

저자: Daniel Huang, Qi He, Shaoxiong Duan, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Stable-Prefix Streaming ASR Model: 시점 t ≤ t′인 모든 audio에 대해 출력 y_t가 y_t′의 prefix인 모델을 말한다. 즉 한 번 내보낸 text를 다시는 수정하지 않는다. 이 정의는 causal encoder 같은 내부 구조와 상관없이 출력의 behavior만 제약한다.
• Longest Stable Prefix (LSP): 시점 t까지 모델이 실제로 낸 출력 중에서, 출력 전체가 full-context output(ȳ)의 prefix인 것들 가운데 가장 긴 것이다. 이 label은 model-admissible하다. 즉 모델이 실제로 생성한 출력과 정확히 같다. 저자들은 LSP가 prefix order에서 monotone하고, full-audio output과 consistent하며, maximal하다는 것을 증명했다.
• Wait token: 지금까지 받은 audio만으로 다음 token을 확정할 수 없을 때 decoder가 내는 special token이다. vocabulary에 있는 token이라 architecture를 바꿀 필요가 없고, "언제 emit할지(timing)"와 "무엇을 emit할지(content)"를 분리하는 역할을 한다.
• Streamability: 정규화한 LSP 길이를 시간 축에 그린 곡선의 AUC다. full-context 모델이 streaming으로 전환될 잠재력이 얼마나 되는지를 측정한다.
• Provisional-token budget (U): inference 단계에서 마지막 U개 token의 commit을 보류해 다음 update에서 다시 검토하게 하는 파라미터다. U=1은 quality 우선, U=0은 latency 우선 설정이다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문은 streaming ASR이 이미 내보낸 token을 나중에 수정하는 문제(flicker, revision, hypothesis instability)를 다룬다. 저자들의 목표는 accuracy와 latency를 유지하면서 출력이 수정되지 않도록 보장하는 것이다. translator나 voice agent처럼 token이 나오자마자 그 위에서 동작하는 consumer에게 token revision은 겉모양의 결함에 그치지 않는다. 이미 한 연산이 낭비되고, agent라면 잘못된 action으로 이어질 수 있다.

기존 접근은 크게 둘로 나뉜다. 하나는 Local Agreement, hold-n, mask-k 같은 inference-time commit rule이다. 이 방식은 underlying recognizer가 계속 revision을 일으키고, agreement 자체를 학습하지 않는다. 다른 하나는 Prefix training이나 self-training 같은 학습 기반 방법이다. revision rate는 낮추지만 earlier token이 절대 바뀌지 않는다는 보장은 없다.

full-context 모델을 streaming용으로 바꾸려고 encoder를 causal로 만들거나 attention mask를 쓰면 정확도가 떨어진다. 또한 full-context 모델에 audio를 점진적으로 넣으면 새로 붙은 tail이 앞선 token을 흔드는 residual interference가 생긴다. Forced aligner의 timestamp를 target으로 쓰면 이후 audio가 있어야 풀리는 ambiguity가 남아 모델이 추측을 강요받는다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Qwen3-ASR-1.7B의 audio encoder(AuT, 300M)와 projector를 freeze하고, 1,500시간의 중국어·영어 audio로 language decoder만 post-training해 Confucius4-R2T2를 만들었다. architecture는 바꾸지 않았다.

• Backbone 선정: Buckeye 1,860개 utterance로 Streamability를 비교했다. 그 결과 Qwen3-ASR-1.7B가 normalized streamability 0.493으로 가장 높았다. causal mask로 fine-tuning한 WhisperRT는 출력이 불안정해서 base Whisper보다도 낮았다 [Figure 1].
• LSP Annotation: 같은 모델(self-distillation)에 audio prefix를 80 ms 간격으로 넣어 LSP와 stable interval을 기록한다. 학습할 때 sample을 무작위 시점 t에서 자르고, t가 stable interval 안이면 LSP를, 밖이면 LSP ⊕ Wait를 label로 쓴다.
• 2-stage training:
  • SFT: cross-entropy, lr 1e-5, 1 epoch. encoder window는 1–8 s에서 sampling한다.
  • GRPO: rollout을 1/2/4 streaming turn으로 구성한다. CER 기반에 Tail, Cut Marker, repetition, language consistency 등을 더한 8개 component reward를 쓰고, 최종 reward는 tanh(3·R_raw)로 변환한다.
• Streaming Inference 최적화: 학습된 모델은 그대로 두고 네 가지 기법을 쓴다.
  • 8 s window 단위 encoder/decoder cache reuse
  • Wait가 나오면 pre-fill 직후 update를 끝내는 Wait-terminated decoding
  • 최근 W=1개 window만 남기는 bounded context
  • speculative decoding 방식으로 revisable suffix를 검증하는 pre-fill verification

정량적 결과 (160 ms chunk 기준) [Figure 2]

• Total macro WER/CER: R2T2(U=1)는 5.76%로, Proprietary API인 Commercial A(6.23%), Commercial B(6.01%), AssemblyAI(8.27%)보다 낮다. 같은 160 ms 조건의 Base(21.01%) 대비 오류를 약 3/4 줄였다.
• Full-context 대비: Base Offline(5.15%)과의 차이는 약 0.6%p에 불과하다. VoxPopuli에서는 2.29%로 full-context(3.12%)보다 오히려 낮았다.
• Open-source 비교: X-ASR(8.97%), Nemotron 3.5(14.21%), Voxtral Realtime(19.35%)보다 모든 test set에서 우수했다. 실제 동시통역 long-form 데이터인 EN-RealSI/CN-RealSI에서도 7.33%/3.27%를 기록했다.
• Latency: 두 언어 모두에서 세 Proprietary API보다 mean emission lag가 낮다. 80 ms, U=0 설정에서는 mean retrospective lag가 두 언어 모두 0.5초 미만이다 [Figure 3].
• U와 chunk size의 trade-off: 160 ms에서 U=1은 U=0보다 macro error를 약 1/10 줄이는 대신 lag가 수십 분의 1초 늘어난다. 단, 이 lag는 audio timeline 기준이며 실제 serving latency는 측정하지 않았다.
• Cross-language transfer: post-training하지 않은 10개 추가 언어, 18개 test set 모두에서 같은 설정의 base보다 오류가 낮았다.

4. Conclusion & Impact (결론 및 시사점)

R2T2는 강력한 full-context ASR 모델을 encoder 수정 없이 LSP supervision과 Wait target만으로 accurate한 stable-prefix streaming 모델로 바꿀 수 있음을 보여준다. 영어·중국어 benchmark에서 full-context와의 격차를 대부분 좁혔고, 낮은 emission lag와 가장 낮은 macro error를 함께 달성했다. chunk size와 U를 바꾸면 재학습 없이 recognition–lag trade-off를 고를 수 있다.

학계 측면에서는 stability를 accuracy, latency와 독립적인 behavioral constraint로 엄밀하게 정의했다. 또한 model-admissible한 학습 target(LSP)을 이론적으로 정립했다. 산업계 측면에서는 LLM agent, simultaneous translation, live caption처럼 text를 점진적으로 소비하는 시스템에 rollback 없는 ASR 기반을 제공한다. 모델 weight와 코드도 공개되어 있다.

남은 과제는 저자들이 직접 밝혔다. 실제 deployment 성능(serving latency, RTF) 검증, 더 강한 teacher 사용 시의 효과, streamability를 동시통역 등 일반적인 streaming 전환의 지표로 쓸 수 있는지가 그것이다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.