[논문리뷰] OneTrans-GSR: A Generative Slate Ranking Paradigm Unifying Reranking and Mix-Ranking with One Autoregressive Transformer

링크: 논문 PDF로 바로 열기

저자: Feng Cheng, Yu-Hsuan Huang, Fengyi Wang, et al. (ByteDance Global E-Commerce Recommendation Foundation Team)

1. Key Terms & Definitions (핵심 용어 및 정의)

• Slate: 요청(request)마다 주어지는 Candidate Pool에서 중복 없이 고른 T개 item의 순서 있는 노출 목록입니다. Candidate는 product card, short video, livestream, advertising card를 모두 포함합니다.
• Mix-Ranking: 서로 다른 upstream business channel에서 온 이질적인 content type을 business constraint 아래에서 하나의 exposure slate로 섞는 단계입니다.
• Slate-Level Reward Model (RM): 노출 순서대로 놓인 slate 전체를 causal attention으로 encoding합니다. 마지막에 붙인 learnable EOS token의 hidden state로 ListClick / ListOrder / ListGMV를 예측합니다. 학습 때만 쓰이고 serving에는 들어가지 않습니다.
• GMR-PO (Geometric-Mean Reward Policy Optimization): RM이 objective별로 낸 score를 geometric mean으로 묶어 scalar reward를 만드는 multi-objective RL post-training 기법입니다. LTV는 delayed repurchase proxy로 반영됩니다. 이 scalar reward와 soft business preference reward를 따로 standardize한 뒤 advantage를 합칩니다(Separate Standardization).
• Constrained Decoding: hard constraint는 masking으로, soft control은 finite한 additive logit adjustment(δ)로 decoding 단계에서 적용하는 방식입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문은 reranking과 mix-ranking을 hand-crafted rule과 shallow model로 조립하는 expert-engineered 방식을 하나의 learned policy로 바꾸려 합니다 [Figure 1]. 기존 방식은 scattering, quota allocation, de-duplication, fatigue control, commercial boosting 같은 rule과 수동으로 tuning한 fusion weight에 의존합니다. 그래서 combinatorial search space의 일부만 탐색할 수 있습니다. 결과적으로 slate quality가 data와 compute가 아니라 expert의 engineering effort에 따라서만 좋아집니다. 반면 HSTU, Wukong, OneTrans 같은 pointwise scoring 모델은 scaling 효과를 보고 있습니다.

Figure 1 — Slate 생성 두 패러다임

Production baseline은 Generator–Evaluator (G-E) 구조입니다. 여러 generator가 후보 slate를 만들고 online evaluator가 하나를 고르는데, latency budget 때문에 evaluator의 용량이 제한됩니다. 이를 learned policy로 대체하려면 세 가지 문제를 풀어야 합니다.

• 고정된 vocabulary가 아니라 request마다 다른 candidate pool에서 골라야 합니다.
• Reward가 item 단위로 분해되지 않는 slate 단위입니다.
• Business constraint를 반드시 지켜야 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

OneTrans-GSR은 upstream fine-ranker가 넘긴 candidate에서 decoder-only Transformer 하나가 exposure slate를 autoregressive하게 바로 생성하는 구조입니다. Decoder와 RM은 모두 OneTrans block으로 만들어지며, candidate token representation은 공유하지만 parameter는 독립적입니다. 학습은 세 단계로 진행됩니다 [Figure 2].

1. RM Pretraining: EOS readout과 pointwise·content-type preference auxiliary head로 학습합니다.
2. Decoder Pretraining: 긴 user behavior sequence에 대한 next-token prediction으로 학습합니다.
3. Policy Post-Training: 고정된(frozen) 3-model RM ensemble을 사용하는 GMR-PO로 학습합니다.

Figure 2 — Offline 학습 파이프라인

Decoder 설계의 특징은 다음과 같습니다.

• User behavior와 candidate를 prefill context에 직접 넣어, cross-attention이나 output-only 방식보다 이른 단계에서 candidate 간 interaction이 일어나게 합니다.
• Output 쪽 candidate embedding에는 stop-gradient를 적용합니다.
• Fine-ranking score를 pointwise prior로 사용합니다.

Serving 시에는 G=32개 slate를 sampling하고 accumulated log-probability가 가장 높은 slate를 노출합니다. Online RM은 쓰지 않으며, prefill KV cache를 모든 rollout이 공유합니다.

주요 결과는 다음과 같습니다.

• Production A/B (1주, account-level randomization): G-E control 대비 GMV/u +2.63%, Advertiser Value +2.06%, Repurchase Rate +2.03%로 모두 p<0.05에서 유의했습니다. Reranking과 mix-ranking 단계의 End-to-End Latency는 13% 감소했습니다.
• Offline RG (logged G-E slate 대비, ratio): Full model은 ListClick 0.0768 / ListOrder 0.3132 / ListGMV 0.2870입니다.
  • Autoregressive decoding을 제거하면 RG가 모두 음수가 되고, ListGMV가 −0.5426으로 가장 크게 떨어집니다.
  • RL post-training을 제거하면 ListOrder가 0.0119, ListGMV가 −0.0400으로 급락합니다.
  • GRPO, GDPO, HERO와 비교하면 GMR-PO가 ListOrder와 ListGMV에서 평균 최고입니다. ListClick 평균은 GDPO가 0.1488로 가장 높아, 모든 objective에서 앞서는 방법은 없었습니다.
• RM Quality:
  • ListClick AUC 0.8162, ListOrder AUC 0.8976로 RankFormer(0.8106 / 0.8973)와 TSPRank(0.7254 / 0.7548)보다 높습니다.
  • EOS readout의 PCOC는 1.00입니다.
  • Slate 순서를 바꾸는 perturbation에 대해 summed readout보다 한 자릿수 이상 더 민감하게 반응합니다.
• Slate Quality Proxy: Logit adjustment를 꺼도 CTR 순 정렬 baseline 대비 category diversity +46.88%, fatigue −40.91%입니다.
• Scaling 및 System Optimization: 테스트한 범위에서 RM, decoder, sample count의 compute를 늘리면 RM AUC 또는 RG가 개선되었습니다. Rollout compilation, BF16, KV cache, memory-efficient attention 등을 누적 적용해 decoder serving model-path에서 16.68× speedup, 72.7% memory reduction, 학습에서 4.91× speedup을 얻었습니다.

4. Conclusion & Impact (결론 및 시사점)

이 논문은 slate-level RM으로 offline 학습한 autoregressive decoder 하나가 production의 Generator–Evaluator cascade를 완전히 대체하면서, business 지표와 latency를 함께 개선할 수 있음을 실제 서비스에서 보였습니다. RM은 학습에만 쓰이므로 serving 비용 없이 키울 수 있습니다. Business rule은 사라지지 않고 hard mask, soft logit adjustment, reward로 역할이 바뀌었습니다.

산업적으로는 recommender system의 마지막 단계인 slate 조립도 data와 compute로 성능을 끌어올리는 "learned policy" 영역으로 옮길 수 있다는 근거를 줍니다. 이 formulation은 search와 advertising에도 적용할 수 있습니다.

다만 저자들이 밝힌 한계가 있습니다.

• 평가는 단일 production system에서만 이루어졌습니다.
• A/B test는 시스템 전체 교체를 검증한 것이고, component별 기여는 분리하지 않았습니다.
• Offline RG는 RM이 추정한 proxy이며, 실제 click·order·GMV 변화로 보정된 값이 아닙니다.
• Scaling 추세는 테스트한 configuration에만 해당하며, 일반적인 scaling law나 online 성능 향상을 보장하지 않습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.