[논문리뷰] Judging in Latent Space: Efficient Generative Reward Modeling via Semantics-Preserving Compression

링크: 논문 PDF로 바로 열기

1. Key Terms & Definitions (핵심 용어 및 정의)

• LatentGRM: Rubric-based reward modeling을 위해 고안된 프레임워크로, 텍스트 기반의 평가 대신 compact한 continuous latent trajectory를 통해 autonomous한 pairwise judgment를 수행함.
• Semantic Chunking: Rubric 기반의 evaluation trace를 의미 단위로 분할하여, 고정된 latent budget 내에서 정보를 효율적으로 압축하기 위한 기법임.
• Latent Trace Interpreter (LTI): 학습된 latent trajectory로부터 텍스트 형태의 평가 내용을 사후적으로 재구성(reconstruction)하여, 압축된 정보의 fidelity를 검증하는 독립적인 readout 모듈임.
• Vocabulary-space Latent Reasoning: 토큰 단위의 명시적 추론 대신, 연속적인 vocabulary-space의 latent state를 recurrent하게 사용하여 autoregressive decoding의 cost를 절감하는 기법임.
• Rubric-based Reward Modeling: 평가 과정을 instruction compliance, clarity 등과 같은 explicit한 criteria로 분해하여 수행하는 reward modeling 방식으로, 판단의 해석 가능성을 높임.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Generative Reward Models(GRMs)는 모델의 평가 결과를 생성형 추론으로 도출하지만, 복잡한 rubric 기반 평가 시 반복적인 텍스트 생성으로 인해 높은 inference cost를 초래함. 특히 rubric에 기반한 multi-criterion 평가는 정확도를 높일 수 있으나, 각 단계별 근거를 토큰 단위로 verbalizing하는 과정이 전체 evaluation trajectory를 지나치게 길게 만듦. 따라서 기존의 explicit한 SFT(Supervised Fine-Tuning) judge를 대체하면서도, 동일한 rubric 정보를 효율적으로 처리할 수 있는 compact한 연산 방식이 요구됨. 본 연구는 이러한 문제점을 해결하기 위해 continuous latent space에서의 추론을 Reward Modeling에 도입하여 연산 효율성과 판단 성능을 동시에 최적화하고자 함.

3. Method & Key Results (제안 방법론 및 핵심 결과)

LatentGRM은 2단계 distillation 프레임워크를 통해 rubric 기반의 명시적 평가 추적(explicit evaluation trace)을 압축함. Stage 1에서는 Semantic Chunking을 적용하여 의미 단위로 경계를 설정하고, 이를 연속적인 latent state(z)로 변환하는 vocabulary-space distillation을 수행함. Stage 2에서는 사전 학습된 judge가 autoregressive하게 latent trajectory를 생성하고 최종적인 preference를 도출하도록 학습하며, 추론 시 Gumbel noise를 활용한 stochastic perturbation을 통해 다양한 trajectory 생성 및 voting을 지원함. 성능 평가 결과, LatentGRM-8B는 기존 Rubric-RM-8B 대비 8.9~9.2배의 trajectory 압축률을 달성함. 또한, vote@5 설정에서 총 inference time을 6.1~7.0배 절감하면서도 8개 벤치마크 도메인에서 69.0%의 높은 aggregate preference accuracy를 기록하여, explicit judge와 경쟁력 있는 성능을 보여줌. 특히 rubric intervention 분석을 통해 criterion-dependent 정보가 압축된 latent sequence를 통해 성공적으로 전이됨을 확인하였으며, LTI를 통해 criterion-level의 근거가 성공적으로 재구성됨을 증명함. 이러한 결과는 연속적인 latent evaluation이 추론 비용을 대폭 줄이면서도 판단 품질을 유지할 수 있음을 시사함.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Reward Modeling 분야에 continuous latent reasoning을 성공적으로 도입한 최초의 사례로, rubric 기반의 평가를 효율적인 latent trajectory로 변환하는 LatentGRM을 제안함. 제안된 기법은 inference cost를 크게 낮추면서도 명시적 모델과 대등한 평가 정확도를 확보함으로써, 대규모 LLM 평가와 최적화 과정에서 실질적인 효율성을 극대화할 수 있음. 특히 rubric intervention과 latent trajectory 재구성을 통해 모델의 판단 과정을 해석하고 제어할 수 있는 가능성을 열어주었으며, 향후 고성능 Reward Modeling의 효율적 배포 및 평가 투명성 제고에 중요한 학술적·산업적 토대를 마련함.

Figure 2 — LatentGRM 전체 아키텍처

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.