[논문리뷰] Jeva: System One Models from First Principles

링크: 논문 PDF로 바로 열기

저자: Qi Li, Xinchao Wang

1. Key Terms & Definitions

• System One Models: 빠르고 직접적인 decision-making을 위해 generated rationales 대신 typed outputs을 생성하는 모델입니다.
• Null-Awareness: 모델이 candidates 중 정답이 없는 경우와 candidates 내 불확실성을 명확히 구분하는 능력입니다.
• Permutation Invariance: alternative candidates의 순서가 변경되어도 모델의 decision이 변하지 않는 구조적 속성입니다. Jeva는 더 나아가 permutation-equivariant probabilities를 제공합니다.
• Option Scalability: candidate sets의 크기가 증가하더라도 output space를 재정의하거나 joint context를 다시 처리할 필요 없이 모델이 이를 지원하는 능력입니다.
• Cacheability: 반복적으로 사용되는 alternatives에 대한 request-independent computation을 여러 requests에 걸쳐 재사용하여 latency를 줄이는 특성입니다.
• State Refinement: Jeva에서 lightweight decision module이 immutable option memory를 참조하여 request state만을 refine하는 과정으로, option representations의 재사용성을 유지하면서 candidate set에 적응하도록 합니다.

2. Motivation & Problem Statement

본 논문은 System One Models의 현재 설계가 decision problem의 구조를 충분히 반영하지 못하고 있음을 지적합니다. 기존 open-source system one models은 request와 candidates를 텍스트로 jointly encode하는 경향이 있으며, 이는 request 변경 또는 candidates 재조합 시 joint context를 반복적으로 처리해야 하는 비효율성을 야기합니다. 또한, 이러한 디자인은 정렬되지 않은 decision set을 정렬된 sequence로 취급하여 candidate position이 예측에 영향을 미치게 하고, fixed inventory에 기반한 answer symbols 사용은 candidate counts를 제한하는 한계를 가집니다. 더 나아가, supplied candidates에 대해 scores를 normalize하는 방식은 어떠한 candidate도 적합하지 않을 때를 인식하지 못하며, semantic representation, candidate interaction, answer availability가 동일한 prediction process 내에서 결합되는 근본적인 아키텍처적 문제를 발생시킵니다. 이러한 한계점들은 candidate reuse, order symmetry, variable-size choice를 명시적 computational property로 보존하는 decision-native architecture의 필요성을 강조합니다 [cite: 1, Figure 1].

3. Method & Key Results

Jeva는 reusable semantic encoding과 set-dependent judgment를 분리하는 decision-native architecture를 제안합니다 [cite: 1, Figure 1]. 이 아키텍처는 shared language encoder를 사용하여 request와 각 option을 독립적으로 compact vectors로 매핑한 다음, lightweight decision module이 immutable option memory에 대해 request state만을 refine합니다. 이 접근 방식은 option representations를 request-independent하게 유지하면서 candidate set에 따라 state가 적응하도록 하여 set-dependent preferences를 가능하게 합니다 [cite: 1, Figure 3]. Symmetric aggregation과 shared scoring은 permutation-equivariant option probabilities를 생성하고 output parameters를 확장하지 않고도 variable-size candidate sets를 수용합니다. 또한, separate coverage gate는 null과 candidate set 사이에 probability를 할당하여 answer absence를 alternatives 간의 uncertainty와 구별합니다 [cite: 1, Figure 4].

Qwen3.5-4B backbone을 사용하는 Jeva-4B는 typed-decision performance에서 강력한 결과를 보여주었습니다. BANKING77 (K=16) 및 MASSIVE (K=8) 데이터셋에서 각각 92.05%와 91.62%의 정확도를 달성하여 대부분의 specialized system one models을 능가했습니다 [cite: 1, Table 1]. 특히, Jeva는 BANKING77에서 98.66%의 null-detection AUROC를 기록하며 거의 완벽한 null detection 능력을 입증했으며, 테스트된 모든 candidate permutations에서 decision flips가 전혀 발생하지 않아 76.67%의 all-order accuracy를 유지했습니다 [cite: 1, Table 2, Figure 6]. ToolRet diagnostic에서 Jeva는 2,048 options에서도 69.88%의 높은 정확도로 thousands of candidates까지 scale할 수 있음을 보였으며, cross-request reuse를 통해 새로운 long-document candidate sets에 대해 20배 이상의 median-latency speedup을 달성했습니다 [cite: 1, Figure 2, Figure 8, Figure 9].

4. Conclusion & Impact

Jeva는 system one decision-making을 위해 특별히 설계된 decision-native architecture를 성공적으로 도입했습니다. 이 연구는 permutation symmetry, variable candidate counts, explicit null probability, caching 등 System One Models의 네 가지 핵심 structural requirements를 reusable option memory를 읽는 evolving state로 decision을 모델링하여 통합합니다. 훈련된 Jeva-4B 모델은 넓은 decision capability와 함께 뛰어난 null detection, reordering에 대한 안정적인 predictions, 그리고 hybrid cache를 통한 효율성 향상을 결합합니다. 특히 large-set results는 candidate-indexed readout의 실용적 가치를 명확히 보여줍니다. 본 연구는 tool selection, document retrieval, intent classification 등 다양한 도메인에서 빠르고 정확하며 context-aware decisions를 요구하는 AI applications의 발전에 중대한 영향을 미칠 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.