본문으로 건너뛰기

[논문리뷰] Mobile AI Factory: Building Specialized Language Models for Your Mobile Device

링크: 논문 PDF로 바로 열기

저자: Evan Li, Krishna Deshpande, Wen Cheng, Shyamnath Gollakota


1. Key Terms & Definitions (핵심 용어 및 정의)

  • Mobile AI Factory: Task specification과 target phone을 입력으로 받아, 해당 task에 맞게 fine-tuning하고 quantization한 SLM을 생성하는 agentic system입니다. 최종 model과 함께 그 phone에서 사용할 inference engine(llama.cpp/MNN)과 backend(CPU/GPU)도 출력합니다.
  • Orchestrator LLM: 매 iteration마다 다음에 시도할 intervention을 하나만 고르는 LLM(Claude Sonnet 5)입니다. 선택지는 hyperparameter tuning, real data mining, teacher 기반 targeted synthesis 세 가지입니다. Orchestrator는 tier 내에서 어떤 model을 학습할지와 goal 상향 여부도 결정합니다. 반면 stop, rollback, escalation은 deterministic rule이 맡습니다.
  • Tiered (Bucketed) Small-to-Large Search: Base model과 quantization 조합 27개(9개 model × 4/8/16-bit)를 disk size 기준 5개 tier(300MB / 750MB / 1.5GB / 2.5GB 경계)로 나눈 뒤, 가장 작은 tier부터 탐색하는 전략입니다. 성능이 정체되면 다음 tier로 escalation합니다.
  • Phone Profile: Phone별로 한 번 측정해 모든 task에서 재사용하는 데이터입니다. Model × quantization × runtime × backend 조합마다 prefill/decode throughput, peak memory, energy per token, failure 여부를 기록합니다. 이 profile로 app 요구사항을 넘는 configuration을 사전에 제거합니다.
  • Adaptive Accuracy Goal: 고정 target 대신 teacher model(Qwen3.6-35B-A3B)의 five-shot score를 goal로 삼는 방식입니다(floor 0.80, cap 0.99). Goal에 쉽게 도달하면 orchestrator가 goal을 상향할 수 있습니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 "task specification과 target phone이 주어졌을 때, accuracy goal과 phone의 resource budget을 동시에 만족하는 fine-tuned, quantized SLM을 자동으로 만들 수 있는가"라는 문제를 다룹니다. On-device SLM은 privacy와 offline 동작이라는 장점이 있지만, task에 맞춘 fine-tuning과 device에 맞춘 sizing이 필요합니다. 현재는 이 과정을 전문가가 phone마다 수작업으로 반복해야 합니다. 예를 들어 Facebook app 하나만 해도 10,000종 이상의 device에서 실행됩니다.

기존 연구의 한계는 다음과 같습니다.

  • Agentic/AutoML fine-tuning 계열(Pioneer Agent, PostTrainBench 등): server 배포를 가정하고 accuracy만 최적화하므로 가장 큰 model을 선호하게 됩니다.
  • Hardware-aware NAS 및 on-device inference 연구: 이미 존재하는 model의 architecture나 compression policy를 다룰 뿐, 새 task capability를 만들지는 않습니다.

저자들의 측정 결과는 phone profiling이 왜 필요한지 보여줍니다.

  • 같은 Qwen3-0.6B 4-bit model의 decode 속도가 phone에 따라 42×, prefill 속도는 **94×**까지 차이 납니다.
  • llama.cpp GPU prefill은 OnePlus 15에서 CPU보다 5.4× 빠르지만, OnePlus 8 Pro에서는 7.4× 느립니다.
  • 같은 weight라도 MNN default 4-bit export에서는 macro-F1이 최대 0.19 하락합니다.
  • 전체 364개 configuration 중 41개는 spec sheet만으로는 예측할 수 없는 이유로 실행에 실패했습니다.

결론적으로 spec 기반 추론만으로는 최적 configuration을 고를 수 없고, 실제 측정과 quantization 이후의 scoring이 필수입니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

Mobile AI Factory는 Setup Stage와 Search Loop의 two-stage 구조로 구성됩니다 [Figure 4].

방법론

  • Setup Stage: phone profile을 기반으로 budget(latency, memory, energy)을 넘는 configuration을 제거하고, 남은 variant마다 decode가 가장 빠른 engine/backend를 선택합니다. Orchestrator는 training 샘플을 읽고 teacher용 brief를 작성하며, 최대 1,000 row의 held-out set을 동결합니다. Held-out set과의 contamination은 4단계 firewall로 차단합니다.
  • Search Loop: 매 iteration마다 intervention 하나를 적용합니다.
    • Hyperparameter tuning: LoRA rank, α/rank, learning rate, weight decay, epochs
    • Data mining: task source를 먼저 읽고, 소진되면 web에서 탐색
    • Targeted synthesis: failure category별로 25–600 row를 생성
  • Rollback rule: accuracy가 떨어지면 best model로 즉시 rollback합니다. 가장 긴 run에서는 intervention의 88%가 rollback될 만큼 대부분의 시도가 효과가 없었으므로, rule 기반 control이 꾸준한 진전을 보장하는 역할을 합니다.
  • Escalation rule: 최근 15회 evaluation 동안 score 상승이 0.02 이하이거나, 한 tier에서 30회 evaluation을 넘기면 다음 tier로 이동합니다.
  • Quantization-aware scoring: 모든 model은 quantization 이후의 artifact(Q4_K_M, Q8_0 등)로 평가합니다.

핵심 결과

  • Frontier model 대비 성능: 10개 task 중 default goal에서 7개 task에서 Claude Sonnet 5와 DeepSeek v4-Flash(0/5-shot 중 더 좋은 쪽)를 0.037–0.357 차이로 이겼습니다. Unseen test set에서는 5개 task에서 0.024–0.342 우위를 유지했고 3개 task에서 동등했습니다.
    • BC5CDR: 517MB Qwen3.5-0.8B Q4 model이 0.830 span F1을 기록해, Claude 5-shot(0.606)을 크게 앞섰습니다.
    • Calendar JSON: 0.811로 Claude(0.634)보다 높았습니다.
    • BFCL: function calling은 base model이 이미 강해 Claude보다 0.027 낮았습니다.
  • Gain decomposition: 전체 개선의 median 82%는 첫 fine-tune에서 나왔습니다. Search 단계는 가장 작은 tier에서 median 0.082, 가장 큰 tier에서 0.023을 추가했습니다. Search gain의 출처는 hyperparameter 41%, synthesis 40%, mining 19%였습니다.
  • Search 효율 [Figure 7]:
    • BC5CDR에서 exhaustive sweep(27개 variant 전체 학습)은 165 GPU-hours에 best 0.859를 기록했습니다.
    • Tiered search는 8.6시간, $2.62 비용으로 0.830에 도달했습니다. GPU time은 1/19 수준이고, 차이는 0.03 이내입니다.
    • One-shot pick과 비교하면 tiered search가 10개 task 중 8개에서 더 높은 score를 냈습니다.
  • Goal raising: goal 상향 후 추가 학습이 이루어진 9개 run 중 7개에서 평균 0.036 향상되었습니다.
  • Phone-aware deployment [Figure 9]:
    • Galaxy S23의 call summary task(memory 1,024MB 제한)에서는 phone-agnostic best model(4B Q8, 4,082MB)이 실행 불가능했습니다. Factory는 Qwen3-0.6B Q8 (MNN CPU)를 반환했고, 성능 차이는 0.013 이내였습니다.
    • Measurement 없이 spec만 받은 Claude Opus 5.5는 easy/moderate case의 25%, hard case의 60%에서 요구사항을 충족하지 못했습니다. 주된 원인은 run-time memory 과소평가와 backend 오판이었습니다.
    • Server 대비 phone 상의 accuracy 차이는 대부분 0.02 미만이었습니다.
  • 비용: 10개 main run 전체의 orchestrator 비용은 $57.37(task당 $2.62–8.46)이었습니다. 이는 training 비용(총 663 GPU-hours)에 비해 작은 수준입니다.

4. Conclusion & Impact (결론 및 시사점)

Mobile AI Factory는 phone별 실측 profile과 agentic small-to-large search를 결합합니다. 이를 통해 frontier model과 대등하거나 더 나은 on-device SLM을 phone의 resource 제약 안에서 자동으로 만들 수 있음을 보였습니다. 최적의 model, quantization, engine, backend는 phone마다 다르며, 가장 강한 frontier model도 measurement 없이는 이 선택을 신뢰성 있게 하지 못합니다.

저자들이 밝힌 한계는 다음과 같습니다.

  • Task harness(verifier와 scorer)는 여전히 사람이 설계해야 합니다.
  • Model pool이 135M–4B decoder model로 제한되어 있습니다.
  • NPU를 고려하지 않았습니다.
  • 측정이 단일 prompt length와 idle 상태로 한정되어, 다른 app과 동시에 사용하는 상황은 반영하지 못했습니다.

이 연구는 model은 최적화하지만 device는 고려하지 않던 ML/agent 연구와, model을 주어진 것으로 보고 engine만 개발하던 mobile systems 연구를 연결합니다. 산업계 관점에서는 phone 수천 종을 대상으로 phone별 specialized model을 자동 생성하고 재생성하는 pipeline을 구축할 수 있다는 가능성을 보여줍니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글