[논문리뷰] EvoGenUI-Bench: Evaluating LLMs as Multi-Turn Generative UI Assistants

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yue Peng, Lanke Xia, Zihan Wang, Jiahao Ye, Ke Ning, Hongyi Wen

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• EvoGenUI: 사용자의 요구사항이 시간에 따라 진화함에 따라 단일 실행 가능한 인터페이스를 반복적으로 업데이트하는 시나리오를 의미함.
• Adjacent Pass Retention (APR): 이전 턴이 성공했을 때, 이어지는 다음 턴 역시 성공할 확률을 측정하는 지표로, 연속적인 인터페이스 유지 보수 능력을 평가함.
• TP@5 (Turn Pass at 5): 5번의 턴으로 구성된 전체 에피소드에서 모든 턴이 성공적으로 실행 및 평가를 통과한 비율을 의미함.
• Evidence-Grounded Evaluation: 렌더링된 UI, DOM, 소스 코드, 브라우저 인터랙션 로그, 그리고 외부 도구 상태 등 다각적인 증거를 종합하여 모델의 출력을 평가하는 방법론.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM이 생성한 인터페이스가 사용자의 진화하는 요구사항을 따라가지 못하고 기능이 파손되는 문제를 해결하기 위해 EvoGenUI-Bench를 제안한다. 기존 연구들은 독립적인 인터페이스 생성이나 일회성 작업 수행에는 집중해왔으나, 다수의 턴 동안 동일한 인터페이스의 상태와 기능을 일관되게 유지하는 능력은 간과해 왔다 [Figure 1]. 단일 턴에서의 성능이 우수하더라도, 복잡한 수정 과정에서 이전의 기능이 상실되거나 상태 동기화가 깨지는 문제가 빈번하게 발생하기 때문에, 인터페이스의 지속적인 유지 보수성을 평가할 새로운 벤치마크가 필요하다.

Figure 1 — 다중 턴 인터페이스 유지 관리

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 150개의 태스크와 750개의 턴으로 구성된 EvoGenUI-Bench를 구축하여 8개의 최신 LLM을 평가하였다 [Figure 2]. 제안된 평가 프로토콜은 생성된 인터페이스를 실제 브라우저에서 구동하고, 다중 표면 증거(렌더링, DOM, 로그 등)를 수집하여 Presentation, Execution, Alignment 관점에서 엄격하게 측정한다. 실험 결과, 가장 성능이 우수한 Claude-Opus-4.7 모델조차 74.9%의 Turn Pass를 기록했음에도 불구하고, 5턴을 모두 완벽히 수행한 TP@5는 37.3%에 불과하여 턴 수준의 성능과 에피소드 수준의 신뢰성 사이에 큰 격차가 존재함을 확인하였다 [Table 2]. 특히 Tool-grounded 작업의 경우 APR이 52.4%로 급감하며, 인터페이스 유지 보수 과정에서 상태 동기화 및 요구사항 분해 능력이 부족함이 드러났다 [Figure 3].

Figure 2 — EvoGenUI-Bench 평가 파이프라인

4. Conclusion & Impact (결론 및 시사점)

본 연구는 생성형 UI 평가를 단순한 단일 출력 품질 측정에서, 인터페이스의 행동과 상태가 대화 이력과 동기화된 채로 유지되는지를 검증하는 과정으로 재정의한다. 실험을 통해 모델들이 장기적인 상태 관리와 기능 보존에서 큰 한계를 보임을 입증하였으며, 이는 향후 LLM 기반 어시스턴트가 실제 업무용 애플리케이션으로 기능하기 위해 해결해야 할 기술적 핵심 과제를 제시한다. 본 벤치마크는 학계와 산업계가 보다 신뢰할 수 있는 인터페이스 자동 생성 기술을 개발하는 데 중요한 평가 지표로 활용될 것이다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.