[논문리뷰] Learning How to Remember: Memory Modality Selection for GUI Agents

링크: 논문 PDF로 바로 열기

Now I have the content of the paper. I will proceed with summarizing it according to the specified format.

Part 1: Summary Body

• Metadata: Extract authors and keywords. Keywords should be 5-8 English academic terms.
• Key Terms: Identify 3-5 important terms and define them.
• Motivation: What problem are they solving? Why is it important? What are the limitations of existing methods?
• Method & Results: Explain SwitchMem, its components (D-CoE, preference target, pairwise router), and key quantitative results (performance gains, latency). Reference selected figures/tables.
• Conclusion & Impact: Summarize findings and discuss implications.

Part 2: Important Figure Information (JSON)

• Select up to 3 crucial figures/tables. Prioritize architecture, key results, and methodology.
• Extract figure_id, image_url (full path), and caption_kr.
• Ensure the selected figures are referenced in Part 1.

Let's start drafting Part 1, then select figures for Part 2 and integrate citations.

Authors: Taeyun Roh, Suhyeong Park, Gijin Kim, Wonjune Jang, Jaewoo Kang Keywords: GUI Agents, Memory Modality, VLM, Dynamic Routing, Directional Chain-of-Embedding, SwitchMem, Adaptive Memory

Section 1: Key Terms & Definitions

• GUI Agents: Graphical User Interface Agents를 의미하며, VLM(Vision-Language Model)을 기반으로 사용자 인터페이스(UI)를 인식하고, 사용자 명령을 해석하여 탭, 스와이프, 텍스트 입력과 같은 액션을 실행하는 시스템이다.
• Memory Modality: GUI 에이전트가 과거 상호작용으로부터 검색된 경험 지식을 표현하는 방식, 즉 텍스트(Text) 또는 이미지(Image) 형태의 메모리를 지칭한다.
• Directional Chain-of-Embedding (D-CoE): VLM의 중간 Hidden Representation에서 텍스트 및 이미지 메모리 조건 간의 차이(Shift)를 분석하여 특정 메모리 모달리티에 대한 선호도를 파악하는 기법이다.
• SwitchMem: 각 상호작용 단계(Interaction Step)에서 가장 적합한 텍스트 또는 이미지 메모리 모달리티를 동적으로 선택하는 라우팅(Routing) 프레임워크를 의미한다.
• Hidden Representation: VLM 내에서 입력 데이터가 처리되는 과정에서 생성되는 내부 상태(Internal State) 또는 임베딩(Embedding)으로, 모델이 입력 정보를 추상화하고 인코딩하는 방식이다.

Section 2: Motivation & Problem Statement 본 논문은 VLM 기반 GUI 에이전트의 Memory Augmentation에서 고정된(Fixed) Memory Modality 사용이 최적의 성능을 달성하지 못한다는 핵심 문제를 제기한다. 기존 GUI 에이전트들은 검색된 경험을 텍스트, 시각적 관찰, 또는 이들의 고정된 조합으로만 제시하는 경향이 있어, 각 상호작용 단계에서 요구되는 정보의 특성을 반영하지 못했다. Text Representation은 시각적 콘텐츠의 간결한 Semantic Abstraction을 제공하지만, Fine-grained 정보를 손실할 수 있으며, 반대로 Visual Representation은 Fine-grained spatial 및 appearance 정보를 보존하지만 Structured Text가 더 유용할 수 있는 Reasoning Context에서는 비효율적일 수 있다. 저자들은 AITW 및 LearnGUI 벤치마크에서 Text 및 Image Memory의 선호도가 Interaction Step에 따라 크게 변화함을 발견했으며 [Figure 2], 고정된 모달리티는 지속적으로 성능 저하를 야기함을 Step-wise Oracle을 통해 정량적으로 입증했다 [Figure 3]. 이는 Memory Modality 선택이 고정된 디자인 결정이 아닌 Step-dependent 결정이어야 함을 시사하며, 기존 연구의 한계를 명확히 보여준다.

Section 3: Method & Key Results 저자들은 각 Interaction Step에서 Text와 Image Memory Modality 중 최적의 것을 동적으로 선택하는 경량 라우팅 프레임워크인 SwitchMem을 제안한다. SwitchMem은 두 단계로 훈련된다. 먼저, Modality Dependent Representation Shift를 활용하여 연속적인 Preference Target을 구축한다. 이는 Directional Chain-of-Embedding (D-CoE) 분석을 통해 에이전트의 Hidden Representation에서 메모리 모달리티 선호도가 반영된다는 관찰에 기반한다 [Figure 4]. 특히, 최종 Layer의 D-CoE Representation(Equation 5)을 PCA를 통해 차원 축소하고 Logistic Probe를 사용하여 Preference Target ($t_i$)을 정의한다 (Equation 6). 둘째, 이 Preference Target을 Supervisor로 사용하여 Pairwise Router를 훈련한다 [Figure 5]. Router는 현재 상태와 검색된 메모리 후보(Text 및 Image)로부터 각각 Feature ($v_i^z$)를 구성하고, Shared MLP Scorer ($f_\theta$)를 통해 Scalar Score ($q_i^z$)를 계산한다 (Equation 7, 8). 그리고 이 스코어들의 차이 ($r_i = q_i^I - q_i^T$)를 Modality-Preference Score로 사용하여 Preference Target ($t_i$)을 회귀하도록 훈련한다 (Equation 9, 10).

Figure 5 — SwitchMem 전체 아키텍처

SwitchMem은 세 가지 GUI 벤치마크(AITW, LearnGUI, MobileMiniWoB++)에서 모든 Static Memory Baseline을 능가하는 강력한 성능을 달성했다 [Table 1]. AITW에서 49.300%의 Image Memory Baseline 대비 51.420%의 Action Score를, LearnGUI에서는 37.441% 대비 38.131%를, MobileMiniWoB++에서는 60.870% 대비 63.043%의 Task Success Rate를 기록하며 최첨단 성능을 입증했다. 이는 SwitchMem이 고정된 하나의 Representation을 사용하거나 항상 두 모달리티를 모두 제공하는 대신, 각 Interaction Step에서 단일 Memory Modality를 선택함으로써 Text 및 Visual Memory의 보완적인 강점을 활용하고 성능 저하를 피했음을 보여준다. 또한, SwitchMem은 Modality Utility Pattern, 즉 Visually Dense States, Function-oriented Actions, Post-initial States에서 Image Memory를 더 선호하는 경향과 일관되게 Memory Modality를 선택하는 것으로 나타났다 [Figure 6]. 이러한 동적 라우팅은 Ratio-matched Random Routing 대비 우수한 성능을 보였다 [Figure 7(b)], 이는 단순히 특정 모달리티 사용 비율을 맞추는 것이 아니라 상황에 맞는 적절한 선택이 중요함을 입증한다. 효율성 측면에서도 SwitchMem은 Image Baseline 대비 AITW에서 0.128초, LearnGUI에서 0.190초, MobileMiniWoB++에서 0.304초의 미미한 Latency 증가만을 보이며 높은 성능을 달성했다.

Section 4: Conclusion & Impact 본 연구는 VLM 기반 GUI 에이전트에서 Memory Modality 선택이 Interaction Step에 따라 동적으로 이루어져야 함을 체계적으로 입증한다. 저자들은 Text 및 Image Memory의 유용성이 각 단계에서 상이하며, 이러한 선호도가 에이전트의 내부 Hidden State에 반영된다는 점을 D-CoE 분석을 통해 밝혔다. 이러한 통찰을 바탕으로 제안된 SwitchMem은 Memory Modality-conditioned Representation Shift를 활용하여 각 단계에서 최적의 Memory Modality를 선택하는 Router를 훈련한다. SwitchMem은 고정된 모달리티를 사용하는 기존 Baseline 및 다른 Memory Augmentation 기법들을 모든 주요 벤치마크에서 일관되게 능가하는 성능을 보였다. 이 연구는 최적의 Memory Selection이 Task Level이 아닌 Step-dependent 결정임을 확고히 하며, 동적 모달리티 라우팅이 GUI 에이전트의 성능을 크게 향상시킬 수 있음을 보여준다. 향후 GUI 에이전트의 효율성과 강건성을 높이는 Memory System 설계에 중요한 방향을 제시하며, 더욱 복잡하고 동적인 실제 환경에서의 에이전트 개발에 기여할 것으로 기대된다.

Now, I will extract figures and their details. Looking for Figures:

• Figure 1: 2610.17928v1/motivation.png - "The same retrieved memory can lead to different outcome for a GUI agent depending on modality."
• Figure 2: 2610.17928v1/fig2.png (Seems to be replaced by just "Figure 2: Relative frequency of Text and Image wins among interaction steps. Neither modality consistently dominates across benchmarks." in text, I need the actual image if possible. Ah, it's just fig2.png missing figures/ prefix compared to others. The browser probably rendered it anyway). Okay, I found it embedded. It's an internal <img> link, which is not available in the parsed content. But motivation.png is an external relative path, which I can reconstruct. I need to be careful with image URLs.
• Figure 3: 2610.17928v1/fig3.png (similar to Figure 2, seems to be a fig3.png relative path).
• Figure 4: 2610.17928v1/fig4.png (similar problem)
• Figure 5: 2610.17928v1/switchmem_method_overview_roboto.png - "Overview of SwitchMem."
• Figure 6: 2610.17928v1/fig6.png (similar problem)
• Figure 7: This is a combined figure (a), (b), (c) and has separate sf1, sf2, sf3 links, but refers to fig7_a.png, fig7_b.png, fig7_c.png as embedded in the HTML <img> tag itself. This one is tricky. The HTML itself refers to <a href="#S6.F7.sf1" class="ltx_ref ltx_ref_figure">Figure 7(a)</a>.
• Figure 11: 2610.17928v1/figures/retrieved_memory_screen.png - "Paired actor prompts used by SwitchMem."
• Figure 12: 2610.17928v1/figures/initial_current.png - "Text-favoring AITW case."
• Figure 13: 2610.17928v1/figures/later_current.png - "Image-favoring AITW case."

Let's check the captions for the figures.

• Figure 1: The same retrieved memory can lead to different outcome for a GUI agent depending on modality.
• Figure 2: Relative frequency of Text and Image wins among interaction steps. Neither modality consistently dominates across benchmarks.
• Figure 3: Performance gap between fixed modality and step-wise oracle modality memory selection.
• Figure 4: layer-wise modality-preference probing with D-CoE on AITW.
• Figure 5: Overview of SwitchMem.
• Figure 6: Changes in Image over Text utility (left axis) and SwitchMem’s Image-selection rate (right axis).
• Figure 7: (a) Routing baseline ablation (b) Modality budget frontier (c) Latency–performance trade-off

I will select:

1. Figure 5: Overall architecture/framework of SwitchMem. This is crucial for understanding the method. 2610.17928v1/switchmem_method_overview_roboto.png
2. Table 1: Main results comparison. This is a critical quantitative result. Although it's a table, the instruction specifies "Figure/Table". The example in the prompt [{"figure_id": "Figure 1", ...}, {"figure_id": "Figure 3", ...}] seems to imply a preference for image-based figures. However, the instruction also says "Table is not image often", so I must select actual <img> tags only. Therefore, I cannot select Table 1. I need to find another Figure showing key results or a critical methodology. Let me re-read the instruction carefully: "Table은 이미지가 아닌 HTML 테이블인 경우가 많습니다. 이미지 <img> 태그가 있는 Figure만 선별하세요." This is very clear. So, no Table 1. Okay, I need to pick 3 figures with <img> tags.
   • Figure 5 (Architecture) - good.
   • Figure 3 (Performance gap between fixed modality and step-wise oracle) - shows the motivation clearly. 2610.17928v1/fig3.png
   • Figure 6 (Modality Utility Patterns and Adaptive Routing Alignment) - This shows how SwitchMem aligns with utility patterns, which is a key result of the analysis section. 2610.17928v1/fig6.png
   • Figure 4 (D-CoE analysis) - Important for methodology, showing hidden state reflection. 2610.17928v1/fig4.png
   • Figure 7 (Empirical analysis) - shows ablations and efficiency.

I will go with Figure 5 (architecture), Figure 3 (problem/motivation), and Figure 6 (key analysis/results for method validation). I need to make sure the URLs are correct. They are relative paths 2610.17928v1/filename.png. I need to prepend https://arxiv.org/html/.

Let's double check the citations in the summary to match the chosen figures.

• Figure 2 (Relative frequency of Text and Image wins) -> used in Motivation section.
• Figure 3 (Performance gap between fixed modality and step-wise oracle) -> used in Motivation section.
• Figure 4 (layer-wise modality-preference probing with D-CoE) -> used in Method section.
• Figure 5 (Overview of SwitchMem) -> used in Method section.
• Figure 6 (Modality Utility Patterns and Adaptive Routing Alignment) -> used in Method section.
• Table 1 (Performance comparison) -> used in Method section.

I need to make sure the figures I select for Part 2 are actually cited. I chose Figure 3, Figure 5, and Figure 6 for Part 2. My draft for Part 1 cites them:

• [Figure 2] is cited. It has an image: 2610.17928v1/fig2.png. Let me swap Figure 3 for Figure 2 in my selection to ensure it's cited properly.
• [Figure 3] is cited. It has an image: 2610.17928v1/fig3.png.
• [Figure 4] is cited. It has an image: 2610.17928v1/fig4.png.
• [Figure 5] is cited. It has an image: 2610.17928v1/switchmem_method_overview_roboto.png.
• [Figure 6] is cited. It has an image: 2610.17928v1/fig6.png.
• [Table 1] is cited. This is a Table, and per rules, I cannot select it if it's not an image.

I should select Figure 2, Figure 4, and Figure 5. Figure 2: https://arxiv.org/html/2610.17928v1/fig2.png - "Text/Image wins frequency" (핵심 동기) Figure 4: https://arxiv.org/html/2610.17928v1/fig4.png - "D-CoE Modality Preference" (핵심 방법론 근거) Figure 5: https://arxiv.org/html/2610.17928v1/switchmem_method_overview_roboto.png - "SwitchMem 아키텍처" (핵심 방법론)

This set covers motivation, methodology, and a key supporting analysis for the methodology, all are actual <img> tags. I've ensured these are cited in Part 1. The captions in Korean for the JSON:

• Figure 2: 텍스트/이미지 메모리 선호도 빈도
• Figure 4: D-CoE 모달리티 선호도 프로빙
• Figure 5: SwitchMem 전체 아키텍처

Final check on word count and other constraints.

• Technical terminology in English: Checked.
• Natural Korean phrasing with English nouns/verbs: Checked.
• Mandatory metadata: Checked.
• Output format (Part 1 markdown, Part 2 JSON separated by `

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.