AgentLens：行動裝置 GUI 代理人與人機互動的自適應視覺模態研究
arXiv - Human-Computer InteractionJeonghyeon Kim, Byeongjun Joung, Junwon Lee, Joohyung Lee, Taehoon Min, Sunjae Lee
提出 AgentLens 系統，透過自適應的三種視覺模態解決行動代理人在執行任務時的透明度與多工處理衝突。
AI 幫你先抓重點
AI 重點 1
從「全透明」轉向「按需透明」的互動設計思維
滑鼠懸停看 AI 判斷理由
傳統 AI 代理人常在「完全掌控」與「完全黑箱」間掙扎，此研究證明了透過自適應的視覺介入，可以在不干擾使用者多工處理的前提下，維持必要的透明度與信任感。
AI 重點 2
利用虛擬顯示技術實現背景執行與視覺疊加的結合
滑鼠懸停看 AI 判斷理由
這項技術突破了行動裝置操作的限制，讓 AI 代理人能在後台運作時，仍能透過選擇性的視覺覆蓋層與使用者溝通，這對於未來個人化學習助理的設計具有高度參考價值。
核心研究發現
- 1
研究發現使用者偏好「即時視覺互動」的混合模式，而非極端的完全前景執行或完全背景執行。
- 2
AgentLens 透過 Full UI、Partial UI 與 GenUI 三種視覺模態，根據任務需求自適應調整溝通方式。
- 3
在 21 名參與者的受控實驗中，85.7% 的使用者偏好 AgentLens，且在可用性與採用意願上表現優異。
對教育工作者的啟發
對於開發教育輔助工具（如 AI 學習助理）的設計者而言，此研究提供了重要啟發：當 AI 代理人在協助學生執行複雜任務（如整理資料、搜尋文獻）時，不應強行佔據整個螢幕，而應設計一種「非侵入式」的溝通機制。設計者可以參考其「自適應模態」的概念，在學生需要確認步驟時提供完整介面，在學生專注於其他學習任務時，僅透過局部或生成的視覺提示進行溝通，從而平衡學習者的自主性與 AI 的輔助效率。
原始文獻資訊
- 英文標題：
- AgentLens: Adaptive Visual Modalities for Human-Agent Interaction in Mobile GUI Agents
- 作者：
- Jeonghyeon Kim, Byeongjun Joung, Junwon Lee, Joohyung Lee, Taehoon Min, Sunjae Lee
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。