OpenFlo：透過具備 GUI 對齊功能的模擬人類網頁互動進行自動化 UX 評估
arXiv - Computers and SocietyWee Joe Tan, Zi Rui Lucas Lim, Shashank Durgad, Karim Obegi, Aiden Yiliu Li
開發了一種能模擬人類行為並結合多模態對齊技術的 AI Agent，用於自動化執行網頁可用性測試與生成 UX 報告。
AI 幫你先抓重點
AI 重點 1
從「結構解析」轉向「視覺與行為對齊」的技術範式轉移
滑鼠懸停看 AI 判斷理由
傳統工具依賴程式碼結構（DOM），容易因網頁更新而失效；OpenFlo 模擬人類視覺與操作邏輯，這意味著 AI 評估將更接近真實人類的感官體驗，提升了測試的魯棒性。
AI 重點 2
自動化評估流程的標準化與量化整合
滑鼠懸停看 AI 判斷理由
將質性的「出聲思考」與量性的「SUS 量表」結合並自動化，解決了傳統 UX 研究耗時且難以大規模重複進行的痛點，為產品開發提供了即時反饋機制。
核心研究發現
- 1
OpenFlo 捨棄傳統僅依賴 DOM 解析的方法，改採 GUI Grounding 技術，使其能與真實網頁進行端到端的互動並維持連貫的用戶旅程。
- 2
系統整合了標準化的評估協議，包含系統可用性量表 (SUS)、單步簡易問題 (SEQ) 以及同步出聲思考法 (Think Aloud) 的模擬。
- 3
透過結合 Avenir-Web 與模擬用戶行為特徵，該系統能自動生成結構化的使用者體驗 (UX) 報告，實現可擴展的可用性測試。
對教育工作者的啟發
對於開發教育科技產品（如學習管理系統或互動式教材）的團隊，此技術提供了低成本的自動化品質控管手段。開發者在設計數位學習工具時，可利用此類 AI Agent 模擬不同學習者（如不同數位素養程度的用戶）的行為，在產品正式推向學生前，自動偵測介面設計是否直覺、操作路徑是否過於複雜，從而優化學習者的認知負荷，確保數位學習環境的可用性。
原始文獻資訊
- 英文標題：
- OpeFlo: Automated UX Evaluation via Simulated Human Web Interaction with GUI Grounding
- 作者：
- Wee Joe Tan, Zi Rui Lucas Lim, Shashank Durgad, Karim Obegi, Aiden Yiliu Li
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。