MacArena：macOS環境下電腦使用代理基準測試
arXiv - Human-Computer InteractionVictor Muryn, Maksym Shamrai, Sofiia Mazepa, Yehor Khodysko
提出MacArena基準，證明macOS對GUI代理更具挑戰性，並揭示模型在macOS原生任務上表現顯著下降。
AI 幫你先抓重點
AI 重點 1
macOS原生任務對GUI代理的難度遠高於移植任務，模型排名逆轉揭示跨平台泛化不足。
滑鼠懸停看 AI 判斷理由
此洞察指出 benchmark 設計必須考慮平台特有的 GUI 特性，否則模型可能僅對特定任務分佈過度擬合，導致跨平台表現被誤導。
AI 重點 2
MacArena提供的421任務與50個應用，為研究者建立更真實的macOS測試環境，促進 Apple Silicon 上 AI 代理的發展。
滑鼠懸停看 AI 判斷理由
擁有原生 Apple Silicon benchmark 可實際訓練與評估代理，為未來研究與工具開發提供可靠基礎，避免依賴 x86 模擬環境。
核心研究發現
- 1
MacArena包含421個手動驗證任務，覆蓋50個應用，結合OSWorld、macOSWorld內容與49個全新macOS原生任務。
- 2
評估顯示，現有模型在macOS原生任務上表現比移植任務低26%以上，排名逆轉。
- 3
這表明macOS的GUI挑戰與Linux環境不同，模型熟悉度不足會影響跨平台表現。
對教育工作者的啟發
對於希望將 AI 代理應用於 macOS 教學環境的實務工作者，MacArena 提供了更具代表性的測試集，可用於評估代理在真實 macOS 應用中的表現。建議先使用 MacArena 進行基準測試，了解代理在原生任務上的弱點，再針對性地擴充訓練資料或調整控制策略。若需在課程中使用 GUI 代理，務必確保代理已在 MacArena 上達到可接受的成功率，避免因平台差異造成學生體驗不佳。
原始文獻資訊
- 英文標題：
- MacArena: Benchmarking Computer Use Agents on an Online macOS Environment
- 作者：
- Victor Muryn, Maksym Shamrai, Sofiia Mazepa, Yehor Khodysko
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。