量身打造視覺輔助:盲人與低視能者如何利用代理程式編程進行創作

arXiv - Human-Computer InteractionEllie Seehorn, Gene S-H Kim, Aziz Zeidieh, Ather Jammoa, Kun Lee, Aditi Shah, Jaylin Herskovitz, Anhong Guo, Venkatesh Potluri

本研究探討盲人與低視能者如何透過代理程式編程工具開發個人化視覺輔助技術,並識別其創作策略與挑戰。

AI 幫你先抓重點

AI 重點 1

從「技術消費者」轉向「技術創造者」的範式轉移

滑鼠懸停看 AI 判斷理由
這項研究展示了 AI 代理程式如何降低技術門檻,讓原本受限於通用型工具的使用者,能根據自身獨特需求開發客製化解決方案,重新定義了無障礙科技的開發模式。
AI 重點 2

代理程式編程環境需要具備對話支架與社群共享功能

滑鼠懸停看 AI 判斷理由
理解開發者的痛點後,研究指出未來的 AI 工具不應僅是代碼生成器,更需提供引導式的對話支持與工具共享機制,才能建立一個完整的生態系統來賦能特殊需求族群。

核心研究發現

  1. 1

    五位具備技術能力的盲人使用者透過 ProgramAT 工具成功開發了超過 37 種工具,解決了現有商業技術無法滿足的特定需求。

  2. 2

    開發出的工具涵蓋了識別 Uber 車輛及解讀手勢等高度個人化的場景,展現了代理程式編程在解決特定情境需求上的潛力。

  3. 3

    研究發現開發過程中存在模型能力限制、規格衝突以及導致創作失敗的技術障礙,這些是目前使用者面臨的主要挑戰。

對教育工作者的啟發

對於開發教育科技或輔助工具的設計者而言,本研究強調了「個人化需求」與「通用型工具」之間的鴻溝。建議在設計 AI 輔助系統時,不應僅追求功能的廣度,更應著重於提供「創作能力」,讓使用者能透過自然語言與 AI 協作,針對特定情境(如特定學習環境或生活場景)進行工具迭代。此外,應考慮加入對話式引導(Conversational Scaffolding)來降低複雜任務的認知負荷,並建立工具共享機制,讓使用者間的知識與工具能形成社群化的知識建構。

原始文獻資訊

英文標題:
Bespoke Visual Assistance: What and How do Blind and Low-Vision People Create with Agentic Programming?
作者:
Ellie Seehorn, Gene S-H Kim, Aziz Zeidieh, Ather Jammoa, Kun Lee, Aditi Shah, Jaylin Herskovitz, Anhong Guo, Venkatesh Potluri
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。