aiedtechaccessibilitystemhci

STEM 領域圖像描述技術之系統性綜述

arXiv - Human-Computer InteractionMarco Cardia, Letizia Angileri, Marina Buzzi, Giulio Galesi, Barbara Leporini

本文系統性回顧了 AI 在 STEM 視覺圖像描述技術的現狀，指出從靜態文字轉向互動式多模態系統的趨勢與挑戰。

AI 幫你先抓重點

AI 重點 1

從「單向描述」轉向「互動式對話」是提升無障礙學習體驗的關鍵。

滑鼠懸停看 AI 判斷理由
傳統的靜態描述無法應對 STEM 圖像的複雜性。透過對話式介面，使用者可以針對特定細節進行追問，這種主動探索的模式更符合學習科學中對於知識建構的需求。
AI 重點 2

必須建立以「無障礙優先」為核心的數據集與評估標準。

滑鼠懸停看 AI 判斷理由
目前的 AI 模型多基於通用數據訓練，忽略了視障學習者的特殊需求。若不改變評估維度，從自動化指標轉向以「使用者信任與有用性」為核心，技術才能真正落實於教育實務。

核心研究發現

  1. 1

    研究發現技術趨勢正從單純的靜態替代文字（alt text），轉向整合對話式介面、鍵盤導航及音訊或觸覺回饋的互動式多模態系統。

  2. 2

    目前 AI 生成描述仍面臨嚴重的技術瓶頸，包括事實錯誤、幻覺現象，以及缺乏與視障使用者共同設計的無障礙優先數據集。

  3. 3

    現有的評估指標過度依賴自動文本重疊度（text-overlap metrics），無法有效衡量使用者感知的實用性與對系統的信任度。

對教育工作者的啟發

對於教育科技開發者與課程設計者而言，開發 STEM 教材時不應僅依賴自動生成的文字描述。建議在設計數位學習環境時，應整合具備「可控資訊量（verbosity）」與「可解釋性」的 AI 工具，讓視障學生能透過對話式介面主動探索複雜圖表。此外，在評估教學工具的無障礙成效時，應加入視障使用者的主觀體驗評估，而非僅依賴機器自動生成的文本相似度指標，以確保技術能真正支持公平的學習機會。

原始文獻資訊

英文標題：
A Systematic Survey on Image Description Techniques for STEM Domains
作者：
Marco Cardia, Letizia Angileri, Marina Buzzi, Giulio Galesi, Barbara Leporini
來源：
arXiv - Human-Computer Interaction
AI 摘要模型：
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。