自適應情感字幕：支援聾啞及神經多樣化 STEM 學習者
arXiv - Human-Computer InteractionSunday David Ubur, Eugenia Ha Rim Rho, Denis Gracanin
將情感與多模態線索嵌入即時字幕，降低 DHH 與 ADHD 學習者的認知負荷並提升 STEM 理解。
AI 幫你先抓重點
AI 重點 1
情感與多模態字幕能降低認知負荷並提升 STEM 理解
滑鼠懸停看 AI 判斷理由
此功能直接解決 DHH 與 ADHD 學習者在 STEM 內容中因缺乏非語言線索而產生的理解障礙，顯示其在可及性與學習成效上的核心價值。
AI 重點 2
可自訂化字幕功能對 ADHD 學習者至關重要
滑鼠懸停看 AI 判斷理由
ADHD 學習者對表情符號的敏感度不同，自訂化可減少分心，促進自我調節，提升學習體驗。
AI 重點 3
不同情感線索組合需個別化調整
滑鼠懸停看 AI 判斷理由
研究表明各線索對不同學習者的影響差異，提示設計者必須根據個體需求調整字幕內容，以達最佳效果。
核心研究發現
- 1
在 STEM 內容中加入面部表情、身體動作、關鍵字高亮與表情符號的字幕原型，能顯著降低 DHH 與 ADHD 學習者的自報認知負荷。
- 2
實驗顯示，帶有情感線索的字幕在理解測驗中得分高於傳統純文字字幕。
- 3
使用者回饋指出，字幕可自訂化（如表情符號的頻率與顏色）對於 ADHD 學習者尤為重要。
- 4
不同情感線索的組合對不同學習者有差異化效果，提示需針對個別需求調整字幕設計。
- 5
研究證實，情感與多模態字幕不僅提升學習成效，亦能減輕 STEM 課程的認知負擔。
對教育工作者的啟發
為提升 STEM 課程的可及性，建議在即時字幕中加入面部表情、身體動作、關鍵字高亮與表情符號，並提供自訂化選項（如調整表情符號頻率、顏色或關鍵字顯示方式）。實務上可先針對 ADHD 學習者測試不同情感線索組合，觀察其對認知負荷與理解成效的影響，進而調整字幕設計。此方法不僅能降低學習者的焦慮與分心，還能促進自我調節與元認知策略的運用，對於需要即時支援的 STEM 內容尤為有效。
原始文獻資訊
- 英文標題：
- Adaptive Captioning with Emotional Cues: Supporting DHH and Neurodivergent Learners in STEM
- 作者：
- Sunday David Ubur, Eugenia Ha Rim Rho, Denis Gracanin
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。