SketchXplain:以草圖直觀說明影像分類器

arXiv - Human-Computer InteractionWencan Zhang, Mario Michelessa, Xuejun Zhao, Brian Y. Lim

SketchXplain 透過草圖生成直觀、簡潔且符合用戶知識的影像分類器解釋,顯著提升解釋速度與準確度。

AI 幫你先抓重點

AI 重點 1

草圖解釋能以使用者熟悉的視覺語言橋接 AI 解釋與人類直覺之間的鴻溝。

滑鼠懸停看 AI 判斷理由
草圖以簡單符號與抽象形狀呈現,降低認知負荷,讓使用者能快速捕捉關鍵資訊,進而提升決策效率與信任度。
AI 重點 2

將 saliency、概念瓶頸與草圖優化結合,可產生既準確又易於理解的解釋圖像。

滑鼠懸停看 AI 判斷理由
此結合方法確保解釋不僅反映模型內部機制,亦符合使用者知識結構,避免過度複雜或模糊的視覺提示,從而加速解釋流程。

核心研究發現

  1. 1

    在臉部表情辨識實驗中,SketchXplain 的草圖解釋比傳統 saliency map 更快且更符合使用者直覺。

  2. 2

    在皮膚病變診斷案例中,SketchXplain 能更清晰地呈現疾病症狀,協助非專業使用者進行初步診斷。

  3. 3

    系統結合 saliency、概念瓶頸模型與草圖優化,能自動選取關鍵觀察物件並以抽象方式呈現。

對教育工作者的啟發

教育科技開發者可將 SketchXplain 的草圖解釋嵌入教學平台,讓學生在學習 AI 影像辨識時,透過直觀圖形快速理解模型決策。此方法亦適用於醫療教育,協助學生掌握病徵辨識流程。實務上,開發者可先選擇關鍵概念,利用 SketchXplain 生成草圖,並在課程中加入互動式解釋練習,提升學習者的 SRL 能力與對 AI 系統的信任。

原始文獻資訊

英文標題:
SketchXplain: Intuitive Visual Explanations of Image Classifiers with Sketches
作者:
Wencan Zhang, Mario Michelessa, Xuejun Zhao, Brian Y. Lim
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。