LLM如何解讀圖表？人類與LLM在高階視覺化理解的比較研究
arXiv - Human-Computer InteractionHyotaek Jeon, Hyunwook Lee, Minjeong Shin, Tapendra Pandey, Joohee Kim, Shinwook Seon, Daeun Jeong, Sungahn Ko, Ghulam Jilani Quadri
研究發現LLM在解讀圖表時偏好結構化列舉，而人類則傾向於趨勢敘事，顯示兩者理解機制不同。
AI 幫你先抓重點
AI 重點 1
LLM偏好結構化列舉，設計者須考慮機器可讀性。
滑鼠懸停看 AI 判斷理由
此洞察指出，若視覺化僅以人類直覺為導向，LLM可能無法正確提取資訊；因此在教育科技中加入可被LLM直接解析的結構化提示，可提升自動化解讀與互動。
AI 重點 2
人類趨勢敘事與LLM列舉差異揭示人機協同解讀潛力。
滑鼠懸停看 AI 判斷理由
了解兩者差異可促進設計出同時適合人類與LLM的圖表，進而實現更完整的知識建構與評量。
核心研究發現
- 1
LLM在三種圖表中，無論提示如何，始終採用結構化列舉比較與數值範圍的方式解讀。
- 2
人類觀察者則傾向於將資料綜合成趨勢導向的敘事，強調變化方向與關聯。
- 3
LLM的理解機制與人類直覺迥異，顯示設計者需針對機器可讀性與人類可解釋性並重。
對教育工作者的啟發
為提升圖表在教育科技中的效能，設計者應先測試LLM對圖表的解讀方式，調整圖表結構以符合LLM的結構化列舉偏好；同時加入趨勢敘事元素，讓人類觀察者能快速把握關鍵訊息。建議在課程設計中使用可被LLM解析的圖表，並配合人類導師的敘事說明，實現人機協同的知識建構與評量。此策略可減少學生在解讀圖表時的認知負擔，並促進自動化評量與即時回饋。
原始文獻資訊
- 英文標題：
- How Do LLMs See Charts? A Comparative Study on High-Level Visualization Comprehension in Humans and LLMs
- 作者：
- Hyotaek Jeon, Hyunwook Lee, Minjeong Shin, Tapendra Pandey, Joohee Kim, Shinwook Seon, Daeun Jeong, Sungahn Ko, Ghulam Jilani Quadri
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。