標籤高於邏輯？來源提示如何偏差人類錯誤判斷，LLM 影響較小
arXiv - Human-Computer InteractionMahjabin Nahar, Nafis Irtiza Tripto, Aiping Xiong, Ting-Hao `Kenneth' Huang, Dongwon Lee
研究發現，來源標籤對人類判斷邏輯謬誤影響大於LLM，顯示人類易受標籤偏差影響，LLM較為中立。
AI 幫你先抓重點
AI 重點 1
LLM的評估不受來源標籤影響，提示其可作為客觀評估工具。
滑鼠懸停看 AI 判斷理由
因LLM在不同標籤下表現穩定，顯示其對內容本身的重視，可減少人類偏差，對教育評估提供更可靠參考。
AI 重點 2
人類對來源標籤的高度敏感性提醒設計者在AI輔助環境中需透明標籤，避免誤導。
滑鼠懸停看 AI 判斷理由
若標籤誤導人類評估，可能影響學習成效與決策，透明化可降低偏差，提升協作品質。
核心研究發現
- 1
人類評估者在標籤為人類或人類+AI協助時，對邏輯謬誤更易忽視，並給予更高信任與評價。
- 2
LLM在不同來源標籤下評估穩定，但各模型表現仍有差異。
- 3
人類與LLM在所有條件下自信度均高，無論是否存在謬誤。
對教育工作者的啟發
教育工作者在設計AI輔助評估工具時，應先檢視來源標籤對評估者信任度的影響，並採用透明或中性標籤以降低偏差；同時，可利用LLM作為第二評估者，提供客觀參考，提升評估準確度。對於課程設計者，建議在學習活動中加入來源辨識訓練，讓學習者能辨別內容來源，減少因標籤而產生的錯誤推論；此外，教師可透過實驗設計，觀察學生在不同標籤條件下的判斷差異，進一步調整教學策略。
原始文獻資訊
- 英文標題：
- Label Over Logic? How Source Cues Bias Human Fallacy Judgments More Than LLMs
- 作者：
- Mahjabin Nahar, Nafis Irtiza Tripto, Aiping Xiong, Ting-Hao `Kenneth' Huang, Dongwon Lee
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。