為何我們信任聊天機器人？從規範原則到行為驅動
arXiv - Computers and SocietyAditya Gulati, Nuria Oliver
本文探討使用者對聊天機器人的信任並非基於其可靠性，而是受到互動設計和認知偏誤的影響，並建議重新將聊天機器人視為具有銷售目標的工具。
AI 幫你先抓重點
AI 重點 1
使用者對聊天機器人的信任並非源於其可靠性，而是互動設計和認知偏誤所塑造，這顛覆了傳統信任的建立模式。
滑鼠懸停看 AI 判斷理由
此發現挑戰了我們對 AI 信任的假設，對於教育科技研究者而言至關重要。它暗示了在教育情境中，學習者可能因為設計而產生不恰當的信任，進而影響其學習行為和判斷。了解此機制有助於設計者避免潛在的負面影響，並促進更負責任的 AI 應用。
AI 重點 2
研究建議將聊天機器人視為具有銷售目標的工具，而非中立的助手或伴侶，這改變了我們理解其動機的方式。
滑鼠懸停看 AI 判斷理由
這個框架對於教育工作者和設計者來說，具有重要的實務意義。它提醒我們，聊天機器人在教育環境中並非完全以學習者的利益為出發點，而是可能受到部署機構目標的影響。這促使我們更謹慎地評估其在教育中的角色，並強調批判性思維的培養。
核心研究發現
- 1
使用者對聊天機器人的信任往往源於行為機制，而非機器人實際展現的可靠性。
- 2
互動設計的選擇，例如利用認知偏誤，能夠影響使用者對聊天機器人的信任程度。
- 3
將聊天機器人視為具有銷售目標的工具，有助於理解其背後的動機與目的。
- 4
目前「信任」一詞同時涵蓋心理信任的形成與規範上的可靠性，造成理解上的混淆。
- 5
需要更深入的研究和支持機制，以協助使用者恰當地評估對話式 AI 系統的信任度。
對教育工作者的啟發
教育工作者應意識到聊天機器人可能利用認知偏誤影響學習者，並在課程設計中納入批判性思維的訓練，幫助學習者辨別資訊的真實性與可靠性。此外，在教育情境中應用聊天機器人時，應明確其目的，避免過度信任，並將其視為輔助工具而非替代方案。同時，教育科技的設計者應注重透明度，讓使用者了解機器人背後的演算法與目標。
原始文獻資訊
- 英文標題：
- Why do we Trust Chatbots? From Normative Principles to Behavioral Drivers
- 作者：
- Aditya Gulati, Nuria Oliver
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。