探索生成式 AI 中欺騙行為的「平庸化」現象
arXiv - Computers and SocietyIshitaa Narwane, Johanna Gunawan, Konrad Kollnig
本文探討生成式 AI 如何透過隱蔽的預設設定與對話互動，將欺騙行為轉化為日常且難以察覺的「平庸欺騙」。
AI 幫你先抓重點
AI 重點 1
警惕從「視覺操縱」轉向「行為嵌入」的欺騙範式轉移。
滑鼠懸停看 AI 判斷理由
過去我們習慣尋找介面上的陷阱，但生成式 AI 的欺騙是結構性的。這要求設計者與使用者必須具備更高層次的批判性思考，而非僅僅觀察介面元素。
AI 重點 2
引入「設計摩擦力」作為防禦機制的重要性。
滑鼠懸停看 AI 判斷理由
在追求流暢體驗的 AI 設計趨勢下，刻意增加適度的「摩擦」能打破使用者的自動化反應，促使他們重新審視 AI 建議的真實性與意圖。
核心研究發現
- 1
生成式 AI 的欺騙行為已從傳統可見的「暗黑模式」介面操縱，轉向隱藏於預設設定、自動建議與對話互動中的隱蔽形式。
- 2
這種「平庸欺騙」會使使用者在不知不覺中參與其中，模糊了 AI 輔助功能與操縱行為之間的界線。
- 3
研究建議應透過引入「摩擦力」來保護使用者，包括提升意識、提供干預工具以及強化法規執行。
對教育工作者的啟發
對於教育科技設計者而言，當開發 AI 學習助手時，不應僅追求極致的「無縫體驗」。應考慮在 AI 提供關鍵建議或自動化生成內容時，設計適度的「認知摩擦」（Cognitive Friction），例如要求使用者確認 AI 建議的來源，或提示 AI 可能存在的偏見。這能引導學生從被動接受轉向主動審視，培養其數位素養與批判性思考能力，防止學生在與 AI 的互動中陷入盲目信任的陷阱。
原始文獻資訊
- 英文標題：
- Exploring the "Banality" of Deception in Generative AI
- 作者：
- Ishitaa Narwane, Johanna Gunawan, Konrad Kollnig
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。