整合式對話式 AI 的信念與誤解

arXiv - Human-Computer InteractionWilliam Seymour, Adam Jenkins, Mark Cote, Jose Such

研究顯示,整合於瀏覽器的對話式 AI 透過引用提升信任度,使用者仍依賴既有 LLM 與網路搜尋觀念調整提問。

AI 幫你先抓重點

AI 重點 1

引用功能能快速提升使用者對對話式 AI 回答的信任度,減少額外驗證需求。

滑鼠懸停看 AI 判斷理由
在整合式工作流程中,使用者往往將 AI 視為可信工具;若能提供可追溯的引用,能降低對 AI 產出質疑,促進更高效的資訊利用。
AI 重點 2

使用者對 LLM 生成機制的信念會直接影響其提問策略,設計者需考量此信念以優化提示設計。

滑鼠懸停看 AI 判斷理由
若使用者認為 AI 依賴網路搜尋,則更傾向於使用具體關鍵字;若認為 AI 具備內部知識,則可能採用更概括的提問。了解此差異可協助設計更符合使用者期望的交互介面。

核心研究發現

  1. 1

    參與者在 Microsoft Edge Copilot 中執行資訊檢索與規劃任務,並依賴既有對 LLM 與網路搜尋的認知來調整提問策略。

  2. 2

    研究發現,加入引用的答案顯著提升使用者對結果的信任度,且使用者在事實檢查時往往選擇與 CAI 相同的資訊來源。

  3. 3

    使用者對於 CAI 的生成機制持有多樣信念,這些信念影響其對提示語的選擇與對答案的評估。

對教育工作者的啟發

教育工作者可在課程中嵌入帶引用的對話式 AI,協助學生快速驗證資訊來源;同時設計提示範例,說明何時使用具體關鍵字或概括提問,以符合學生對 AI 生成機制的信念。此舉能提升學生的資訊素養與批判性思維,並減少對 AI 產出的盲目信任。

原始文獻資訊

英文標題:
Beliefs and Misconceptions around Integrated Conversational AI
作者:
William Seymour, Adam Jenkins, Mark Cote, Jose Such
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。