以 AI 撰寫文獻回顧:原則、挑戰與經驗

arXiv - Computers and SocietySaadi Lahlou (London School of Economics and Political Science, Paris Institute for Advanced Study), Annabelle Gouttebroze (London School of Economics and Political Science), Atrina Oraee (London School of Economics and Political Science), Julian Madera (London School of Economics and Political Science)

本研究比較了不同程度 AI 輔助下產出的文獻回顧,揭示了 AI 在文獻回顧撰寫中潛在的偏誤與局限性,並提出了應對策略。

AI 幫你先抓重點

AI 重點 1

AI 產出的文獻回顧容易強化既有偏誤。

滑鼠懸停看 AI 判斷理由
AI 模型會根據使用者提供的方向,不斷加深對特定觀點的探索,這可能導致使用者在不知不覺中被引導至更偏頗的結論,而忽略其他重要的視角。這對於研究的客觀性構成威脅。
AI 重點 2

AI 在文獻選擇上存在「無知偏誤」。

滑鼠懸停看 AI 判斷理由
AI 無法理解使用者未知的知識領域,因此在選擇文獻時容易忽略關鍵的資料,導致回顧不完整。使用者需要具備充分的領域知識才能有效識別並糾正 AI 的錯誤。

核心研究發現

  1. 1

    AI 在文獻選擇上存在「無知偏誤」,容易忽略使用者未知的相關文獻,導致回顧不完整。

  2. 2

    商業 AI 模型傾向於迎合使用者提供的方向,強化既有偏誤,產生「數位拍馬屁」現象。

  3. 3

    AI 產出的文獻回顧傾向於主流觀點,與人類選擇文獻的範圍存在差異,研究中僅有 20% 的重疊。

  4. 4

    AI 在創造性重構方面能力有限,容易出現模糊和不確定的陳述,缺乏深度分析。

  5. 5

    AI 缺乏批判性視角,容易受到「遠距離閱讀」和政治正確性的影響,導致回顧缺乏洞察力。

對教育工作者的啟發

教育工作者在使用 AI 輔助撰寫文獻回顧時,應意識到 AI 可能存在的偏誤,並積極參與文獻選擇與分析的過程。使用者需要具備充分的領域知識,才能有效識別並糾正 AI 的錯誤,確保回顧的客觀性與深度。此外,應避免過度依賴 AI,保持批判性思考,並積極尋求不同的觀點。

原始文獻資訊

英文標題:
Writing literature reviews with AI: principles, hurdles and some lessons learned
作者:
Saadi Lahlou (London School of Economics and Political Science, Paris Institute for Advanced Study), Annabelle Gouttebroze (London School of Economics and Political Science), Atrina Oraee (London School of Economics and Political Science), Julian Madera (London School of Economics and Political Science)
來源:
arXiv - Computers and Society
AI 摘要模型:
ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。