信任或不信任：作者對 AI 輔助審稿意見之反應研究
arXiv - Computers and SocietyC\'esar Leblanc, Lukas Picek
本研究探討作者對 AI 輔助同儕審稿的感知，發現 AI 能提供額外價值但信任度仍低於人類審稿。
AI 幫你先抓重點
AI 重點 1
AI 在學術評估中應定位為「輔助工具」而非「替代者」
滑鼠懸停看 AI 判斷理由
研究顯示作者雖然認可 AI 的價值，但仍傾向於信任人類的判斷。這提醒我們在開發教育評估技術時，應強調人機協作（Human-in-the-loop），將 AI 定位為提供多維度視角的助手，而非取代專業判斷的最終權威。
AI 重點 2
透明度與自主權是提升 AI 工具接受度的關鍵因素
滑鼠懸停看 AI 判斷理由
數據顯示，當 AI 被框架為「受監督」或「作者可控」的工具時，支持度最高。這對於設計學習科技產品具有啟發性：讓使用者擁有知情權與控制權，能有效降低對 AI 錯誤或誤導資訊的抵觸感。
核心研究發現
- 1
大多數作者（83.9%）認為 AI 審稿有用，且 80.4% 的人表示 AI 發現了人類審稿者未提及的問題。
- 2
AI 審稿的實質價值轉化為行動，有 82.1% 的作者在最終版本中採納了部分 AI 提供的回饋建議。
- 3
作者對 AI 的信任度普遍低於人類審稿者，認為人類回饋更清晰，且有 16.1% 的人遇到錯誤或誤導性評論。
- 4
作者對 AI 的接受度取決於控制權，96.4% 的人支持將 AI 作為投稿前的內部審查工具，而非直接用於正式審稿。
對教育工作者的啟發
對於教育科技開發者與學術評估者，本研究提供兩大啟發：首先，在設計 AI 評估系統時，應著重於「發現盲點」的能力（如提供人類可能忽略的細節），而非試圖完全模擬人類的語氣或權威感。其次，應建立明確的透明機制，例如在應用 AI 評估前需取得使用者同意，並明確告知 AI 的角色。在教學設計中，亦可將此概念應用於自主學習（SRL），鼓勵學生將 AI 作為「預審工具」進行自我檢視，而非直接依賴 AI 給予答案，藉此提升學習者的元認知能力與批判性思考。
原始文獻資訊
- 英文標題：
- To Trust or Not to Trust: Authors' Response to AI-based Reviews
- 作者：
- C\'esar Leblanc, Lukas Picek
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。