AI 創意發想中，科學判斷的時序漂移
arXiv - Human-Computer InteractionLingyu Zhang, Mitchell Wang, Boyuan Chen
本研究揭示科學家對研究構想的評估並非固定不變，而是會隨著時間產生漂移，這對利用 AI 協助科學發想的系統設計具有重要影響。
AI 幫你先抓重點
AI 重點 1
人類評估的時序漂移影響 AI 系統的效能。
滑鼠懸停看 AI 判斷理由
AI 在科學發想中扮演的角色日益重要，但若忽略人類評估主觀性的變化，AI 系統的訓練和調整將無法產生持久的效果，甚至可能導致錯誤的結論。這對於開發更可靠的 AI 科學助手至關重要。
AI 重點 2
評估標準的內部結構具有穩定性。
滑鼠懸停看 AI 判斷理由
即使整體評估會漂移，科學家在評估時所重視的各個標準（如原創性、可行性）的相對重要性保持不變。這意味著 AI 可以透過學習這些穩定的內部結構，來更好地理解和模擬人類的科學判斷。
核心研究發現
- 1
科學家對相同研究構想的評估具有顯著的變異性，測試-再測信度僅為中等水平（ICC~0.59-0.74），表明同一人對同一想法的判斷會隨時間改變。
- 2
儘管整體評估不穩定，但科學家在評估研究構想時所使用的內部標準（如原創性、可行性、清晰度等）保持相對穩定。
- 3
將 AI 創意發想系統調整至第一波的人類評估後，系統的表現看似有所提升，但這種提升在考慮到人類判斷的漂移後便消失了。
- 4
僅僅根據固定的、某一時間點的人類評估來調整 AI 系統，產生的改善是短暫的，而非持久的。
- 5
人類對科學構想的評估是一個動態過程，具有穩定的優先順位，這意味著在設計 AI 輔助科學發想系統時，需要考慮到評估主觀性的時序變化。
對教育工作者的啟發
在利用 AI 協助科學發想時，不應將人類評估視為固定不變的標準。系統設計者應考慮到評估主觀性的時序變化，並建立動態的評估模型。此外，AI 系統可以學習人類評估的內部結構，例如不同標準的相對重要性，以更好地模擬人類的科學判斷。這有助於開發更可靠、更有效的 AI 科學助手，並避免因人類判斷漂移而產生的錯誤。
原始文獻資訊
- 英文標題：
- Scientific judgment drifts over time in AI ideation
- 作者：
- Lingyu Zhang, Mitchell Wang, Boyuan Chen
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。