批判性參與實用主義:AI科學評估工具的科學規範與社會實用知識論

arXiv - Computers and SocietyCarole J. Lee

提出批判性參與實用主義框架,要求 AI 評估工具透明報告並接受社群批判,以確保其目的特定可靠性。

AI 幫你先抓重點

AI 重點 1

將 AI 評估工具視為社會建構的對象,需進行批判性語篇實踐。

滑鼠懸停看 AI 判斷理由
此觀點強調工具不具客觀性,改變研究者對評估結果的信任方式,促使社群共同檢視其合法性與偏差。
AI 重點 2

最佳實踐應隨新錯誤與偏差演變而更新,保持工具的時效性與可信度。

滑鼠懸停看 AI 判斷理由
持續更新可防止工具被利用於不當目的,確保評估標準與實際研究需求保持一致,提升評估的公平性。

核心研究發現

  1. 1

    AI 科學評估工具易被脫離語境使用,類似傳統影響因子可能被曲解。

  2. 2

    批判性參與實用主義主張科學社群必須審視工具的目的與目的特定可靠性。

  3. 3

    作者建議工具開發者應完整公開設計、訓練與基準測試細節,以便評估錯誤類型與偏差。

  4. 4

    最佳實踐須隨新型錯誤、偏差與遊戲化行為不斷更新,避免工具成為靜態客觀裁判。

對教育工作者的啟發

對教育工作者與課程設計者而言,本文提供了三項實務指引:一、在使用 AI 評估工具前,先檢視其公開的設計與訓練資料,確保其與教學目標相符;二、建立跨學科評審小組,定期討論工具的偏差與錯誤類型,將批判性語篇納入評估流程;三、將工具的透明報告納入課程評量標準,鼓勵學生與教師共同參與工具的改進,從而提升評量的可信度與公平性。

原始文獻資訊

英文標題:
Critically Engaged Pragmatism: Scientific Norm and Social, Pragmatist Epistemology for AI Science Evaluation Tools
作者:
Carole J. Lee
來源:
arXiv - Computers and Society
AI 摘要模型:
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。