PhysDox：評估大型語言模型在生理感測協定物理可行性審核之基準測試
arXiv - Human-Computer InteractionHe Liu, Boyuan Gu, Shuaiqi Cheng, Haiyang Sun, Siyu You, Xuming Hu
本文提出 PhysDox 基準測試，揭示現有 LLM 在審核生理實驗協定時，難以區分程序完整性與物理可行性之缺陷。
AI 幫你先抓重點
AI 重點 1
區分「程序完整性」與「物理有效性」的關鍵差異
滑鼠懸停看 AI 判斷理由
這點對於開發 AI 輔助實驗設計工具至關重要。如果 AI 僅僅因為實驗步驟寫得很流暢、格式很標準就判定其正確，將會引導研究者進入物理上無法執行的錯誤實驗路徑，造成資源浪費。
AI 重點 2
從事實檢索轉向物理推理能力的必要性
滑鼠懸停看 AI 判斷理由
研究證明僅靠增加推理長度或事實記憶無法解決問題。這提醒開發者，未來的教育或科研 AI 必須具備真正的物理建模與因果推理能力，而非僅僅是語言模式的模仿。
核心研究發現
- 1
研究發現 6 種 LLM 在生理協定嚴重程度檢測的最高 macro-F1 分數僅為 53.0，顯示模型在判斷物理可行性方面表現欠佳。
- 2
模型存在「支架偏差」（scaffold bias），容易將實驗步驟的完整性誤認為物理上的有效性，導致判斷失準。
- 3
隱含約束（implicit constraints）的錯誤率比顯性硬體違規高出兩倍，顯示模型對非直接描述的物理限制理解不足。
- 4
錯誤分析顯示，偽陰性的成因在於注意力機制失敗（54%）與判斷邏輯錯誤（46%）的對半分布。
對教育工作者的啟發
對於教育工作者與實驗設計者，此研究提供了一個重要的警示：在利用 AI 輔助設計科學實驗或撰寫實驗協定時，絕不能僅依賴 AI 生成內容的「流暢度」或「格式完整性」來判斷其正確性。建議在教學中引入「物理可行性審核」的批判性思考訓練，教導學生如何識別隱含的物理約束（如感測器極限、生理反應時間等），並將 AI 視為初步草案生成工具，而非最終的科學驗證工具。
原始文獻資訊
- 英文標題：
- PhysDox: Benchmarking LLMs on Physical Feasibility Auditing of Physiological Sensing Protocols
- 作者：
- He Liu, Boyuan Gu, Shuaiqi Cheng, Haiyang Sun, Siyu You, Xuming Hu
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。