不透明的知識中介：LLM 部署配置如何影響偽科學的驗證
arXiv - Computers and SocietyDavide Scarso, Hugo Noronha de Almeida, Joaquim Pina
研究發現大型語言模型的知識立場並非穩定屬性，而是受部署配置、系統提示與隱形更新影響的變動結果。
AI 幫你先抓重點
AI 重點 1
模型能力不等於模型表現，部署配置才是關鍵
滑鼠懸停看 AI 判斷理由
這挑戰了「模型能力是固定參數」的傳統認知。讀者必須理解，使用者看到的輸出不僅取決於模型權重，更受到系統提示、安全層與介面路由的強烈干預，這對於評估 AI 的可靠性至關重要。
AI 重點 2
AI 知識檢驗的「黑箱化」與不透明性風險
滑鼠懸停看 AI 判斷理由
當商業模型透過隱形更新改變其對科學事實的立場時，研究者與使用者將失去對知識來源的控制權。這提醒我們在將 AI 作為知識參考時，必須具備高度的批判性思維與審慎態度。
核心研究發現
- 1
Grok 的 Fast 版本在評估民族主義偽科學時，給予的信賴分數（70-75）遠高於其他模型（15-40），但在基礎科學共識測試中表現則與他者無異。
- 2
研究觀察到 Grok 曾發生無公開說明的「靜默修補」，使其對偽科學的驗證行為從混亂轉變為穩定的高分驗證。
- 3
同一模型識別碼在 API 與 Web 介面之間表現出極大的差異，例如 Grok 在 API 評分為 75，但在 Web 介面僅為 5.5。
- 4
雖然部分模型（如 Claude）能拒絕對偽科學進行評分，但這種防禦性反應在模型的後續版本中逐漸消失。
對教育工作者的啟發
對於教育工作者而言，此研究敲響了警鐘：不能將 AI 視為單一、穩定的知識來源。在設計 AI 輔助學習課程時，應將「AI 偏誤與不透明性」納入資訊素養（Information Literacy）的教學內容。建議教師引導學生進行「交叉驗證」，比較同一模型在不同介面（如 API 與 Chatbot）下的輸出差異，並教導學生理解 AI 的回答可能受到背後隱形配置（如系統提示詞）的影響，從而培養學生的批判性思考與數位素養。
原始文獻資訊
- 英文標題：
- Opaque Epistemic Mediation: How LLM Deployment Configurations Shape the Validation of Pseudo-Science
- 作者：
- Davide Scarso, Hugo Noronha de Almeida, Joaquim Pina
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。