aiedtechassessmentlearning designhigher education

模擬看似正確但因果效應失真：LLM 行為模擬器

arXiv - Computers and SocietyZonghan Li, Feng Ji

LLM 能準確模擬態度變化，但對因果效應預測失準，易誤導公平性評估

AI 幫你先抓重點

AI 重點 1

LLM 的描述性準確性不等於因果可信度，使用者需警惕因果推斷失真。

滑鼠懸停看 AI 判斷理由
此洞察提醒研究者，僅以描述性吻合度評估模擬結果會產生誤導，可能影響政策決策與公平性判斷，因而需加入因果驗證步驟。
AI 重點 2

LLM 在模擬內在體驗型介入時誤差最大，提示需針對不同介入邏輯調整模型或驗證策略。

滑鼠懸停看 AI 判斷理由
此觀點說明介入邏輯對 LLM 性能影響顯著，實務者可依此設計更精細的提示或結合實驗數據，以降低因果誤差。

核心研究發現

  1. 1

    LLM 能準確再現 59,508 名參與者的態度結果模式，且提示優化可提升描述性吻合度。

  2. 2

    描述性吻合度未能轉化為準確的因果效應估計，對於激發內在體驗的介入，LLM 的誤差更大，較直接傳遞理由或社會暗示的介入則較小。

  3. 3

    在行為結果上，LLM 強化了態度-行為耦合，造成顯著因果誤差；即使某些國家或族群在描述上表現良好，因果誤差仍可能高。

對教育工作者的啟發

在使用 LLM 進行行為模擬前，先驗證其因果效應估計；對於內在體驗型介入，結合實驗或人類數據校正；避免僅以描述性吻合度評估公平性；設計多樣化提示以減少態度-行為耦合偏差；將模擬結果作為假設生成工具，而非最終決策依據。

原始文獻資訊

英文標題：
When simulations look right but causal effects go wrong: Large language models as behavioral simulators
作者：
Zonghan Li, Feng Ji
來源：
arXiv - Computers and Society
AI 摘要模型：
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。