看似合理實則無效：大型語言模型作為合成問卷受訪者的心理計量審計
arXiv - Computers and SocietyMantas Lukauskas, Viktorija \v{S}arkauskait\.e
研究證實 LLM 生成的合成問卷數據雖具合理性，但在心理計量結構與統計效度上無法取代真實人類數據。
AI 幫你先抓重點
AI 重點 1
區分「表面合理性」與「統計有效性」的關鍵差異
滑鼠懸停看 AI 判斷理由
這項洞察挑戰了目前 AI 應用的一個盲點：僅僅讓 AI 回答「看起來像人」是不夠的。在教育與心理研究中，數據的結構關係（如相關性、中介效應）比單一回答的合理性更重要，這提醒研究者在使用 AI 模擬數據時必須進行嚴謹的統計驗證。
AI 重點 2
警惕合成數據導致的科學偏誤與預測失效
滑鼠懸停看 AI 判斷理由
當研究者使用 LLM 生成的數據進行模型訓練時，可能會引入系統性的偏誤（如順從偏誤），導致研究結論在應用於真實人類時完全失效。這對於依賴數據驅動決策的教育科技開發者來說是極大的風險警告。
核心研究發現
- 1
LLM 生成的數據在心理計量相似度（PSS）上表現不如高斯共變異數（Gaussian-copula）基準模型，且 LLM 群體間的相似度高於其與人類的相似度。
- 2
模型存在嚴重的順從偏誤（Acquiescence shift），且使用合成數據訓練的迴歸模型在預測真實人類行為時，其 R² 值會出現顯著下降。
- 3
LLM 會虛構中介效應，在 10 個安慰劑中介路徑中有 3 個出現了不存在的間接效應，顯示其無法準確模擬複雜的人類心理機制。
- 4
研究發現 LLM 的反應受教育程度影響極大，但受性別與角色變動的影響相對較小，顯示其人口統計模擬存在偏差。
對教育工作者的啟發
對於開發教育評估工具或進行學習科學研究的從業者，應避免直接將 LLM 生成的問卷數據視為真實受訪者的替代品。若需使用 AI 進行模擬，必須建立嚴格的心理計量審計流程，特別是針對「順從偏誤」與「統計結構一致性」進行檢驗。在開發自動化評量系統時，應優先驗證 AI 是否能準確反映學習者特徵與心理變項間的複雜關係，而非僅僅追求回答的流暢度。
原始文獻資訊
- 英文標題：
- Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents
- 作者：
- Mantas Lukauskas, Viktorija \v{S}arkauskait\.e
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。