利用大型語言模型複製人類動機性推理研究
arXiv - Human-Computer InteractionNeeley Pate, Adiba Mahbub Proma, Hangfeng He, James N. Druckman, Daniel C. Molden, Gourab Ghoshal, Ehsan Hoque
研究發現基礎大型語言模型在政治動機性推理行為上與人類表現不一致，無法有效模擬人類的偏見過程。
AI 幫你先抓重點
AI 重點 1
警惕將 LLM 直接視為人類心理或社會行為模擬器的傾向
滑鼠懸停看 AI 判斷理由
這項發現提醒研究者，雖然 LLM 在語言處理上極其強大，但在模擬人類複雜的認知偏誤（如動機性推理）時存在缺陷。若研究者試圖利用 LLM 來模擬社會觀點或進行論證評估，必須謹慎看待其結果的有效性。
AI 重點 2
區分模型行為的「一致性」與「真實性」
滑鼠懸停看 AI 判斷理由
模型之間雖然在某些行為（如拒絕回答）上表現一致，但這種一致性並不代表它們成功模擬了人類的心理機制。理解這種差異有助於研究者在設計 AI 輔助教學或社會科學模擬實驗時，建立更精確的模型評估標準。
核心研究發現
- 1
透過複製四項先前的政治動機性推理研究，結果顯示基礎大型語言模型的行為模式與預期的真人行為並不吻合。
- 2
不同模型在行為上展現出某些相似性，例如在面對問題時會選擇放棄回答，或是在形成觀點時會納入提供的論點。
- 3
研究結果顯示基礎大型語言模型可能無法真實模擬人類在處理資訊時，為了達成預期結論而進行動機性推理的心理過程。
對教育工作者的啟發
對於開發教育科技工具的研究者而言，若計畫利用 LLM 來模擬學生的辯論行為、觀點形成過程或進行社會科學議題的模擬教學，應意識到模型可能無法真實反映人類的認知偏誤。建議在設計相關教學情境或評估系統時，不要預設 AI 能完美複製人類的心理特徵，而應針對模型在處理偏見與論證時的特殊行為模式（如傾向於納入所有提供資訊）進行校準與限制，以確保教學模擬的準確性。
原始文獻資訊
- 英文標題：
- Replicating Human Motivated Reasoning Studies with LLMs
- 作者：
- Neeley Pate, Adiba Mahbub Proma, Hangfeng He, James N. Druckman, Daniel C. Molden, Gourab Ghoshal, Ehsan Hoque
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。