LLM 會問對問題嗎？評估 GPT 生成問卷作為社會態度測量工具之效能
arXiv - Computers and SocietyTina Behzad, Wenbo Li, Reuben Kline, Klaus Mueller
研究證實 GPT 生成的問卷能捕捉與人類設計相似的社會態度分歧，適合用於大規模探索性分析。
AI 幫你先抓重點
AI 重點 1
LLM 可作為專家設計問卷的強大補充工具
滑鼠懸停看 AI 判斷理由
這改變了傳統社會科學研究高度依賴人工設計問卷的成本結構，研究者可以利用 AI 進行大規模的初步探索，再由專家進行精確校準，大幅提升研究效率。
AI 重點 2
需警惕 AI 在細微信念結構解析上的侷限性
滑鼠懸停看 AI 判斷理由
雖然 AI 能抓大方向，但在處理複雜、細微的心理或社會結構時可能缺乏深度，這提醒研究者在應用 AI 自動化工具時，必須保留人工審核與驗證的步驟。
核心研究發現
- 1
GPT 生成的問卷在氣候變遷、移民及 DEI 三個領域中，能捕捉到與人類設計工具相同的核心態度分歧。
- 2
在信念結構的解析度與群體區隔的精細度上，GPT 生成的問卷與人類設計的標準工具仍存在差異。
- 3
研究顯示 LLM 生成的問卷在回應分佈與自我認同立場的對齊上，展現出與既有工具相當的潛力。
對教育工作者的啟發
對於教育研究者或課程設計者而言，這項研究提供了利用 AI 進行大規模學習者態度調查的新路徑。在設計關於學生價值觀、社會參與或學習動機的問卷時，可以先利用 LLM 快速生成多個維度的初步題目，進行初步的探索性分析。然而，在正式用於評估學習成效或進行關鍵決策時，仍應將 AI 生成的題目視為「草案」，並結合既有的學術理論框架進行人工修正，以確保在細微的認知結構與行為意向測量上具備足夠的精確度與效度。
原始文獻資訊
- 英文標題：
- Do LLMs Ask the Right Questions? Evaluating GPT-Generated Surveys as Instruments for Measuring Social Attitudes
- 作者：
- Tina Behzad, Wenbo Li, Reuben Kline, Klaus Mueller
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。