多模態大型語言模型作為影片研究合成參與者的評估
arXiv - Computers and SocietyPrabal Shrestha, Bohan Jiang, Haoning Xue, Huan Liu, Xinyi Zhou
評估多模態大型語言模型在影片感知參與度評估中的表現，發現其與人類參與者的評分差距顯著且偏差明顯。
AI 幫你先抓重點
AI 重點 1
MLLMs難以準確模擬人類主觀感受，提示設計需更精細化。
滑鼠懸停看 AI 判斷理由
此發現揭示了使用MLLM作為合成參與者時的可靠性限制，提醒研究者在自動化影片評估時必須加入人類驗證或混合方法，以避免因模型偏差導致結論失真。
AI 重點 2
提示策略對評分分布影響不一致，需針對特定評量指標調整。
滑鼠懸停看 AI 判斷理由
了解提示對不同感官參與度指標的正負效應，可協助設計更精準的提示模板，提升模型在特定評量維度的表現，進而提高研究效度。
核心研究發現
- 1
即使是領先的多模態大型語言模型（Gemini 3 Flash、Qwen 3 Omni），在短影片感官參與度評估中與人類參與者的評分一致性仍有限。
- 2
模型的評分分布呈現向下平均值偏移與中心趨勢偏差，導致整體評分普遍低於人類參與者。
- 3
模型既引入又削弱了不同子群體之間的差異，且對參與者個人特徵的敏感度不一致。
- 4
不同的提示策略對評分指標的影響不一，某些策略可輕微提升部分指標，但同時可能惡化其他指標。
對教育工作者的啟發
對於教育工作者與課程設計者而言，本文提示在利用多模態大型語言模型進行影片評估時，應先進行小規模人類驗證，確保模型評分與實際觀眾感受相符；同時，提示語的設計需針對評量指標進行微調，避免模型產生平均值偏移或中心趨勢偏差；若需大量自動化評估，可採用混合方法，將模型初步評分與少量人類評分結合，進一步校正偏差，提升評估的可靠性與效度。
原始文獻資訊
- 英文標題：
- Multimodal Large Language Models as Synthetic Participants in Video-Based Studies: An Evaluation
- 作者：
- Prabal Shrestha, Bohan Jiang, Haoning Xue, Huan Liu, Xinyi Zhou
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。