SoCRATES：評估主動式大型語言模型調解能力之跨領域與社會認知基準
arXiv - Artificial IntelligenceTaewon Yun, Hyeonseong Park, Jeonghwan Choi, Hayoon Park, Yeeun Choi, Hwanjun Song
開發 SoCRATES 基準測試，用於評估 LLM 在多樣化社會認知情境下進行主動衝突調解的可靠性。
AI 幫你先抓重點
AI 重點 1
LLM 在複雜社會互動中的「社會適應性」是目前最大的技術瓶頸。
滑鼠懸停看 AI 判斷理由
研究指出模型在不同社會認知軸線下的表現差異巨大，這意味著單純提升邏輯推理能力不足以應對現實衝突，AI 必須學會處理情緒、文化與動態情境的複雜性。
AI 重點 2
評估機制必須從「逐回合評分」轉向「主題導向評分」。
滑鼠懸停看 AI 判斷理由
傳統評估容易受到無關對話的噪音干擾，透過主題局部評估器能更精準地衡量調解行為是否真正推進了議題解決，這對開發高品質的 AI 輔助教學或衝突解決系統至關重要。
核心研究發現
- 1
SoCRATES 構建了涵蓋八個領域的真實衝突情境，並探討策略姿態、參與者組成、歷史長度、情緒反應性及文化認同五大維度。
- 2
開發的「主題局部評估器」與人類專家的評分一致性達 0.82，顯著優於傳統的逐回合評分基準。
- 3
測試顯示最強的 LLM 調解者僅能縮減約三分之一的未調解共識差距，且表現隨社會認知維度的變化而劇烈波動。
對教育工作者的啟發
對於開發教育衝突管理工具或小組討論輔助系統的設計者而言，此研究提醒我們：AI 輔助者不應僅具備邏輯推理能力，更需具備「社會適應性」。在設計 AI 助教或討論引導者時，應特別考慮學生情緒反應、文化背景差異及討論歷史脈絡。此外，評估 AI 輔助教學效果時，應著重於其是否能有效引導學生達成特定學習目標（主題導向），而非僅僅計算對話的長度或頻率，以避免無效對話的干擾。
原始文獻資訊
- 英文標題：
- SoCRATES: Towards Reliable Automated Evaluation of Proactive LLM Mediation across Domains and Socio-cognitive Variations
- 作者：
- Taewon Yun, Hyeonseong Park, Jeonghwan Choi, Hayoon Park, Yeeun Choi, Hwanjun Song
- 來源：
- arXiv - Artificial Intelligence
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。