人格辨識中基於 LLM 裁判的理論無關自適應度量對齊框架
arXiv - Human-Computer InteractionJing Jie Tan, Ban-Hoe Kwan, Danny Wee-Kiat Ng, Yan-Chai Hum, Shih-Yu Lo, Po-An Chen, Noriyuki Kawarazaki, Kosuke Takano, Anissa Mokraoui
提出 JAM 框架，利用 LLM 作為裁判，在不依賴特定心理學理論標籤的情況下，實現通用的心理特質辨識。
AI 幫你先抓重點
AI 重點 1
從「理論依賴」轉向「理論無關」的學習範式轉變。
滑鼠懸停看 AI 判斷理由
傳統模型受限於既有的心理學分類，難以應對不同理論間的不一致性；此研究證明了透過發現潛在結構，模型能獲得更強的泛化能力，這對於處理複雜且多變的人類行為數據具有啟發性。
AI 重點 2
將大型語言模型（LLM）整合進學習迴圈作為品質裁判。
滑鼠懸停看 AI 判斷理由
這不僅是使用 LLM 生成內容，而是將其作為一種「元認知」工具來識別數據中的模糊性，這種「人在迴圈」與「AI 在迴圈」的結合，為提升自動化評估系統的魯棒性提供了新路徑。
核心研究發現
- 1
JAM 框架透過注意力池化圖原型網絡（Attention-Pooled Graph Prototypical Network），在嵌入空間中透過聚類學習統一的潛在心理特質表示。
- 2
引入跨理論協調（CTH）方法，結合人類引導連結與機器誘導共識，成功整合了異質性數據集且無需預定義標籤。
- 3
實驗證實 JAM 能顯著提升跨框架的泛化能力與表現，並能有效支援低資源環境下的心理理論推論。
- 4
透過 LLM-as-a-Judge 機制（包含 LLM-before-the-loop 與 LLM-in-the-loop），能有效識別模糊樣本並引導自適應度量學習。
對教育工作者的啟發
對於教育科技開發者而言，此研究提供了開發「非標籤依賴型」學習者特質分析工具的思路。在設計自動化學習分析系統（Learning Analytics）時，不應僅侷限於既有的性格或能力量表，可以考慮利用 LLM 來識別學生文本中的潛在心理特質或學習風格。這種「理論無關」的方法能讓系統在面對不同文化或不同教學情境時，具備更強的適應性與泛化能力，減少因預設框架過於僵化而導致的評估偏差。
原始文獻資訊
- 英文標題：
- Large-Language-Models-as-a-Judge in Theory-Agnostic Adaptive Metric-Alignment for Prototypical Networks in Personality Recognition
- 作者：
- Jing Jie Tan, Ban-Hoe Kwan, Danny Wee-Kiat Ng, Yan-Chai Hum, Shih-Yu Lo, Po-An Chen, Noriyuki Kawarazaki, Kosuke Takano, Anissa Mokraoui
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。