大型語言模型角色扮演公平性測試
arXiv - Computers and SocietyXinyue Li, Zhenpeng Chen, Jie M. Zhang, Ying Xiao, Tianlin Li, Weisong Sun, Yang Liu, Yiling Lou, Xuanzhe Liu
本文透過角色扮演情境，系統測試10款大型語言模型的公平性，發現超過十萬次偏見回應。
AI 幫你先抓重點
AI 重點 1
角色扮演情境揭示LLM偏見更為普遍，傳統測試可能低估問題。
滑鼠懸停看 AI 判斷理由
傳統的單一提示測試往往忽略模型在特定角色下的偏見表現，導致實際應用中偏見被低估，影響決策品質與公平性。
AI 重點 2
公開的角色與問題資料集為後續公平性研究提供可重複實驗基礎。
滑鼠懸停看 AI 判斷理由
擁有標準化的測試集可讓研究者在不同模型間進行公平性比較，快速評估緩解策略的有效性，促進公平AI的落地應用。
核心研究發現
- 1
生成550個社會角色，涵蓋11個人口統計屬性，產生33,000個針對偏見的問題。
- 2
在10款先進LLM的評估中，總共檢測到107,580個偏見回應，單一模型偏見數量介於7,579至16,963之間。
- 3
研究結合規則式與LLM式策略，並經人工驗證，確保偏見檢測的嚴謹性。
對教育工作者的啟發
教育工作者可利用本研究公開的角色與問題集，設計角色扮演式評估流程，檢測教學內容或AI輔助工具中的偏見。透過人工驗證與規則檢測，可快速定位偏見來源，並針對性調整提示或模型參數，提升公平性與學習者信任度。
原始文獻資訊
- 英文標題：
- Fairness Testing of Large Language Models in Role-Playing
- 作者：
- Xinyue Li, Zhenpeng Chen, Jie M. Zhang, Ying Xiao, Tianlin Li, Weisong Sun, Yang Liu, Yiling Lou, Xuanzhe Liu
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。