誰的名字被提及？III：LLM學者推薦中的個人化提示效應
arXiv - Computers and SocietyAnnabella S\'anchez-Guzm\'an, Lukas Eberhard, Denis Helic, Lisette Esp\'in-Noboa
建立基準評估LLM學者推薦，揭示模型選擇與提示設計對推薦質量與多樣性的影響
AI 幫你先抓重點
AI 重點 1
提示設計同模型選擇一樣關鍵，決定推薦質量與多樣性。
滑鼠懸停看 AI 判斷理由
因為提示不僅影響推薦的準確度，還會改變公平性與多樣性，若忽略提示設計，系統可能產生偏頗或不完整的學者名單，影響研究者的資訊獲取與學術網絡建構。
AI 重點 2
語言與地理提示會改變推薦的事實性與多樣性，揭示文化偏差。
滑鼠懸停看 AI 判斷理由
語言與地理提示的差異揭示了文化與語境偏差對推薦結果的影響，若不調整，系統可能加劇學術不平等，限制多元學術聲音的曝光。
核心研究發現
- 1
基本技術質量（如準確度）主要由所選 LLM 模型決定。
- 2
事實性與公平性（parity）受輸入上下文（領域、職位、k 值）影響。
- 3
多樣性主要由提示中所指定的地理位置決定；南非提示產生的列表事實性較低，而日本提示則產生高度事實性但同質化的推薦。
對教育工作者的啟發
教育資訊平台在設計學者推薦功能時，應先選擇高質量LLM，再針對不同語言、地區與使用者角色設計多樣化提示，並以多學科基準資料庫進行結果驗證，確保推薦既準確又公平，避免文化偏差與同質化。
原始文獻資訊
- 英文標題：
- Whose Name Comes Up? III: Persona Prompting Effects in LLM-Based Scholar Recommendation
- 作者：
- Annabella S\'anchez-Guzm\'an, Lukas Eberhard, Denis Helic, Lisette Esp\'in-Noboa
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。