私訊環境下的情境感知檢測與受害者中心回應生成
arXiv - Computers and SocietyPinxian Lu, Nimra Ishfaq, Emma Win, Morgan Rose, Sierra R Strickland, Candice L Biernesser, Jamie Zelazny, Munmun De Choudhury
利用大型語言模型在私訊中檢測並生成情境化、受害者中心的回應,提升即時支持效果
AI 幫你先抓重點
AI 重點 1
情境感知是提升私訊騷擾檢測準確度的關鍵,因為訊息往往跨回合且依賴上下文。
滑鼠懸停看 AI 判斷理由
此洞察顯示單一訊息模型忽略上下文,導致誤判;將多回合資訊納入可大幅提升檢測效能,為未來私訊 AI 設計提供方向。
AI 重點 2
受害者中心回應框架證明 AI 可在即時提供情緒支持與降級,對於缺乏即時人力支援的青少年具有實際價值。
滑鼠懸停看 AI 判斷理由
此發現說明 AI 介入能填補人力不足,對教育者與政策制定者在部署心理健康支援時提供可行的技術方案。
核心研究發現
- 1
建立包含 80,053 條 Instagram 私訊、26 名 12-18 歲青少年的人工標註騷擾資料庫,涵蓋自殺風險者。
- 2
採用情境感知級聯 LLM 分類管線,對比公眾社交媒體毒性模型,準確率提升顯著。
- 3
AI 生成的受害者中心回應在情境敏感、心理基礎上,評估者認為比原始回應更有幫助(95% CI 0.767–0.815,p<0.001),尤以情緒支持與降級為主。
對教育工作者的啟發
本研究證實,將大型語言模型與情境感知結合,可在私訊環境中準確檢測騷擾並即時生成情緒支持與降級回應。教育工作者可依此設計即時輔導聊天機器人,並在課程或學校輔導中嵌入 AI 介入,為缺乏即時人力支援的學生提供心理安全網。實務上,建議先蒐集具備多回合對話的標註資料,使用級聯 LLM 進行多層次分類,並在回應生成時加入心理學原則(如同理、肯定、情緒調節),以提升回應的可信度與效益。
原始文獻資訊
- 英文標題:
- Context-Aware Detection and Victim-Centered Response Generation for Online Harassment in Private Messaging
- 作者:
- Pinxian Lu, Nimra Ishfaq, Emma Win, Morgan Rose, Sierra R Strickland, Candice L Biernesser, Jamie Zelazny, Munmun De Choudhury
- 來源:
- arXiv - Computers and Society
- AI 摘要模型:
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。