私訊環境下的情境感知檢測與受害者中心回應生成

arXiv - Computers and SocietyPinxian Lu, Nimra Ishfaq, Emma Win, Morgan Rose, Sierra R Strickland, Candice L Biernesser, Jamie Zelazny, Munmun De Choudhury

利用大型語言模型在私訊中檢測並生成情境化、受害者中心的回應,提升即時支持效果

AI 幫你先抓重點

AI 重點 1

情境感知是提升私訊騷擾檢測準確度的關鍵,因為訊息往往跨回合且依賴上下文。

滑鼠懸停看 AI 判斷理由
此洞察顯示單一訊息模型忽略上下文,導致誤判;將多回合資訊納入可大幅提升檢測效能,為未來私訊 AI 設計提供方向。
AI 重點 2

受害者中心回應框架證明 AI 可在即時提供情緒支持與降級,對於缺乏即時人力支援的青少年具有實際價值。

滑鼠懸停看 AI 判斷理由
此發現說明 AI 介入能填補人力不足,對教育者與政策制定者在部署心理健康支援時提供可行的技術方案。

核心研究發現

  1. 1

    建立包含 80,053 條 Instagram 私訊、26 名 12-18 歲青少年的人工標註騷擾資料庫,涵蓋自殺風險者。

  2. 2

    採用情境感知級聯 LLM 分類管線,對比公眾社交媒體毒性模型,準確率提升顯著。

  3. 3

    AI 生成的受害者中心回應在情境敏感、心理基礎上,評估者認為比原始回應更有幫助(95% CI 0.767–0.815,p<0.001),尤以情緒支持與降級為主。

對教育工作者的啟發

本研究證實,將大型語言模型與情境感知結合,可在私訊環境中準確檢測騷擾並即時生成情緒支持與降級回應。教育工作者可依此設計即時輔導聊天機器人,並在課程或學校輔導中嵌入 AI 介入,為缺乏即時人力支援的學生提供心理安全網。實務上,建議先蒐集具備多回合對話的標註資料,使用級聯 LLM 進行多層次分類,並在回應生成時加入心理學原則(如同理、肯定、情緒調節),以提升回應的可信度與效益。

原始文獻資訊

英文標題:
Context-Aware Detection and Victim-Centered Response Generation for Online Harassment in Private Messaging
作者:
Pinxian Lu, Nimra Ishfaq, Emma Win, Morgan Rose, Sierra R Strickland, Candice L Biernesser, Jamie Zelazny, Munmun De Choudhury
來源:
arXiv - Computers and Society
AI 摘要模型:
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。