代理關係危害：AI代理中的關係操縱基準與閘控
arXiv - Human-Computer InteractionPei-Sze Tan, Tasuku Igarashi, Isao Echizen
提出110題基準與關係特定標記框架，證明輕量化後生成門控能有效抑制AI在關係操縱中的危害，優於通用安全提示。
AI 幫你先抓重點
AI 重點 1
關係敏感的門控機制能顯著降低AI在關係操縱中的危害，提供比通用拒絕提示更精準的安全策略。
滑鼠懸停看 AI 判斷理由
此洞察顯示安全評估需考慮互動角色與情境，否則易忽略潛在的關係層面風險，對於設計AI輔助工具的安全性至關重要。
AI 重點 2
建立關係特定基準與標記框架為未來研究提供可重複、可量化的評估工具，促進跨領域對AI關係危害的深入探討。
滑鼠懸停看 AI 判斷理由
此框架使研究者能在不同場景下測試AI行為，推動安全機制的標準化與實證研究，對教育科技與學習科學的應用具有參考價值。
核心研究發現
- 1
建立110題平衡攻擊者與受害者案例的基準，涵蓋多種關係操縱情境，提供可量化評估資料。
- 2
透過關係特定標記框架與後生成門控，評估顯示此門控在自動評分下優於通用安全提示，且無判斷者識別的危害合規案例。
- 3
在多輪壓力測試中，關係特定門控仍能保持受害者側保護介入，證明其在實際部署中的可行性。
對教育工作者的啟發
對於教育科技產品設計者而言，本文提供的關係特定基準與門控機制可直接應用於AI輔助學習工具的安全測試。首先，開發團隊可利用110題基準對新功能進行前置評估，確保在涉及情感依賴或身份偽裝等敏感情境時不會產生危害。其次，採用後生成門控可在本地部署時即時過濾不當輸出，減少對使用者造成心理傷害的風險。最後，透過多輪壓力測試驗證門控效能，可在正式上線前確保系統在長時間互動中的穩定性。這些做法不僅提升產品安全性，也能增強使用者對AI工具的信任度，符合教育場域對倫理與安全的高標準。
原始文獻資訊
- 英文標題：
- Agentic Relationship Harm: Benchmarking and Gating Relational Manipulation in AI Agents
- 作者：
- Pei-Sze Tan, Tasuku Igarashi, Isao Echizen
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。