從孤島到系統：針對 AI 系統的流程導向危害分析
arXiv - Human-Computer InteractionShalaleh Rismani, Roel Dobbe, AJung Moon
本文提出 PHASE 指引，將系統安全框架 STPA 轉化為適用於 AI 開發與運作流程的危害分析方法。
AI 幫你先抓重點
AI 重點 1
從「組件安全」轉向「系統安全」的思維轉型。
滑鼠懸停看 AI 判斷理由
這改變了開發者僅僅修補單一演算法漏洞的傳統做法，強調必須將 AI 視為一個包含開發流程、社會因素與組件交互作用的整體系統來進行風險管理。
AI 重點 2
建立可追蹤的問責鏈與社會因素的關聯性。
滑鼠懸停看 AI 判斷理由
這對於 AI 倫理實務至關重要，它不僅能識別技術錯誤，還能明確指出社會因素如何導致演算法傷害，並確保在發生問題時能追溯到具體的緩解責任人。
核心研究發現
- 1
研究發現傳統 AI 危害分析過於關注單一組件（如數據或模型），忽略了組件交互作用及開發流程中產生的系統級危害。
- 2
透過對線性回歸、強化學習及 Transformer 生成式模型的案例研究，證實 STPA 核心概念適用於 AI，但需針對模型不透明性等特性進行調整。
- 3
提出 PHASE 指引，能有效檢測系統級危害、承認社會因素對演算法傷害的影響，並建立可追蹤的問責鏈與持續監測機制。
對教育工作者的啟發
對於教育科技開發者而言，當設計涉及 AI 輔助教學或自動化評量系統時，不應僅測試模型準確度，應採用系統性思維。建議在課程設計與工具開發流程中，納入「流程導向的危害分析」，預先評估 AI 模型與教學環境互動時可能產生的非預期結果（如偏見累積或不透明決策），並建立明確的問責機制，以確保教育科技工具在複雜的教學場景中具備系統性的安全性與社會公平性。
原始文獻資訊
- 英文標題：
- From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems
- 作者：
- Shalaleh Rismani, Roel Dobbe, AJung Moon
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。