利用導向向量進行白箱敏感度審計
arXiv - Computers and SocietyHannah Cyberey, Yangfeng Ji, David Evans
提出一種透過操縱模型內部激活狀態的白箱審計框架，以更精準地檢測大型語言模型的偏見與敏感度。
AI 幫你先抓重點
AI 重點 1
從「黑箱測試」轉向「白箱審計」的範式轉移
滑鼠懸停看 AI 判斷理由
這改變了我們評估 AI 安全性的邏輯。過去我們只看 AI 說了什麼，現在我們必須觀察 AI 是如何「思考」的。透過觀察內部激活狀態，能發現隱藏在表面文字下的潛在偏見，這對於開發公平的教育 AI 至關重要。
AI 重點 2
揭示了傳統評估方法的盲點
滑鼠懸停看 AI 判斷理由
這提醒開發者與研究者，僅僅通過輸入不同的提示詞（Prompt）來測試模型是否公平是不夠的。模型可能在表面上表現得中立，但其內部的決策邏輯仍深受偏見影響，這對於需要高度公平性的教育決策工具具有警示意義。
核心研究發現
- 1
傳統黑箱審計僅依賴輸入輸出測試，難以捕捉抽象的社會屬性（如性別偏見），且容易受限於輸入空間的啟發式測試。
- 2
研究提出利用「激活導向」（activation steering）技術，透過操縱模型內部的關鍵概念向量，進行更嚴謹的內部敏感度測試。
- 3
在四個模擬的高風險決策任務中，該方法發現模型對受保護屬性具有高度依賴性，即便在黑箱測試顯示無偏見的情況下依然如此。
對教育工作者的啟發
對於開發教育 AI 工具（如自動評分系統或學習建議機器人）的設計者而言，這項研究提供了重要的警示：僅僅測試 AI 的輸出結果（黑箱測試）不足以確保工具的公平性。在設計涉及學生評量或個人化學習路徑的 AI 時，應考慮引入更深層次的內部審計機制，以確保模型不會因為學生的性別、族裔或社會經濟背景等隱性特徵而產生偏見。建議在產品開發階段，除了進行標準的輸入輸出測試外，應結合對模型內部表徵的監控，以建立更具透明度與信任感的教育科技產品。
原始文獻資訊
- 英文標題：
- White-Box Sensitivity Auditing with Steering Vectors
- 作者：
- Hannah Cyberey, Yangfeng Ji, David Evans
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。