AISPA:以使用者為中心的 LLM 應用系統提示詞審計框架

arXiv - Computers and SocietyXiangning Lin, Shenzhe Zhu, Shu Yang, Zhenyu Zhang, Haoqian Zhang, Yipeng Zhao, Chengxuan Qian, Tianwei Wang, Ziheng Zhang, Zhenlong Yuan, Dingcheng Wang, Juncheng Wu, Yuan Si, Jiaxin Liu, Baolong Bi, Robert Mahari, Tobin South, Dazza Greenwood, Zexue He, Rishi Bommasani, Sophia Kazinnik, Andreas Haupt, Samuele Marro, Erik Brynjolfsson, Alex Pentland, Jiaxin Pei

本文提出 AISPA 框架,透過審計 88 款商業 AI 產品的系統提示詞,揭示了保護性與問題性指令並存的現狀。

AI 幫你先抓重點

AI 重點 1

系統提示詞存在「保護性與問題性指令共存」的矛盾現象。

滑鼠懸停看 AI 判斷理由
這打破了開發者僅在追求安全性的假設。理解這一點能提醒使用者,即便 AI 產品宣稱具備安全機制,其底層指令仍可能隱含損害使用者利益的邏輯,需具備批判性思維。
AI 重點 2

現有的 AI 安全設計多屬「淺層保護」,缺乏全面性。

滑鼠懸停看 AI 判斷理由
僅有少數產品能滿足全維度的保護需求,這意味著目前的 AI 治理仍處於碎片化階段。對於開發者而言,這指出了從單點防護轉向系統化、多維度設計的必要性。

核心研究發現

  1. 1

    系統提示詞設計在不同產品間差異巨大,部分組織平均每款產品包含超過 60 條保護性指令,而其他組織則不足 5 條。

  2. 2

    雖然 98.9% 的產品包含至少一條保護性指令,但僅有 24% 的產品能涵蓋 AISPA 分類法中的所有八個維度。

  3. 3

    系統提示詞的長度與保護性指令數量正穩定增長,顯示開發者對使用者保護的關注度日益提升。

  4. 4

    問題性指令依然普遍存在,約 40% 的產品含有違背使用者利益的指令,且保護性與問題性指令常在同一提示詞中共存。

對教育工作者的啟發

對於教育科技開發者而言,在設計教學 AI 助手時,不能僅依賴通用的安全設定。應參考 AISPA 的八個維度,建立更全面、深層的系統提示詞架構,確保指令不僅能防止有害內容,更能主動保護學生的隱私、認知發展與學習自主權。同時,教育工作者在使用 AI 工具時,應意識到提示詞可能存在的隱性偏見或利益衝突,在教學設計中應加入「AI 提示詞素養」的討論,引導學生批判性地看待 AI 的行為邏輯。

原始文獻資訊

英文標題:
AISPA: User-Centric System Prompt Auditing for Large Language Model Applications
作者:
Xiangning Lin, Shenzhe Zhu, Shu Yang, Zhenyu Zhang, Haoqian Zhang, Yipeng Zhao, Chengxuan Qian, Tianwei Wang, Ziheng Zhang, Zhenlong Yuan, Dingcheng Wang, Juncheng Wu, Yuan Si, Jiaxin Liu, Baolong Bi, Robert Mahari, Tobin South, Dazza Greenwood, Zexue He, Rishi Bommasani, Sophia Kazinnik, Andreas Haupt, Samuele Marro, Erik Brynjolfsson, Alex Pentland, Jiaxin Pei
來源:
arXiv - Computers and Society
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。