真實環境中的安全與隱私提示詞：用戶如何詢問 LLM 及其回應表現
arXiv - Human-Computer InteractionHobin Kim, Xiaoyuan Wu, Omer Akgul, Lujo Bauer, Nicolas Christin
本研究分析了用戶在數位安全與隱私領域對 LLM 的真實提問，發現商業模型表現優於開源模型，但存在回應不一致的風險。
AI 幫你先抓重點
AI 重點 1
模型回應的一致性（Consistency）比單次的高品質更為關鍵
滑鼠懸停看 AI 判斷理由
在數位安全領域，錯誤或矛盾的資訊可能導致嚴重的資安風險。如果模型在不同對話中給出相反的建議，使用者將難以建立對 AI 的信任，這提醒開發者與使用者在應用 AI 於高風險決策時需格外謹慎。
AI 重點 2
真實用戶數據（In-the-wild data）揭示了研究與現實的落差
滑鼠懸停看 AI 判斷理由
過去研究多依賴專家設計的常見錯誤或 FAQ，無法反映用戶真實的認知盲點。透過分析真實對話，我們能更精準地了解使用者在數位安全上的實際需求與知識缺口，這對設計有效的數位素養課程至關重要。
核心研究發現
- 1
研究從 WildChat 資料集中識別出 14,727 個安全與隱私（S&P）提示詞，並將其歸納為九大主題類別。
- 2
商業大型語言模型在處理 S&P 建議時表現顯著優於開源模型，例如 GPT 5.5 在 98% 的提示詞中提供「足夠好」的回應，而 Llama 4 僅為 47%。
- 3
即使是平均品質較高的商業模型，在多次重複測試中仍可能產生矛盾的回應，這可能導致用戶感到困惑或獲得誤導性的安全建議。
對教育工作者的啟發
對於教育工作者而言，此研究強調了在數位素養（Digital Literacy）課程中加入「AI 批判性思考」的重要性。教學設計者不應僅教導如何使用 AI，更應引導學生辨識 AI 在處理高風險資訊（如資安、法律）時可能產生的矛盾與不一致性。建議在課程中設計「對抗性學習」環節，讓學生嘗試多次詢問相同問題，觀察 AI 回應的變異，從而建立對 AI 工具侷限性的正確認知，避免盲目信任 AI 給出的安全建議。
原始文獻資訊
- 英文標題：
- Security and Privacy Prompts in the Wild: What Users Ask LLMs and How LLMs Respond
- 作者：
- Hobin Kim, Xiaoyuan Wu, Omer Akgul, Lujo Bauer, Nicolas Christin
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。