毒性幻覺：擾動提示詞並追蹤大型語言模型的內部電路
arXiv - Computers and SocietySoorya Ram Shimgekar, Agam Goyal, Amruta Parulekar, Joshua Chen, Yian Wang, Navin Kumar, Hari Sundaram, Eshwar Chandrasekharan, Koustuv Saha
研究發現提示詞中的毒性語氣會顯著降低大型語言模型的知識準確性，並改變其內部運算機制。
AI 幫你先抓重點
AI 重點 1
提示詞的「語氣」是影響 AI 知識可靠性的關鍵維度
滑鼠懸停看 AI 判斷理由
這挑戰了傳統認為「只要語義正確，模型表現就會穩定」的假設。這意味著在設計 AI 輔助學習工具時，不能僅關注指令的邏輯性，還必須考慮互動語境的心理與情緒色彩。
AI 重點 2
表面語義變化會直接干擾模型的內部計算路徑
滑鼠懸停看 AI 判斷理由
這提供了機械層面的證據，說明語言風格不只是外在包裝，它會改變模型處理資訊的內部機制，這對於開發更穩健、抗干擾的教育 AI 模型至關重要。
核心研究發現
- 1
研究顯示，在語義等價的情況下，增加提示詞的毒性程度會一致性地降低模型在 ARC-Easy、GSM8K 與 MMLU 測試中的事實準確性。
- 2
毒性詞彙的擾動不僅會降低準確度，還會增加模型輸出答案時的不確定性，而禮貌語氣對結果的影響則相對有限且不一致。
- 3
透過歸因圖分析發現，毒性會選擇性地放大對擾動敏感的變體節點，而核心推理節點在不同語氣下仍能保持相對穩定。
對教育工作者的啟發
對於教育科技開發者而言，這項研究提醒我們在設計 AI 導師或學習助手時，必須建立「語氣過濾」或「提示詞標準化」機制。若學生在與 AI 互動時使用情緒化或具攻擊性的語言，AI 可能會產生錯誤資訊，進而誤導學習。因此，課程設計者在規劃 AI 驅動的自主學習環境時，應考慮如何引導學生使用更中性的指令，或是在系統端對輸入進行預處理，以確保 AI 提供的事實可靠性，維持學習科學中對知識建構的嚴謹要求。
原始文獻資訊
- 英文標題：
- Toxic HallucinAItions: Perturbing Prompts and Tracing LLM Circuits
- 作者：
- Soorya Ram Shimgekar, Agam Goyal, Amruta Parulekar, Joshua Chen, Yian Wang, Navin Kumar, Hari Sundaram, Eshwar Chandrasekharan, Koustuv Saha
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。