微調與分層提示提升宣傳分類的魯棒性
arXiv - Computers and SocietyLukas St\"ahelin, Veronika Solopova, Max Upravitelev, David Kaplan, Ariana Sahitaj, Premtim Sahitaj, Charlott Jakob, Sebastian M\"oller, Vera Schmitt
本文提出微調與分層提示結合，提升不同注釋架構下宣傳檢測的準確度與魯棒性。
AI 幫你先抓重點
AI 重點 1
分層提示結構化細粒度預測，提升不同注釋架構下的魯棒性。
滑鼠懸停看 AI 判斷理由
它將複雜的宣傳技巧拆解為可解釋的子任務，減少低一致性帶來的噪聲，並使模型更易於調整與擴充。
AI 重點 2
微調是大型語言模型在宣傳檢測中取得競爭力的關鍵。
滑鼠懸停看 AI 判斷理由
微調使模型學習到領域特定語言與標註細節，提升泛化能力，並揭露基模型在不同架構下的潛在偏差。
核心研究發現
- 1
微調能將零射基線轉化為競爭力系統，揭示基模型隱藏的差異。
- 2
Qwen 系列模型在兩種注釋架構中表現最佳，Phi‑4 14B 持續優於 GPT‑4.1‑nano。
- 3
分層提示 HiPP 在微調後對低一致性、模糊分類特別有效，並在簡單架構下保持競爭力。
對教育工作者的啟發
對於教育科技開發者與社群媒體監測專家而言，本文提供了兩項實務建議：一是採用微調策略，將大型語言模型調整至特定宣傳語料，能顯著提升分類準確度；二是結合分層提示 HiPP，先預測細粒度宣傳技巧再聚合，能在低一致性標註下保持穩定表現。實務上可先使用 Qwen 系列模型作為基礎，因其在多種架構下表現最佳；若資源允許，Phi‑4 14B 亦可作為備選。最後，利用本文提供的 HQP 數據集，可進行跨架構驗證，確保模型在實際社群媒體環境中的魯棒性與可解釋性。
原始文獻資訊
- 英文標題：
- Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas
- 作者：
- Lukas St\"ahelin, Veronika Solopova, Max Upravitelev, David Kaplan, Ariana Sahitaj, Premtim Sahitaj, Charlott Jakob, Sebastian M\"oller, Vera Schmitt
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。