使用大型語言模型偵測臨床筆記中的 HIV 相關污名

arXiv - Computation and LanguageZiyi Chen, Yasir Khan, Mengyuan Zhang, Cheng Peng, Mengxian Lyu, Yiyang Liu, Krishna Vaddiparti, Robert L Cook, Mattia Prosperi, Yonghui Wu

開發首個可實務運用的 NLP 工具,利用大型語言模型從臨床筆記中自動識別 HIV 污名,並評估多種模型效能。

AI 幫你先抓重點

AI 重點 1

少量示例提示可大幅提升生成式 LLM 在污名識別任務中的準確度

滑鼠懸停看 AI 判斷理由
此發現顯示即使不進行昂貴的模型微調,透過精心設計的提示也能顯著提升性能,為實務應用提供成本效益高的替代方案。
AI 重點 2

不同污名子量級的可辨識度差異顯示模型對語境敏感度不均,提示需針對特定子量級進行專門調整

滑鼠懸停看 AI 判斷理由
了解各子量級的預測難易度能指導資料收集與模型優化,確保污名檢測的全面性與精準度,避免忽略關鍵情境。

核心研究發現

  1. 1

    GatorTron-large 編碼器在 1,332 句標註資料上取得最佳整體表現,Micro F1 為 0.62。

  2. 2

    少量示例提示顯著提升生成式 LLM 的準確度,5-shot GPT-OSS-20B 與 LLaMA-8B 分別達 Micro-F1 0.57 與 0.59,遠超零-shot。

  3. 3

    不同污名子量級的可辨識度差異顯著,Negative Self-Image 最高,Personalized Stigma 最具挑戰性。

  4. 4

    零-shot 生成式推理失敗率高達 32%,顯示需採用提示工程或微調以提升可靠性。

對教育工作者的啟發

醫療機構可利用此工具自動掃描病歷,快速識別 HIV 患者面臨的污名類型,進而設計針對性心理支援與教育介入;同時,提示工程可在現有模型上取得高效表現,減少訓練成本。

原始文獻資訊

英文標題:
Detecting HIV-Related Stigma in Clinical Narratives Using Large Language Models
作者:
Ziyi Chen, Yasir Khan, Mengyuan Zhang, Cheng Peng, Mengxian Lyu, Yiyang Liu, Krishna Vaddiparti, Robert L Cook, Mattia Prosperi, Yonghui Wu
來源:
arXiv - Computation and Language
AI 摘要模型:
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。