使用大型語言模型偵測臨床筆記中的 HIV 相關污名
arXiv - Computation and LanguageZiyi Chen, Yasir Khan, Mengyuan Zhang, Cheng Peng, Mengxian Lyu, Yiyang Liu, Krishna Vaddiparti, Robert L Cook, Mattia Prosperi, Yonghui Wu
開發首個可實務運用的 NLP 工具,利用大型語言模型從臨床筆記中自動識別 HIV 污名,並評估多種模型效能。
AI 幫你先抓重點
AI 重點 1
少量示例提示可大幅提升生成式 LLM 在污名識別任務中的準確度
滑鼠懸停看 AI 判斷理由
此發現顯示即使不進行昂貴的模型微調,透過精心設計的提示也能顯著提升性能,為實務應用提供成本效益高的替代方案。
AI 重點 2
不同污名子量級的可辨識度差異顯示模型對語境敏感度不均,提示需針對特定子量級進行專門調整
滑鼠懸停看 AI 判斷理由
了解各子量級的預測難易度能指導資料收集與模型優化,確保污名檢測的全面性與精準度,避免忽略關鍵情境。
核心研究發現
- 1
GatorTron-large 編碼器在 1,332 句標註資料上取得最佳整體表現,Micro F1 為 0.62。
- 2
少量示例提示顯著提升生成式 LLM 的準確度,5-shot GPT-OSS-20B 與 LLaMA-8B 分別達 Micro-F1 0.57 與 0.59,遠超零-shot。
- 3
不同污名子量級的可辨識度差異顯著,Negative Self-Image 最高,Personalized Stigma 最具挑戰性。
- 4
零-shot 生成式推理失敗率高達 32%,顯示需採用提示工程或微調以提升可靠性。
對教育工作者的啟發
醫療機構可利用此工具自動掃描病歷,快速識別 HIV 患者面臨的污名類型,進而設計針對性心理支援與教育介入;同時,提示工程可在現有模型上取得高效表現,減少訓練成本。
原始文獻資訊
- 英文標題:
- Detecting HIV-Related Stigma in Clinical Narratives Using Large Language Models
- 作者:
- Ziyi Chen, Yasir Khan, Mengyuan Zhang, Cheng Peng, Mengxian Lyu, Yiyang Liu, Krishna Vaddiparti, Robert L Cook, Mattia Prosperi, Yonghui Wu
- 來源:
- arXiv - Computation and Language
- AI 摘要模型:
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。