AnnotateThis：分析以人類為核心、用於標註氣候變遷悲觀概念之人機協作系統
arXiv - Computers and SocietyZexuan Li, Derek Van Berkel, Ariel Hasell, Grant Schoenebeck, John Barry Ryan, Sabina Tomkins
開發 AnnotateThis 系統，透過人機協作優化 LLM 在複雜社會科學概念標註上的準確性與可靠性。
AI 幫你先抓重點
AI 重點 1
強調「以人為中心」的 AI 工作流對於處理複雜概念的重要性。
滑鼠懸停看 AI 判斷理由
雖然 LLM 具備強大能力，但在處理社會科學中細微且具爭議性的概念時仍會失準。這項研究提醒我們，AI 不應被視為完全自動化的工具，而應作為需要人類介入監督與修正的協作夥伴。
AI 重點 2
提出「LLM Grounding」的概念，將標註過程視為概念與模型的對齊。
滑鼠懸停看 AI 判斷理由
這改變了傳統僅將 AI 當作標註工具的思維，轉而強調研究者需要透過系統化流程來確保 AI 的理解與人類研究意圖一致，這對於提升研究數據的科學嚴謹性至關重要。
核心研究發現
- 1
在有基準真相（ground truth）的實驗中，AnnotateThis 讓 F-measure 提升了 0.15，準確度則提升了 0.23。
- 2
研究證實，透過該系統進行的人機協作標註品質，遠優於完全由 AI 自動化生成的結果。
- 3
系統能有效協助研究者在缺乏先驗知識的情況下，同時進行概念定義與 LLM 標註基準的建立（LLM grounding）。
對教育工作者的啟發
對於教育研究者或課程設計者而言，此研究提供了「人機協作」優於「全自動化」的實證支持。在利用 AI 進行大規模文本分析或評量數據標註時，不應追求完全脫離人工，而應設計一套「可檢視、可介入」的系統。建議開發者建立具備透明資訊（如 AI 信心度、推理過程）的介面，讓使用者能有效進行「概念對齊」，確保 AI 的產出符合教學或研究的精確定義，而非僅僅依賴提示詞工程（Prompt Engineering）。
原始文獻資訊
- 英文標題：
- AnnotateThis: Analyzing a human-LLM system for annotating social media data with the concept of climate change mitigation pessimism
- 作者：
- Zexuan Li, Derek Van Berkel, Ariel Hasell, Grant Schoenebeck, John Barry Ryan, Sabina Tomkins
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。