Co-Refine:AI輔助質性分析工具

arXiv - Human-Computer InteractionAthikash Jeyaganthan, Kai Xu, Franziska Becker, Steffen Koch

Co-Refine 透過結合確定性嵌入指標與大型語言模型,實時監測並修正質性編碼中的時間漂移,提升分析可信度。

AI 幫你先抓重點

AI 重點 1

即時一致性回饋可顯著減少編碼時間漂移

滑鼠懸停看 AI 判斷理由
傳統 CAQDAS 只提供資料管理,缺乏實時監控;Co-Refine 的即時回饋讓研究者能在編碼過程中即時調整,提升研究結果的可信度與可重複性。
AI 重點 2

確定性指標與 LLM 的結合創造可靠的審核機制

滑鼠懸停看 AI 判斷理由
將可量化的確定性分數作為 LLM 的範圍限制,避免模型產生偏差,確保審核訊號既準確又可解釋,對質性研究的嚴謹性具有重要意義。

核心研究發現

  1. 1

    1. 確定性嵌入指標能有效量化編碼一致性,並作為 LLM 判斷的基準。

  2. 2

    2. LLM 在 ±0.15 的範圍內驗證確定性分數,確保即時審核訊號的可靠性。

  3. 3

    3. 透過歷史編碼模式生成代碼定義,形成深度回饋迴路,進一步降低時間漂移。

對教育工作者的啟發

對教育研究者而言,Co-Refine 允許在編碼階段即時檢測代碼一致性,避免後期因時間漂移而需重新審核。實務上,可將其嵌入現有 CAQDAS 工作流程,利用確定性嵌入指標作為初步篩選,然後由 LLM 進行細節驗證,最後透過歷史模式生成代碼定義,形成自我修正的迴路。此流程不僅提升編碼效率,也使研究報告更具可重複性與透明度,對於需要嚴謹質性分析的教育評估、課程設計研究尤為適用。

原始文獻資訊

英文標題:
Co-Refine: AI-Powered Tool Supporting Qualitative Analysis
作者:
Athikash Jeyaganthan, Kai Xu, Franziska Becker, Steffen Koch
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。