Co-Refine:AI輔助質性分析工具
arXiv - Human-Computer InteractionAthikash Jeyaganthan, Kai Xu, Franziska Becker, Steffen Koch
Co-Refine 透過結合確定性嵌入指標與大型語言模型,實時監測並修正質性編碼中的時間漂移,提升分析可信度。
AI 幫你先抓重點
AI 重點 1
即時一致性回饋可顯著減少編碼時間漂移
滑鼠懸停看 AI 判斷理由
傳統 CAQDAS 只提供資料管理,缺乏實時監控;Co-Refine 的即時回饋讓研究者能在編碼過程中即時調整,提升研究結果的可信度與可重複性。
AI 重點 2
確定性指標與 LLM 的結合創造可靠的審核機制
滑鼠懸停看 AI 判斷理由
將可量化的確定性分數作為 LLM 的範圍限制,避免模型產生偏差,確保審核訊號既準確又可解釋,對質性研究的嚴謹性具有重要意義。
核心研究發現
- 1
1. 確定性嵌入指標能有效量化編碼一致性,並作為 LLM 判斷的基準。
- 2
2. LLM 在 ±0.15 的範圍內驗證確定性分數,確保即時審核訊號的可靠性。
- 3
3. 透過歷史編碼模式生成代碼定義,形成深度回饋迴路,進一步降低時間漂移。
對教育工作者的啟發
對教育研究者而言,Co-Refine 允許在編碼階段即時檢測代碼一致性,避免後期因時間漂移而需重新審核。實務上,可將其嵌入現有 CAQDAS 工作流程,利用確定性嵌入指標作為初步篩選,然後由 LLM 進行細節驗證,最後透過歷史模式生成代碼定義,形成自我修正的迴路。此流程不僅提升編碼效率,也使研究報告更具可重複性與透明度,對於需要嚴謹質性分析的教育評估、課程設計研究尤為適用。
原始文獻資訊
- 英文標題:
- Co-Refine: AI-Powered Tool Supporting Qualitative Analysis
- 作者:
- Athikash Jeyaganthan, Kai Xu, Franziska Becker, Steffen Koch
- 來源:
- arXiv - Human-Computer Interaction
- AI 摘要模型:
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。