結腸鏡檢查影片大規模病灶標註工作流程
arXiv - Human-Computer InteractionAbdullah Hamdi, Changchun Yang, Xin Gao
本研究提出 Colon-Bench，一個透過多階段代理工作流程建立的大規模、高密度結腸鏡檢查影片病灶標註資料集，並以此評估多模式大型語言模型。
AI 幫你先抓重點
AI 重點 1
Colon-Bench 資料集的建立與貢獻。
滑鼠懸停看 AI 判斷理由
此資料集填補了高密度標註結腸鏡檢查影片的空白，為開發更強大的 AI 系統提供必要資源，加速了結腸癌篩查的進程，對於醫學影像分析研究至關重要。
AI 重點 2
“結腸技能”提示策略的提出。
滑鼠懸停看 AI 判斷理由
此策略有效提升了 MLLM 在零射學習環境下的性能，證明了針對特定領域優化提示的重要性，為未來 MLLM 在醫療領域的應用提供了新的方向。
核心研究發現
- 1
研究團隊開發了 Colon-Bench，包含 528 部結腸鏡檢查影片，涵蓋 14 種不同的病灶類型，提供豐富的空間、時間和語言標註。
- 2
Colon-Bench 包含超過 30 萬個 bounding box、21.3 萬個分割遮罩以及 13.3 萬個臨床描述文字，規模前所未有。
- 3
使用 Colon-Bench 評估最先進的多模式大型語言模型 (MLLM) 在病灶分類、開放式影像分割和視覺問答等任務上的表現。
- 4
MLLM 在醫療領域的定位性能表現出人意料地高，與 SAM-3 相比具有優勢，顯示其在醫學影像分析方面的潛力。
- 5
研究者提出了一種新的“結腸技能”提示策略，可將零射 MLLM 性能提高高達 9.7%，提升了模型在特定任務上的表現。
對教育工作者的啟發
此研究強調了大規模、高質量資料集對於訓練和評估 AI 模型的重要性，尤其是在醫療領域。研究結果表明，透過結合 AI 輔助標註與人工驗證，可以有效地建立複雜的醫學影像資料集。此外，“結腸技能”提示策略的成功，也提示我們在應用 MLLM 於特定領域時，應針對該領域的知識進行優化，以提升模型性能。未來，可以考慮將此工作流程應用於其他醫學影像資料集的建立，並探索更有效的提示策略。
原始文獻資訊
- 英文標題：
- Colon-Bench: An Agentic Workflow for Scalable Dense Lesion Annotation in Full-Procedure Colonoscopy Videos
- 作者：
- Abdullah Hamdi, Changchun Yang, Xin Gao
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。