結合深度學習與多模態感測之手語辨識智慧手套
arXiv - Human-Computer InteractionAnh Thu Nguyen Ngoc, Tam Phong Truong, Thai Anh Nguyen Duong, Vu Linh Nguyen, Manh Duong Phung
開發出一款整合感測器與深度學習技術的智慧手套，實現高準確度的即時手語辨識。
AI 幫你先抓重點
AI 重點 1
多模態數據融合（Multimodal Fusion）是提升辨識精準度的關鍵。
滑鼠懸停看 AI 判斷理由
單純依賴手部動作往往不足以捕捉手語的完整語義，透過結合肢體動作與面部表情，能更全面地模擬人類溝通，這為開發更精準的輔助溝通工具提供了技術範本。
AI 重點 2
從研究模型到邊緣運算（Edge AI）的轉化路徑。
滑鼠懸停看 AI 判斷理由
將 LSTM 模型轉換為 TensorFlow Lite 意味著技術已從實驗室環境走向可攜式設備，這對於開發低延遲、可隨身攜帶的輔助科技產品具有極高的實務價值。
核心研究發現
- 1
該系統結合了彎曲感測器、慣性測量單元（IMU）以及攝影機捕捉的面部表情，實現多模態數據融合。
- 2
透過 ESP32-C6 微控制器傳輸數據，並利用長短期記憶網路（LSTM）模型來處理手勢的時間動態特徵。
- 3
實驗結果顯示，該模型在手語辨識上的整體準確率達到約 95%。
- 4
模型已成功轉換為 TensorFlow Lite 格式，證明了系統具備進行即時推論與實際應用部署的可行性。
對教育工作者的啟發
對於特殊教育領域的設計者而言，此技術展示了如何利用穿戴式裝置解決溝通障礙。在課程設計上，可思考如何將此類技術整合進「包容性教育」環境中，例如開發輔助聽障學生參與課堂討論的即時翻譯工具。此外，這也為 STEM 教育提供了實作案例，讓學生能透過結合硬體感測與 AI 演算法，理解如何解決現實生活中的社會溝通問題。
原始文獻資訊
- 英文標題：
- Multimodal Smart Glove for Sign Language Recognition Using Deep Learning
- 作者：
- Anh Thu Nguyen Ngoc, Tam Phong Truong, Thai Anh Nguyen Duong, Vu Linh Nguyen, Manh Duong Phung
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。