FEEL:量化生理信號異質性以提升情緒辨識普適性

arXiv - Human-Computer InteractionPragya Singh, Ankush Gupta, Somay Jalan, Mohan Kumar, Pushpendra Singh

本研究建立大規模情緒辨識基準,證明手工特徵與對比學習模型在跨資料集與裝置間具有優越的泛化能力。

AI 幫你先抓重點

AI 重點 1

對比信號-語言預訓練模型的優勢表明多模態自監督學習能跨越資料集異質性,為情緒AI提供新方向。

滑鼠懸停看 AI 判斷理由
此發現顯示利用語言作為輔助監督能捕捉細緻的信號模式,提升模型在不同實驗環境下的泛化,對於實際部署至關重要。
AI 重點 2

手工特徵模型在低資源噪聲環境下仍能領先,提醒實務者不應忽視領域專業知識。

滑鼠懸停看 AI 判斷理由
即使有先進深度學習技術,簡單模型在實際場景中仍能表現穩定,指導資源配置與模型選擇。

核心研究發現

  1. 1

    Fine-tuned contrastive signal-language pretraining (CLSP) models achieved the highest F1 (71/114) for arousal and valence classification tasks.

  2. 2

    Handcrafted feature-based models (107/114) consistently outperformed raw signal models, underscoring the value of domain knowledge in low-resource, noisy settings.

  3. 3

    Cross-dataset analysis showed that models trained on real-life data generalize well to lab (F1=0.79) and constraint-based settings (F1=0.78), and models trained on lab devices transfer effectively to custom wearables (F1=0.81) and Empatica E4 (F1=0.73).

對教育工作者的啟發

對於開發情緒感知應用的工程師,本文提供了可直接使用的基準資料與模型評估框架,建議先採用手工特徵+隨機森林或LDA作為基線,因其在低資源環境下表現穩定;若具備足夠計算資源,可嘗試對比信號-語言預訓練模型,以提升跨裝置與跨實驗的泛化;同時,將實際使用環境(如可穿戴設備)納入訓練資料,可顯著提升模型在真實場景中的效能。

原始文獻資訊

英文標題:
FEEL: Quantifying Heterogeneity in Physiological Signals for Generalizable Emotion Recognition
作者:
Pragya Singh, Ankush Gupta, Somay Jalan, Mohan Kumar, Pushpendra Singh
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。