一種基于李群論的多模態(tài)情感識別方法
本發(fā)明公開了一種基于李群論的多模態(tài)情感識別方法,包括以 下步驟:獲取視頻,并提取視頻幀中圖像區(qū)域的高斯型特征描述子, 基于高斯型特征描述子對視頻中的圖像區(qū)域進(jìn)行跟蹤,根據(jù)視頻子序 列構(gòu)建 ARMA 模型獲取 ARMA 模型間的距離,根據(jù) ARMA 模型之間 的距離構(gòu)建核函數(shù),并進(jìn)行情感表達(dá)分類,根據(jù)人體、臉部和手部的 情感類別概率對人進(jìn)行情感識別。本發(fā)明根據(jù)視頻中所包含的人體姿 態(tài)運(yùn)動信息、手勢和臉部表情信息來判斷人的情感狀態(tài),是一個(gè)將視 頻數(shù)據(jù)映射到人體運(yùn)動特征、手勢特征和臉部表情特征,再從人體運(yùn) 動特征空間和臉部表情特征映射到狀態(tài)空間的過程,并提出利用李群 論進(jìn)行多模態(tài)情感識別,提高模型進(jìn)行情感識別的精確性。
華中科技大學(xué)
2021-04-11