【技术实现步骤摘要】
本专利技术属于图像处理与模式识别领域，涉及一种应用于多模态情感识别的特征融合方法，特别涉及一种基于鉴别局部保持投影的多模态情感特征融合方法。
技术介绍
情感表达一直是人类交流和互相理解的最主要方式。由于计算机技术的大力发展，人机交互能力(HCI，Human Computer Interaction)变得越来越具有研究价值和现实意义，计算机如何对人的情感进行识别也就变得至关重要。随着信息技术的不断发展，无论是在实验室还是现实生活中，人类表达的情感信息很容易被各种各样的传感器获得。其中图像和语音是最容易获得的情感信息且对于情感识别来说也是最重要的信息。计算机能识别哪些情感是一个复杂的问题，在现实生活中人所表达的情感经常只有细微的差异，而这些差异人类都很难辨别，所以目前来说计算机只能识别一些基本的情感，例如生气、反感、害怕、高兴、悲伤和惊讶等基本情感。然而对这些基本情感进行识别的情感技术已经有了广泛的应用领域，例如在教育、医疗、人机交互、影音娱乐等领域。过去几十年，已经有很多基于单模态的情感识别，最常见的是面部表情情感识别，语音情感识别和基于姿态的情感识别，然而单模态情感识别有较大的限制，因为人所表达的情感信息是是一种多模态的情感信息，例如一个人表达愤怒，他的声音、面部表情、身体姿态、心率以及体温等等都会与正常状态下有较大的不同。如果只采用一种模态的情感特征进行识别，势必不会得到较好的结果，尤其是在现实环境中。研究结果表明，相比于单模态情感识别，多模态情感识别更加可靠和准确。多模态情感识别考虑了人所表达的多种情感信息，全面的衡量人所表达的情感，在实际生活中对于...
【技术保护点】
基于鉴别局部保持投影的多模态情感特征融合方法，其特征在于包括以下步骤：A、首先对多模态情感数据库中每种模态的样本数据提取情感特征，然后将各种模态的情感特征向量进行降维处理,对于第j种模态的样本用dj维特征向量xijr来表示，即其中,1≤j≤m，m为模态的数目，1≤i≤c，c为情感类别的数目，1≤r≤nij，nij为属于第i类情感、第j种模态的样本数目，xijr表示属于第i类情感、第j种模态的第r个样本的特征向量；B、对降维后的不同模态的特征向量进行鉴别局部保持投影，得到最佳的投影方向α；C、分别对不同模态的特征向量进行映射，Yj＝αTXj，Xj为c个Xij组成的矩阵，即Xj＝[X1j,...,Xij,...,Xcj]T；D、将映射后的特征进行串联得到融合特征：Z＝[αTX1,...,αTXj,...,αTXm]T。
【技术特征摘要】
1.基于鉴别局部保持投影的多模态情感特征融合方法，其特征在于包括以下步骤：A、首先对多模态情感数据库中每种模态的样本数据提取情感特征，然后将各种模态的情感特征向量进行降维处理,对于第j种模态的样本用dj维特征向量xijr来表示，即其中,1≤j≤m，m为模态的数目，1≤i≤c，c为情感类别的数目，1≤r≤nij，nij为属于第i类情感、第j种模态的样本数目，xijr表示属于第i类情感、第j种模态的第r个样本的特征向量；B、对降维后的不同模态的特征向量进行鉴别局部保持投影，得到最佳的投影方向α；C、分别对不同模态的特征向量进行映射，Yj＝αTXj，Xj为c个Xij组成的矩阵，即Xj＝[X1j,...,Xij,...,Xcj]T；D、将映射后的特征进行串联得到融合特征：Z＝[αTX1,...,αTXj,...,αTXm]T。2.根据权利要求1所述的基于鉴别局部保持投影的多模态情感特征融合方法，其特征在于步骤B中，所述鉴别局部保持投影目的是求解最佳的投影矩阵α,将各种模态的情感特征向量xijr映射到统一的鉴别子空间中，得到映射后的特征向量yijr，具体步骤如下：B1：定义类内离散度矩阵 S W y = 1 2 ( Σ i = 1 c Σ j = 1 m Σ r = 1 n i j Σ l = 1 n i j ( y i j r - y i j l ) ( y i j r - y i j l ) T + Σ i = 1 c Σ j = 1 m Σ k = 1 , j ≠ k m Σ r = 1 n i j Σ l = 1 n i j ( y i j r - y i k l ) ( y i j r - y i k l ) T ) W r l ]]>其中，yikl代表来自第i类情感、第k种模态的第l个样本映射后的特征向量，1≤k≤m，Wrl为来自相同情感和模态的特征向量之间的局部保持权重；B2：定义类间离散度矩阵 S B y = 1 2 ( Σ i = 1 c Σ h = 1 c ( μ i - μ h ) ( μ i - μ h ) T ) B i h ]]>其中Bih为来自相同模态的特征向量均值之间的局部保持权重，μi为第i类样本映射后的特征向量均值： μ i = 1 n i Σ j = 1 m Σ r = 1 n i j y i j r ]]>其中，ni为第i类中样本的数目，μh为第h类样本的的特征向量均值；B3：最大化类间离散度矩阵，最小化类内离散度矩阵，这一目标可以表示为如下最优化问题： ( α 1 * , α 2 * , ... , α m * ) = arg m a x α 1 , α 2 , ... , α m T r ( S B y ) T r ( S W y ) ]]>其中，Tr(·)为矩阵的迹。3.根据权利要求2所述的基于鉴别局部保持投影的多模态情感特征融合方法，其特征在于步骤B1中，所述特征向量之间的局部保持权重矩阵Wrl，具体定义如下：定义来自相同情感和模态的特征向量xijr与xijl之间的局部保持权重矩阵其中，xijl代表来自第i类情感、第j种模态的第l个样本的特征向量，1≤l≤nij，参数t可由经验进行设定，对来自不同情感或模态的特征向量不考虑它们之间的权重。4.根据权利要求2所述的基于鉴别局部保持投影的多模态情感特征融合方法，其特征在于步骤B2中，所述特征向量均值之间的局部保持权重矩阵Bih，具体步骤和定义如下：首先计算第i类情感、第j种模态的特征向量均值 μ i j ( x ) = 1 n i j Σ r = 1 n i j x i j r ]]>其中的上标(x)代表原样本空间，同样计算来自第h类情感、第j种模态的特征向量均值 μ h j ( x ) = 1 n h j Σ r = 1 n i j x h j r ]]>其中，nhj为属于第h类情感、第j种模态的样本数目，xhjr表示属于第h类情感、第j种模态的第r个样本的特征向量，1≤h≤c；定义来自相同模态的特征向量均值与之间的局部保持权重矩阵其中，参数t同样可由经验进行设定，对于对来自不同模态的特征向量均值不考虑它们之间的权重。5.根据权利要求2所述的基于鉴别局部保持投影的多模态情感特征融合方法，其特征在于步骤B3中，所述的最优化问题,将最大化类间离散度矩阵，最小化类内离散度，得到最大的投影方向具体步骤如下：B3.1：对B3中的最优化问题进行变换，得到如下最优化问题： ( α 1 * , α 2 * , ... , α m * ) = arg m a x α 1 , α 2 , ... , α m T r ( α T D α ) T r ( α T S α ) ]]>最优化式子中分母部分为类内离散度矩阵： α T S α = α 1 T α 2 T ... α m T S 11 S 12 ... S 1 m S 21 S 22 ... S 2 m . . . . . . . . . . . . S m 1 S m 2 ... S m m α 1 α 2 . . ....
【专利技术属性】
技术研发人员：徐嵚嵛，卢官明，闫静杰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。