一种基于遗传算法的多模态情感特征融合方法技术

本发明专利技术公开了一种基于遗传算法的多模态情感特征融合方法，属于信号处理与模式识别领域。包括以下内容：建立一个多模态情感数据库，然后对于所述数据库中的每个样本，提取多模态情感数据库样本的各模态情感特征，例如：面部表情特征、语音情感特征以及身体姿态特征等，构造多模态情感特征矩阵，将遗传算法用于多个模态的特征融合，包括基于遗传算法的特征选择、交叉以及重组，最后采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。本发明专利技术针对多模态情感分类识别，提出将遗传算法用于特征层融合，为基于特征层融合的多模态情感分类识别提供了一种新的有效途径。

【技术实现步骤摘要】

本专利技术属于信号处理与模式识别领域，更具体地，涉及一种基于遗传算法的多模态情感特征融合方法。
技术介绍
1997年，麻省理工大学多媒体实验室Picard教授等人成立了世界上第一个从事情感计算的研究团队,研究侧重于情感信号的获取与识别。卡内基梅隆大学研究开发基于情感计算的可穿戴式计算机，致力于情感计算的实际应用研究。2004年我国国家自然科学基金委将情感计算理论与方法的研究首次列入拟资助的重点项目中。2009年,首届全国认知科学研讨会中,首次将“情感计算”列为认知科学领域当前重点关注的前沿课题之一。2010年,为了促进“情感计算”这一主题的研究和发展,IEEE计算机协会新创办了一个以“情感计算”命名的国际学术期刊《IEEE Transaction Affective Computing》。目前，在情感识别领域中，单模态情感识别已经做得非常成熟，在多模态情感识别研究方面，最核心的部分就是多个模态的特征融合，融合的好坏直接影响到最后识别的效果，现在已经有许多融合方法出现：主成分分析(PCA)、典型相关分析(CCA)、核典型相关分析(KCCA)、核矩阵融合(KMF)等。经实验比对，使用上述融合方法得到的识别率均低于使用本专利技术的基于遗传算法的多模态情感特征融合方法得到的识别率。在多模态情感识别方面，现有已公开专利文献中有一项授权号为CN102968643B、名称为“一种基于李群论的多模态情感识别方法”的专利技术专利，该专利技术在分别获取人体、脸部、手部三个不同模态的情感识别率的基础上，依据三种模态特征得到的概率对最终情感状态进行加权决策，是一种决策层融合方法，但该方法并没有考虑不同模态特征数据之间的联系。一般而言，对于同一个情感类别来说，不同模态之间一定是有联系的。遗传算法由美国的J.Holland教授于1975年首先提出,是一种基于自然遗传与种群进化的自适应寻优方法，初始种群，也称父代，父代经过一个操作循环得到第一代子代种群，这个操作循环由3个操作算子组成：选择算子、交叉算子、变异算子。选择算子是根据实际问题需要，计算种群的适应度，筛选掉部分适应度值低的，留下适应度高的种群，这就相当于多模态情感的特征选择，即选择了区分度高的特征进行实验；交叉算子是遗传算法的核心部分，交叉算子将两个个体以交叉率p1重新组合，返回一个新的个体，交叉方法有许多，例如：单点交叉、两点交叉以及多点交叉等。现有技术中，目前还没有发现将上述遗传算法运用于多模态情感特征融合的实践尝试。
技术实现思路
本专利技术要解决的技术问题是针对计算机与人进行情感交流的现有技术中识别率的准确性较低的问题，为人机互话找到了一条新途径。为此，本专利技术提出一种基于遗传算法的多模态情感特征融合方法，采用特征层融合的方式，解决现有技术不能获得较准确识别率的问题，从而构造出友好的人机界面的需求。具体的技术方案如下：一种基于遗传算法的多模态情感特征融合方法，包含以下步骤：一、建立一个多模态情感数据库，包含L类情感的样本，每类情感的样本数为n，总样本数为N＝nL；二、对于数据库中的每个样本，提取T种不同模态的情感特征，如语音特征、表情特征、姿态特征等，其中第t种模态的情感特征用dt维特征向量表示，t＝1,2,…,T，则每个样本的多模态情感特征向量维数为M＝(d1+d2+…+dT)；三、对于数据库中的N个样本，构造一个N*M大小的多模态情感特征矩阵A：其中，矩阵元素ai,j,k是属于第i类情感的第j个样本特征向量的第k维特征值，i＝1,2,…,L，j＝1,2,…,n，k＝1,2,…,M；四、采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。进一步，上述步骤四包含以下子步骤：(1)对于第k维特征，将属于第i类情感的n个样本的特征值进行组合，构成数组计算这个数组的均值和方差定义第p类情感与第q类情感的类内类间距离为Rp,q,k： R p , q , k = | Mean A p , k - Mean A q , k | Var A p , k + Var A q , k , ( p , q = 1 , 2 , ... , L ; k = 1 , 2 , ... , M ) ]]>定义遗传算法中使用的适应度函数为Rk：那么M维特征的适应度函数值可以分别表示为R1,R2,…,RM；(2)定义多模态情感特征矩阵A中第s列特征被选择的概率为： ρ s = R s / Σ k = 1 M R k ]]>给定一个[0,1]区间的均匀随机数α，若ρs≥α，则多模态情感特征矩阵A中第s列特征被选择，否则不被选择，假定经选择后的多模态情感特征矩阵B是一个N*m大小的矩阵，m＜M；(3)使用遗传算法的单点交叉算子对特征矩阵B进行交叉操作，具体内容如下：将矩阵B的奇偶列分离出来，分别构成矩阵Beven和矩阵Bodd，大小分别为N*m1和N*m2，其中m1是矩阵B偶数列的列数，m2是矩阵本文档来自技高网...

【技术保护点】
一种基于遗传算法的多模态情感特征融合方法，其特征在于包含以下步骤：(1.1)建立一个多模态情感数据库，包含L类情感的样本，每类情感的样本数为n，总样本数为N＝nL；(1.2)对于所述数据库中的每个样本，提取T种不同模态的情感特征，其中第t种模态的情感特征用dt维特征向量表示，t＝1,2,…,T，则每个样本的多模态情感特征向量维数为M＝(d1+d2+…+dT)；(1.3)对于数据库中的N个样本，构造一个N*M大小的多模态情感特征矩阵A：其中，矩阵元素ai,j,k是属于第i类情感的第j个样本特征向量的第k维特征值，i＝1,2,…,L，j＝1,2,…,n，k＝1,2,…,M；(1.4)采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。

【技术特征摘要】
1.一种基于遗传算法的多模态情感特征融合方法，其特征在于包含以下步骤：(1.1)建立一个多模态情感数据库，包含L类情感的样本，每类情感的样本数为n，总样本数为N＝nL；(1.2)对于所述数据库中的每个样本，提取T种不同模态的情感特征，其中第t种模态的情感特征用dt维特征向量表示，t＝1,2,…,T，则每个样本的多模态情感特征向量维数为M＝(d1+d2+…+dT)；(1.3)对于数据库中的N个样本，构造一个N*M大小的多模态情感特征矩阵A：其中，矩阵元素ai,j,k是属于第i类情感的第j个样本特征向量的第k维特征值，i＝1,2,…,L，j＝1,2,…,n，k＝1,2,…,M；(1.4)采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。2.根据权利要求1所述的一种基于遗传算法的多模态情感特征融合方法，其特征在于所述步骤1.4包含以下子步骤：(2.1)对于第k维特征，将属于第i类情感的n个样本的特征值进行组合，构成数组计算这个数组的均值和方差定义第p类情感与第q类情感的类内类间距离为Rp,q,k： R p , q , k = | Mean A p , k - Mean A q , k | Var A p , k + Var A q , k , ( p , q = 1 , 2 , ... , L ; k = 1 , 2 , ... , M ) ]]>定义遗传算法中使用的适应度函数为Rk： R k = 2 L ( L - 1...

【专利技术属性】
技术研发人员：程晓，卢官明，闫静杰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32