一种基于遗传算法的多模态情感特征融合方法技术

技术编号:13975141 阅读:148 留言:0更新日期:2016-11-11 09:25
本发明专利技术公开了一种基于遗传算法的多模态情感特征融合方法,属于信号处理与模式识别领域。包括以下内容:建立一个多模态情感数据库,然后对于所述数据库中的每个样本,提取多模态情感数据库样本的各模态情感特征,例如:面部表情特征、语音情感特征以及身体姿态特征等,构造多模态情感特征矩阵,将遗传算法用于多个模态的特征融合,包括基于遗传算法的特征选择、交叉以及重组,最后采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。本发明专利技术针对多模态情感分类识别,提出将遗传算法用于特征层融合,为基于特征层融合的多模态情感分类识别提供了一种新的有效途径。

【技术实现步骤摘要】

本专利技术属于信号处理与模式识别领域,更具体地,涉及一种基于遗传算法的多模态情感特征融合方法
技术介绍
1997年,麻省理工大学多媒体实验室Picard教授等人成立了世界上第一个从事情感计算的研究团队,研究侧重于情感信号的获取与识别。卡内基梅隆大学研究开发基于情感计算的可穿戴式计算机,致力于情感计算的实际应用研究。2004年我国国家自然科学基金委将情感计算理论与方法的研究首次列入拟资助的重点项目中。2009年,首届全国认知科学研讨会中,首次将“情感计算”列为认知科学领域当前重点关注的前沿课题之一。2010年,为了促进“情感计算”这一主题的研究和发展,IEEE计算机协会新创办了一个以“情感计算”命名的国际学术期刊《IEEE Transaction Affective Computing》。目前,在情感识别领域中,单模态情感识别已经做得非常成熟,在多模态情感识别研究方面,最核心的部分就是多个模态的特征融合,融合的好坏直接影响到最后识别的效果,现在已经有许多融合方法出现:主成分分析(PCA)、典型相关分析(CCA)、核典型相关分析(KCCA)、核矩阵融合(KMF)等。经实验比对,使用上本文档来自技高网...

【技术保护点】
一种基于遗传算法的多模态情感特征融合方法,其特征在于包含以下步骤:(1.1)建立一个多模态情感数据库,包含L类情感的样本,每类情感的样本数为n,总样本数为N=nL;(1.2)对于所述数据库中的每个样本,提取T种不同模态的情感特征,其中第t种模态的情感特征用dt维特征向量表示,t=1,2,…,T,则每个样本的多模态情感特征向量维数为M=(d1+d2+…+dT);(1.3)对于数据库中的N个样本,构造一个N*M大小的多模态情感特征矩阵A:其中,矩阵元素ai,j,k是属于第i类情感的第j个样本特征向量的第k维特征值,i=1,2,…,L,j=1,2,…,n,k=1,2,…,M;(1.4)采用遗传算法对...

【技术特征摘要】
1.一种基于遗传算法的多模态情感特征融合方法,其特征在于包含以下步骤:(1.1)建立一个多模态情感数据库,包含L类情感的样本,每类情感的样本数为n,总样本数为N=nL;(1.2)对于所述数据库中的每个样本,提取T种不同模态的情感特征,其中第t种模态的情感特征用dt维特征向量表示,t=1,2,…,T,则每个样本的多模态情感特征向量维数为M=(d1+d2+…+dT);(1.3)对于数据库中的N个样本,构造一个N*M大小的多模态情感特征矩阵A:其中,矩阵元素ai,j,k是属于第i类情感的第j个样本特征向量的第k维特征值,i=1,2,…,L,j=1,2,…,n,k=1,2,…,M;(1.4)采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。2.根据权利要求1所述的一种基于遗传算法的多模态情感特征融合方法,其特征在于所述步骤1.4包含以下子步骤:(2.1)对于第k维特征,将属于第i类情感的n个样本的特征值进行组合,构成数组计算这个数组的均值和方差定义第p类情感与第q类情感的类内类间距离为Rp,q,k: R p , q , k = | Mean A p , k - Mean A q , k | Var A p , k + Var A q , k , ( p , q = 1 , 2 , ... , L ; k = 1 , 2 , ... , M ) ]]>定义遗传算法中使用的适应度函数为Rk: R k = 2 L ( L - 1...

【专利技术属性】
技术研发人员:程晓卢官明闫静杰
申请(专利权)人:南京邮电大学
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1