一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法技术

本发明专利技术涉及一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法，包括步骤如下：(1)数据预处理：对文本数据、语音数据、微表情数据分别进行预处理，使其符合不同模态对应模型的输入要求；(2)特征提取：对预处理后的文本、语音和微表情三个模态的数据所蕴含的情感信息分别进行提取，获取对应的特征向量；(3)特征融合：采用自权重差分编码器将特征向量进行特征融合：(4)训练模型，得到最优的情感识别模型。本发明专利技术利用自权重差分编码器进行多模态特征融合，通过多个模态特征的交叉互补，有效降低了单模态数据的局限性和错误信息的负面影响，使提取到的情感特征更加丰富、有效和准确，提高了服刑人员的情感识别效果。

An emotion recognition method of prisoners based on multi-modal feature fusion of self weight differential encoder

【技术实现步骤摘要】
一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法
本专利技术涉及一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法，属于情感计算的

技术介绍
从20世纪末期开始，情感在认知过程中的地位越来越重要。当代的认知科学家们把情感与知觉、学习、记忆、言语等经典认知过程相提并论，关于情感本身及情感与其他认知过程间相互作用的研究成为当代认知科学的研究热点，情感识别也成为一个新兴研究领域。情感识别在日常生活中的应用，是在目标人物情感自然流露的情况下，计算机对目标人物的情感进行计算。在多个领域都起着不可替代的作用，例如，在信息家电和智能仪器中，增加自动感知人们的情绪状态的功能，可以提供更好的服务；在信息检索应用中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率；在远程教育平台中，情感识别技术的应用能增加教学效果；利用多模式的情感交互技术，可以构筑更贴近人们生活的智能空间或虚拟场景等等。由于服刑人员行为线索隐匿性强，防范心理严重，依靠单一模态数据进行情感识别，就可能会产生很大的噪音，很难本文档来自技高网...

【技术保护点】
1.一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法，其特征在于，包括步骤如下：/n(1)数据预处理：对文本、语音和微表情三个模态的数据包括文本数据、语音数据、微表情数据分别进行预处理，使其符合不同模态对应模型的输入要求；/n(2)特征提取：对步骤(1)预处理后的文本、语音和微表情三个模态的数据所蕴含的情感信息分别进行提取，获取对应的特征向量；/n(3)特征融合：采用自权重差分编码器将步骤(2)提取到的文本、语音和微表情三个模态的特征向量进行特征融合：所述自权重差分编码器包括自权重模块和五个差分模块；将经过自权重模块输出的各个模态的特征向量进行级联，得到初步的联合特征向量作为输...

【技术特征摘要】
20181029 CN 20181126848761.一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法，其特征在于，包括步骤如下：
(1)数据预处理：对文本、语音和微表情三个模态的数据包括文本数据、语音数据、微表情数据分别进行预处理，使其符合不同模态对应模型的输入要求；
(2)特征提取：对步骤(1)预处理后的文本、语音和微表情三个模态的数据所蕴含的情感信息分别进行提取，获取对应的特征向量；
(3)特征融合：采用自权重差分编码器将步骤(2)提取到的文本、语音和微表情三个模态的特征向量进行特征融合：所述自权重差分编码器包括自权重模块和五个差分模块；将经过自权重模块输出的各个模态的特征向量进行级联，得到初步的联合特征向量作为输入，输入到五个差分模块中；
A、将步骤(2)提取到的文本、语音和微表情三个模态的特征向量输入到所述自权重模块中，通过特征偏移矩阵的作用，对文本、语音和微表情三个模态的特征向量进行初步融合，得到一个包含所有模态信息的初步的联合特征向量；
B、将所述自权重模块输出的初步的联合特征向量作为差分模块的输入，通过差分模块的作用，更深层次的进行特征提取，除去初步的联合特征向量中冗余的部分特征，提炼出不同模态之间互异的特征，得到最终的联合特征；
C、将所述自权重差分编码器输出的最终的联合特征送到分类器进行情感识别。
(4)训练模型：将步骤(1)预处理后的文本、语音和微表情三个模态的数据随机分成n组，每次取n-1组的数据作为训练集，依次执行步骤(1)至步骤(3)，训练基于自权重差分编码器进行多模态特征融合的整体模型，剩下1组数据作为验证集，验证基于自权重差分编码器进行多模态特征融合的整体模型的效果，如此循环，做多次交叉验证，得到最优的基于自权重差分编码器进行多模态特征融合的整体模型作为情感识别模型。


2.根据权利要求1所述的一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法，其特征在于，所述步骤A，所述自权重模块包括一个编码器和一个译码器，通过编码器生成三个模态特征向量对应的特征偏移矩阵，输入到译码器中，与对应模态的特征向量进行相乘，随后级联，得到初步的联合特征向量；包括步骤如下：
f、将步骤(2)提取到的文本、语音和微表情三个模态的特征向量输入到所述自权重模块中，使用random随机函数随机初始化一个特征偏移矩阵，
g、特征偏移矩阵与基于自权重差分编码器进行多模态特征融合的整体模型一起训练，通过反向传播算法得到每个模态的特征向量所对应的最优特征偏移参数；
h、自权重模块通过特征偏移矩阵与对应模态的特征向量进行卷积操作，特征偏移矩阵包括步骤g得到的每个模态的特征向量所对应的所有的最优特征偏移参数，再进行级联，完成各个模态的特征融合，包括：
自权重模块中的编码器对依次输入的三个模态的特征向量进行编码，得到最后一个时间步的状态C，和每个时间步的输出hi，i＝1，2，3，最后一个时间步的状态C又作为译码器的初始状态z0，对每个时间步的输出hi与z0进行余弦相似度的计算，得到对应的特征偏移向量如公式(IV)所示：



求出每个时间步的输出hi与z0的特征偏移向量后，使用softmax函数对其做归一化处理，得到各个时间步对于z0的偏移参数如公式(V)所示：



通过对hi与进行加权求和得到第一个模态的特征向量对应的特征偏移矩阵C0，如公式(VI)所示：



C0作为译码器的下一时间步的输入，如此循环，即把每个时间步的重要信息传到译码器中，得到初步的联合特征向量，如公式(VII)所示：



式(VII)中，hi为每个时间步的输出向量，Cj为第j+1个模态的特征向量对应的特征偏移矩阵，用于译码器中每个时间步的输入，与对应模态的特征向量相乘，随后进行级联，得到初步的的联合特征向量。


3.根据权利要求1所述的一种基于自权重差分编码器进行多模态特征...

【专利技术属性】
技术研发人员：李玉军，张文真，贲晛烨，刘治，朱孔凡，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37