【技术实现步骤摘要】
本专利技术涉及人机交互领域，主要是涉及情感计算领域，具体来说，本专利技术是一种使用序列特征表示，基于混合长短期记忆网络的多模态生理信号情感计算方法。
技术介绍
1、情感计算(affective computing)是一个跨学科研究领域，涉及计算机科学、心理学和认知科学等多个学科，旨在研究和开发能够识别、解释、处理和模拟人类情感的理论、方法和系统。情感计算的常见输入信号包括视频(面部表情、肢体动作等)、音频、文本、生理信号等。与面部表情赖于生理信号的采集。目前使用最多的数据库是2012年由koelstra等开源的deap数据库，该数据库被试人员达到32人，记录了自主神经系统的32通道的脑电信号eeg和8通道的外周生理信号pps，此外还等不同，脑电等生理信号不易伪装，更能反应个体的真实情绪状态，因而基于生理信号的情绪识别在诸如临床诊断、治疗等方面有着重要作用。故随着5g技术、物联网、人机交互、机器学习尤其是深度学习等技术的不断发展，基于生理信号的情感计算在医疗保健、媒体娱乐、信息检索、教育以及智能可穿戴设备等领域都有着广阔的应用前景。
2、基于生理信号的情感计算方法主要分为两个步骤：生理信号特征提取和模式识别情绪分类。其中生理信号特征提取首先依保存了其中20个人在受试期间的录像，通过对情绪3维的模型建模首次深入的论证了数据库的建立过程和多模态的数据融合方式，是目前使用数量最多的数据库之一。生理信号本身是一种在时域上的模态，但是根据现有的技术和信号模态的特点，可以利用傅里叶变换将其转换到频域，利用短时傅里叶变换、小波变换转
3、关于情绪分类部分，目前在只针对于多通道脑电的情感计算研究工作中，已有的方法包括使用图卷积神经网络dgcnn模型进行情绪识别，该模型的基本思想是使用图形来模拟多通道eeg；此外还有工作使用深度置信网络dbn，该模型从多通道eeg数据中提取差分熵特征来进行训练。和句子、视频或音频流类似，生理信号不是固定长度的数据，这种数据通常需要表示成不同长度的序列，这就是序列特征表示。利用序列特征表示进行分析的最主要网络就是rnn及其变体lstm。已有工作应用相关的网络模型，比如atdd-lstm模型，通过将注意机制应用于lstm产生的特征向量，自动选择合适的eeg通道进行情感识别。hetemotionnet使用双流异构图递归神经网络来融合多模态生理信号进行情绪识别，该网络由时空流和空间流组成，可以在统一的框架内融合时间和空间特征。
4、现有的方法越来越多的关注到信号在不同特征域上的表现精度，并且由于在情绪产生过程中生理信号的变化是复杂多变的，所以也更多的注重不同信号之间的互补关系。然而在特征提取过程中，由于生理信号的复杂性，其和情绪之间的关系不能由几个数学特征很好的表征出来，未能最大化的利用生理信号的隐含信息，此外在生理信号的选取上，更多的是在多通道脑电之间的研究，研究的多模态融合方法也更集中于多通道的脑电，但是由于情绪产生时会引起多种生理信号同时发生变化，故研究不同信号的多模态情感识别方法是有意义的。
技术实现思路
1、本专利技术立足于弥补现有技术的不足，以科学的思想和严谨的态度，提出一种使用混合长短期记忆网络融合序列特征的多模态生理信号情感计算方法。本专利技术将不同模态的生理信号结合起来，利用序列特征表示，再通过降维自编码器提取非线性特征，不仅可以学习单个模态的情绪相关特征，还学习了模态之间的互补性，建立一个识别精度高，模型训练过程效率快的情感计算方法。该方法不仅提高情绪识别的准确率，在不同模态的融合方面也有更好的普适性。
2、本专利技术的技术方案如下：
3、本专利技术提供了一种使用混合长短期记忆网络融合不同模态生理信号的情感计算方法。充分考虑了eeg和pps最适合的特征域，利用降维自编码器在eeg的频域和pps时域上提取深层非线性特征，最大化的利用信号的隐含信息，同时采用序列特征表示将不同模态的生理信号进行融合，有效的利用了不同模态之间互补性，不仅在一定程度上提高了情感计算的准确率，也加快了训练过程的收敛速度。
4、本专利技术方法的总体执行流程如下：
5、阶段一：训练数据库和评价模型的选择：
6、由于本专利技术需要利用不同模态生理信号之间的异质性和互补性，需要数据库包含多种生理信号。在情感评价模型上，目前分为两个分支，连续情感模型和离散情感模型。离散情感模型更有利于与实际生产生活相对应。连续情感模型在已有的研究工作中使用更多，更有利于量化评价指标以及和相关工作对比。据此，选用使用最多的deap数据库和二维连续评价指标(arousal-valence)，此外，为了与已有工作对比和更好的与离散指标进行转化，本专利技术在情感计算的最后分类结果上不仅考虑了二分类任务，同时考虑了多分类任务。以arousal维度为例具体来说，公式1为二分类，公式2为多分类，可通过维度模型与离散指标转化。
7、
8、
9、阶段二：生理信号特征提取与处理：
10、在信号特征处理模块中，由于eeg为了增大数据量首先需要对原始信号进行切割，由于切割之后连续的两个切片之间的时序信息会丧失，故在切割过程中需要保留一部分信号重叠片段。具体的分割方法为将一段原长63s的信号每0.5s分割一段，片段与片段之间的滑动步长为0.125s。分割信号之后需要对eeg每一片段信号进行特征变换，具体来说使用快速傅里叶变换fft将时域信号转换到频域，再计算五个频段的psd特征。pps信号保持时域的特征域。为了降低后期计算的复杂度，同时消除信号内的噪声，需要对特征维数进行降维，在进行了大量的实验以及分析对比时间效率和重建损失后，本专利技术采用自编码器对分别对eeg信号和不同的pps信号进行重建和降维，对于eeg信号来说，降维的同时可以融合不同通道信号的特征。在评价指标上，根据上述公式分别将评分转换为对应的整数标签。
11、阶段三：序列特征表示的构造和神经网络的设计：
12、在情绪识别模块，由于情绪是一个长时间的表现过程，并且情绪的产生会导致多种信号同时发生变化，所以需要首先使用单模态bi-lstm网络学习单一模态的情绪相关特征系，再通过多模态融合bi-lstm网络学习不同模态之间的彼此依赖关系。
13、由于情绪的产生和延续是一个连续的过程，相应的生理信号也需要充分考虑整个过程的变化和连续性。lstm网络可以充分考虑序列特征的上文依赖长期依赖关系，如公式3所示，双向长短期记忆本文档来自技高网...
【技术保护点】
1.一种基于混合Bi-LSTM的多模态生理信号情感计算方法，其特征在于分别使用单模态神经网络和多模态融合神经网络对各个信号的特征进行学习，整个网络部分包括提取非线性特征的降维自编码器模块和提取情绪相关的情绪识别模块：
2.根据权利1所述基于混合双向长短期记忆网络Bi-LSTM的多模态生理信号情感计算方法，其特征在于。所属的DAE结构能够提取对应模态的非线性特征，并进行降维从而减少后续训练的负担。情绪识别模块由单模态Bi-LSTM网络和多模态融合Bi-LSTM网络构成，既能端到端的学习每个模态和情绪相关的特征，又能学习多个模态之间的相关性，进一步提高本方法的识别效率。
【技术特征摘要】
1.一种基于混合bi-lstm的多模态生理信号情感计算方法，其特征在于分别使用单模态神经网络和多模态融合神经网络对各个信号的特征进行学习，整个网络部分包括提取非线性特征的降维自编码器模块和提取情绪相关的情绪识别模块：
2.根据权利1所述基于混合双向长短期记忆网络bi-lstm的多...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。