情感识别及模型训练方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开的情感识别及模型训练方法、装置、电子设备及存储介质，属于计算机数据处理技术领域。该方法包括：将多个样本情感数据依次输入待训练的情感识别模型；对每个样本情感数据进行特征提取得到多个初级胶囊特征；对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对每个初级胶囊特征的多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征；根据每个校准初级胶囊特征输出对应样本情感数据的训练识别结果；以及根据训练识别结果确定训练损失函数的函数值，并根据训练损失函数的函数值对情感识别模型进行参数优化。本发明专利技术能够提高进行情感识别时的识别准确率。发明专利技术能够提高进行情感识别时的识别准确率。发明专利技术能够提高进行情感识别时的识别准确率。

【技术实现步骤摘要】
情感识别及模型训练方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机数据处理
，尤其涉及一种情感识别及模型训练方法、装置、电子设备及存储介质。

技术介绍

[0002]随着人机交互领域的快速兴起和对智能感知人类意图和情感的发展需要，有效的情感识别方法已成为该领域的研究热点。情感识别可被归为一种模式识别问题，越来越多研究人员致力于设计深度学习网络框架来解决情感识别问题。胶囊网络因表达能力更强和学习参数更少的优点，近年来受到了广泛的关注和应用。
[0003]但是现有技术在利用传统胶囊网络进行情感识别时，往往存在所提取的特征的情感代表性不足，因而导致对情感识别的准确率不高的问题。

技术实现思路

[0004]本专利技术实施例提供一种情感识别及模型训练方法、装置、电子设备及存储介质，能够训练得到在用于进行情感识别时能够提取得到高情感代表性特征的到情感识别模型，进而提高在利用所得到的情感识别网络模型进行情感识别时的识别准确率。
[0005]第一方面，本专利技术实施例提供一种情感识别模型训练方法，包括：将多个样本情感数据依次输入待训练的情感识别模型，所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；利用所述特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征；利用所述分支胶囊注意力增强层对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对所述每个初级胶囊特征的所述多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征；利用所述分类层根据每个校准初级胶囊特征输出对应所述样本情感数据的训练识别结果；以及根据所述训练识别结果以及对应所述样本情感数据的情感类别确定训练损失函数的函数值，并根据所述训练损失函数的函数值对所述情感识别模型进行参数优化。
[0006]第二方面，本专利技术实施例提供一种情感识别方法，包括：将待识别情感数据输入训练好的情感识别模型；所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；利用所述特征提取层对所述待识别情感数据进行特征提取得到多个待识别初级胶囊特征；利用所述分支胶囊注意力增强层对每个待识别初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个待识别胶囊分支特征，并对所述每个待识别初级胶囊特征的所述多个待识别胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准待识别初级胶囊特征；以及利用所述分类层根据每个校准待识别初级胶囊特征输出所述待识别情感数据的情感类型。
[0007]第三方面，本专利技术实施例提供一种情感识别模型训练装置，包括：样本输入模块，用于将多个样本情感数据依次输入待训练的情感识别模型，所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；样本特征提取模块，用于利用所述特征提取层
对每个样本情感数据进行特征提取得到多个初级胶囊特征；样本特征校准模块，用于利用所述分支胶囊注意力增强层对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对所述每个初级胶囊特征的所述多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征；训练识别结果获取模块，用于利用所述分类层根据每个校准初级胶囊特征输出对应所述样本情感数据的训练识别结果；以及模型参数优化模块，用于根据所述训练识别结果以及对应所述样本情感数据的情感类别确定训练损失函数的函数值，并根据所述训练损失函数的函数值对所述情感识别模型进行参数优化。
[0008]第四方面，本专利技术实施例提供一种情感识别装置，包括：输入模块，用于将待识别情感数据输入训练好的情感识别模型；所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；特征提取模块，用于利用所述特征提取层对所述待识别情感数据进行特征提取得到多个待识别初级胶囊特征；特征校准模块，用于利用所述分支胶囊注意力增强层对每个待识别初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个待识别胶囊分支特征，并对所述每个待识别初级胶囊特征的所述多个待识别胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准待识别初级胶囊特征；以及识别模块，用于利用所述分类层根据每个校准待识别初级胶囊特征输出所述待识别情感数据的情感类型。
[0009]第五方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的情感识别模型训练方法或者情感识别方法。
[0010]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的情感识别模型训练方法或者情感识别方法。
[0011]本专利技术实施例中所提供的一种情感识别及模型训练方法、装置、电子设备及存储介质，通过增加设计分支胶囊注意力增强层对胶囊网络进行改进和调整，从而训练得到能够在用于进行情感识别时，能够提取得到高情感代表性特征的到情感识别模型，进而提高在利用所得到的情感识别网络模型进行情感识别时的识别准确率。
附图说明
[0012]图1是本专利技术实施例提供的情感识别模型训练方法的一个流程示意图；
[0013]图2是本专利技术实施例提供的情感识别模型训练方法的另一个流程示意图；
[0014]图3是本专利技术实施例提供的情感识别模型训练方法中的情感类别示意图；
[0015]图4是本专利技术实施例提供的情感识别模型训练方法的另一个流程示意图；
[0016]图5是本专利技术实施例提供的情感识别方法的一个流程示意图；
[0017]图6是本专利技术实施例提供的情感识别模型训练装置的一个结构示意图；
[0018]图7是本专利技术实施例提供的情感识别装置的一个结构示意图；
[0019]图8是本专利技术实施例提供的电子设备的一个结构示意图。
具体实施方式
[0020]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描
述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0021]图1为本专利技术实施例提供的情感识别模型训练方法的一个流程示意图，该方法可以由本专利技术实施例提供的情感识别模型训练装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是计算机、服务器等。以下实施例将以该装置集成在电子设备中为例进行说明。参考图1，该方法具体可以包括如下步骤：
[0022]步骤101，将多个样本情感数据依次输入待训练的情感识别模型，情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层。能够利于利用上述样本情感数据对待训练的情感识别模型进行训练。
[0023]具体的，上述样本情感数据可以是对利用不同类型情感的刺激场景对受试者进行情感刺激试验时采集的生物电信号进行处理得到的生物电数据。
[0024]具体的，上述样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情感识别模型训练方法，其特征在于，包括：将多个样本情感数据依次输入待训练的情感识别模型，所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；利用所述特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征；利用所述分支胶囊注意力增强层对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对所述每个初级胶囊特征的所述多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征；利用所述分类层根据每个校准初级胶囊特征输出对应所述样本情感数据的训练识别结果；以及根据所述训练识别结果以及对应所述样本情感数据的情感类别确定训练损失函数的函数值，并根据所述训练损失函数的函数值对所述情感识别模型进行参数优化。2.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述对所述每个初级胶囊特征的所述多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征的过程包括：利用激活函数根据所述每个初级胶囊特征的所述多个胶囊分支特征运算得到所述每个初级胶囊特征的总特征；对所述每个初级胶囊特征的总特征进行全局平均池化运算得到所述每个初级胶囊特征的通道关键向量；对所述每个初级胶囊特征的通道关键向量进行线性变换得到所述每个初级胶囊特征的线性通道关键向量；利用与每个胶囊分支特征对应的变换矩阵，将对应所述初级胶囊特征的线性通道关键向量转换为与所述每个胶囊分支特征对应的分支通道注意力向量，并调整每个分支通道注意力向量中的通道注意力值，使得所述每个初级胶囊特征的所述每个胶囊分支特征相同位置的通道注意力权重值的和为1；对所述每个胶囊分支特征根据对应的所述分支通道注意力向量进行校准得到校准胶囊分支特征；以及将所述每个初级胶囊特征对应的所述校准胶囊分支特征进行逐元素相加得到所述多个校准初级胶囊特征。3.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述特征提取层包括：局部特征提取层以及初级胶囊生成层；所述利用所述特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征的过程包括：通过所述局部特征提取层基于激活函数运算得到所述每个样本情感数据的局部特征；以及通过所述初级胶囊生成层基于激活函数对每个样本情感数据的局部特征进行多级卷积运算得到所述多个初级胶囊特征。4.根据权利要求2或3所述的情感识别模型训练方法，其特征在于，所述激活函数为serf激活函数。5.根据权利要求1所述的情感识别模型训练方法，其特征在于，
所述分类层包括：情感胶囊生成层以及情感分类层；所述利用所述分类层根据每个校准初级胶囊特征输出对应所述样本情感数据的训练识别结果的过程包括：通过所述情感胶囊生成层根据所述每个校准初级胶囊特征基于动态路由操作得到多个情感胶囊特征；以及通过所述情感分类层根据每个情感胶囊特征的模长分类得到所述训练识别结果。6.根据权利要求1所述的情感识别模型训练方法，其特征在于，还包括：在所述将多个样本情感数据依次输入待训练的情感识别模型之前，对受试者面对多个情感刺激场景时的生物电信号进行采集，并对所述生物电信号进行处理得到所述多个样本情感数据；所述多个情感刺激场景对应多种不同的情感类别，所述生物电信号包括脑电信号、眼电信号以及肌电信号。7.根据权利要求6所述的情感识别模型训练方法，其特征在于，所述对所述生物电信号进行处理得到所述多个样本情感数据的过程包括：分别利用滤波器对所述脑电信号、所述眼电信号以及所述肌电信号进行伪迹及干扰去除，对应得到滤波脑电信号、滤波眼电信号以及滤波肌电信号；分别对所述滤波脑电信号、所述滤波眼电信...

【专利技术属性】
技术研发人员：王祎男，曹礼军，刘汉旭，魏源伯，王迪，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：