情感识别的处理方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种情感识别的处理方法、装置、电子设备和存储介质，其中，方法包括：获取待识别情感脑电信号；基于待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵；基于预先训练获得的多维情感特征选择模型，确定特征权重向量，多维情感特征选择模型的目标函数包括全局特征冗余矩阵、全局标签关联矩阵和正交回归矩阵；基于特征权重向量，对第一特征矩阵进行特征选择，获得脑电特征子集；基于脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。本公开实施例可以选择出有表征性且非冗余的脑电特征子集，有效降低特征维度，解决现有技术容易在特征子集中保留高度相关的特征等问题。题。题。

Processing method, device, electronic device and storage medium of emotion recognition

【技术实现步骤摘要】
情感识别的处理方法、装置、电子设备和存储介质


[0001]本公开涉及情感识别技术，尤其是一种情感识别的处理方法、装置、电子设备和存储介质。

技术介绍

[0002]近年来，情感识别(Emotion Recognition)已成为人机交互、信号处理、机器学习等领域的重点研究课题之一。由于情感的产生本身伴随着生理和心理活动的进行，利用人的神经生理信号来挖掘情感信息成为关键技术之一。其中，脑电(Electroencephalogram，EEG)因其高时间分辨率、无创性和低成本等优点，已被广泛应用于情感识别研究。相较于较少的样本量，脑电特征所具有的高维度特点给基于脑电的情感分类带来了困难。因此，当提取的脑电特征数目较多时，特征选择(Feature Selection)步骤非常关键。特征选择是指从已有的D个特征中选择M(M＜D)个特征使得系统的特定指标最优化，是从原始特征中选择出一些最有效特征以降低数据集维度的过程。现有技术中，脑电特征选择方法分为以下三类：过滤式(Filter)、包裹式(Wrapper)和嵌入式(Embedded)。过滤式方法的总体思路是特征选择步骤独立于学习器构建过程，对原始特征进行筛选后再训练分类模型。这种方法没有与分类模型的构建联系在一起，因此过滤式方法往往难以获得有判别力的特征子集。包裹式方法计算复杂度高。嵌入式方法虽然考虑特征在分类任务中的重要性，但是，由于脑电信号存在容积传导现象，每个电极上采集到的信号往往是多个潜在源信号的线性叠加结果，从而导致通道间信号存在高度相关性。这种相关性使得从脑电信号提取得到特征中可能存在大量冗余和相似信息，尤其是从相邻或对称电极提取的特征，这些冗余的特征将导致较高的计算复杂度、分类器过拟合等问题，使得后续的情感识别变得困难。现有的脑电特征选择方法忽略了所选特征之间的相关性，导致在特征子集中保留高度相关的特征，无法克服容积传导效应带来的高度冗余性问题。

技术实现思路

[0003]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种情感识别的处理方法、装置、电子设备和存储介质。
[0004]根据本公开实施例的一个方面，提供了一种情感识别的处理方法，包括：获取待识别情感脑电信号；基于所述待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵；基于预先训练获得的多维情感特征选择模型，确定特征权重向量，所述多维情感特征选择模型的目标函数包括全局特征冗余矩阵、全局标签关联矩阵和正交回归矩阵；基于所述特征权重向量，对所述第一特征矩阵进行特征选择，获得脑电特征子集；基于所述脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。
[0005]根据本公开实施例的另一个方面，提供了一种情感识别的处理装置，包括：第一获取模块，用于获取待识别情感脑电信号；第一特征提取模块，用于基于所述待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵；第一处理模块，用于基于预
先训练获得的多维情感特征选择模型，确定特征权重向量；第二处理模块，用于基于所述特征权重向量，对所述第一特征矩阵进行特征选择，获得脑电特征子集；第三处理模块，用于基于所述脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。
[0006]根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的方法。
[0007]根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的方法。
[0008]基于本公开上述实施例提供的情感识别的处理方法、装置、电子设备和存储介质，基于预先训练获得的多维情感特征选择模型确定特征权重向量，进而基于特征权重向量选择出具有表征性且非冗余的脑电特征子集，进而基于训练获得的多维情感分类模型对选择出的脑电特征子集进行情感识别，获得对应的情感识别结果。由于多维情感特征选择模型基于正交回归矩阵、全局标签关联矩阵和全局特征冗余矩阵综合考虑了多维情感标签之间的局部关联性、脑电特征间的全局冗余性及多维情感标签之间的全局关联性，基于获得的特征权重向量进行特征选择可以选择出有表征性且非冗余的脑电特征子集，有效降低特征维度，提高特征选择的准确性，解决现有技术容易在特征子集中保留高度相关的特征而无法克服容积传导效应带来的高度冗余性问题。
[0009]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0010]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0011]图1是本公开提供的情感识别的处理方法的一个示例性的应用场景；
[0012]图2是本公开一示例性实施例提供的情感识别的处理方法的流程示意图；
[0013]图3是本公开另一示例性实施例提供的情感识别的处理方法的流程示意图；
[0014]图4是本公开一示例性实施例提供的Redundancy指标的对比结果示意图；
[0015]图5是本公开一示例性实施例提供的Coverage指标的对比结果示意图；
[0016]图6是本公开一示例性实施例提供的Hamming loss指标的对比结果示意图；
[0017]图7是本公开一示例性实施例提供的Ranking loss指标的对比结果示意图；
[0018]图8是本公开一示例性实施例提供的Average precision指标的对比结果示意图；
[0019]图9是本公开一示例性实施例提供的Macro
‑
F1指标的对比结果示意图；
[0020]图10是本公开一示例性实施例提供的Micro
‑
F1指标的对比结果示意图；
[0021]图11是本公开一示例性实施例提供的目标函数值的收敛曲线示意图；
[0022]图12是本公开一示例性实施例提供的情感识别的处理装置的结构示意图；
[0023]图13是本公开另一示例性实施例提供的情感识别的处理装置的结构示意图；
[0024]图14是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
[0025]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0026]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0027]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情感识别的处理方法，其特征在于，包括：获取待识别情感脑电信号；基于所述待识别情感脑电信号，提取至少两种类型的情感脑电特征，构成第一特征矩阵；基于预先训练获得的多维情感特征选择模型，确定特征权重向量，所述多维情感特征选择模型的目标函数包括全局特征冗余矩阵、全局标签关联矩阵和正交回归矩阵；基于所述特征权重向量，对所述第一特征矩阵进行特征选择，获得脑电特征子集；基于所述脑电特征子集及预先训练获得的多维情感分类模型，获得情感识别结果。2.根据权利要求1所述的方法，其特征在于，在所述基于预先训练获得的多维情感特征选择模型，确定特征权重系数之前，所述方法还包括：获取训练样本数据，所述训练样本数据包括训练情感脑电信号及对应的情感标签数据；基于所述训练样本数据，确定训练情感脑电特征矩阵及对应的情感标签矩阵；将所述训练情感脑电特征矩阵中的每类情感脑电特征进行正态分布标准化，获得对应的标准化特征矩阵；基于所述标准化特征矩阵、所述情感标签矩阵及预设目标函数，对多维情感特征选择模型的映射矩阵、潜在语义矩阵和特征权重矩阵进行迭代训练，直至所述预设目标函数的值收敛，获得训练好的所述多维情感特征选择模型。3.根据权利要求2所述的方法，其特征在于，所述基于预先训练获得的多维情感特征选择模型，确定特征权重向量，包括：基于所述多维情感特征选择模型的特征权重矩阵，确定所述特征权重向量；在获得训练好的所述多维情感特征选择模型之后，还包括：基于所述特征权重向量，确定选择后的训练脑电特征子集及对应的情感标签数据；基于所述训练脑电特征子集及对应的情感标签数据，训练获得所述多维情感分类模型，所述多维情感分类模型采用多标签k近邻分类器。4.根据权利要求2所述的方法，其特征在于，所述预设目标函数为：s.t.W
T
W＝I
K
,θ
T1D
＝1,θ≥0其中，X表示所述标准化特征矩阵，X∈R
D
×
N
，D表示所述标准化特征矩阵中特征的数量，N表示样本数量，s.t.表示满足于后面的条件，θ表示特征权重向量，θ∈R
D
×1，θ≥0表示特征权重向量中的权重值大于或等于0，Θ表示所述特征权重矩阵，Θ∈R
D
×
D
，Θ是特征权重向量θ对角化获得的矩阵，W表示所述映射矩阵，W是正交回归矩阵，W∈R
D
×
K
，K表示情感标签的维度数量，W满足正交回归约束W
T
W＝I
K
，I
K
为K
×
K的单位矩阵，V表示所述潜在语义矩阵，V∈R
N
×
K
，Y表示所述情感标签矩阵，Y∈R
N
×
K
，α、η、λ、β为平衡参数，1
N
为全为1的列向量，即1
N
＝[1,1,
…
...

【专利技术属性】
技术研发人员：邬霞，徐雪远，贾甜远，
申请(专利权)人：北京师范大学，
类型：发明
国别省市：