【技术实现步骤摘要】
本公开涉及图像识别与人工智能领域，尤其涉及一种情绪识别方法、装置、电子设备、芯片及介质。
技术介绍
1、相关技术中，为了准确识别用户的情绪，提出了基于语音和面部表情的多模态情绪识别方法，而其中的语音识别算法容易受到其他噪声的干扰，面部表情识别算法对遮挡、角度、光照等条件的变化比较敏感，导致情绪识别准确率不高。
技术实现思路
1、本公开提供一种情绪识别方法、装置、电子设备、芯片及介质，以解决相关技术中，情绪识别模型抗干扰能力差、情绪识别准确率低的问题，通过提取用户的光流和骨骼节点融合的身体动作特征，结合面部表情特征，丰富了情绪识别需要的特征维度，根据情绪特征，利用深度卷积神经网络识别目标对象的情绪，提高了情绪识别的抗干扰能力和识别准确率。
2、本公开的第一方面实施例提出了一种情绪识别方法，该方法包括：
3、获取目标对象的视频数据；
4、基于视频数据，提取目标对象的身体动作特征和面部表情特征；
5、根据身体动作特征和面部表情特征，通过特征融合确定目标对象的情绪特征；
6、根据情绪特征，利用深度卷积神经网络识别目标对象的情绪。
7、本公开的一种实施例中，基于视频数据，提取目标对象的身体动作特征和面部表情特征包括：
8、基于视频数据，确定目标对象的光流数据和骨骼节点数据，光流数据为目标对象的移动大小和方向的图像表示，骨骼节点数据为目标对象的关键点坐标；
9、根据光流数据和骨骼节点数据，提取目标对
10、预处理视频数据，获得目标对象的面部图像数据；
11、基于面部图像数据，提取目标对象的面部表情特征。
12、本公开的一种实施例中，基于视频数据，确定目标对象的光流数据和骨骼节点数据包括：
13、划分视频数据为至少两个子片段；
14、从至少两个子片段中随机抽取一个子片段，生成第一光流子片段；
15、基于视频数据，确定目标对象的第一图像数据；
16、根据第一图像数据，通过姿态识别神经网络确定目标对象的骨骼节点数据。
17、本公开的一种实施例中，根据光流数据和骨骼节点数据，提取目标对象的身体动作特征包括：
18、根据至少两个子片段和第一光流子片段，确定第一动作特征；
19、根据骨骼节点数据，通过时空图卷积网络提取第二动作特征；
20、在全连接残差神经网络中将第一动作特征和第二动作特征融合为目标对象的身体动作特征。
21、本公开的一种实施例中，根据至少两个子片段和第一光流子片段，确定第一动作特征包括：
22、根据至少两个子片段和第一光流子片段，确定至少两个子片段的光流子片段序列；
23、基于光流子片段序列，通过时间片段网络预测第一动作片段；
24、聚合第一动作片段作为第一动作特征。
25、本公开的一种实施例中，根据骨骼节点数据，通过时空图卷积网络提取第二动作特征包括：
26、基于视频数据，确定目标对象的第一图像数据；
27、根据第一图像数据，通过姿态识别神经网络提取第一骨骼节点特征；
28、根据第一骨骼节点特征，通过时空图卷积网络提取第二动作特征。
29、本公开的一种实施例中，基于面部图像数据，提取目标对象的面部表情特征包括：
30、确定面部图像数据在目标坐标系的每个方向的梯度，目标坐标系包括横轴、纵轴、时间轴三个方向；
31、通过三个方向的梯度计算对应的梯度方向；
32、根据梯度方向，确定目标对象的面部表情特征。
33、本公开的一种实施例中，根据梯度方向，确定目标对象的面部表情特征包括：
34、根据梯度方向，确定目标坐标系中每个平面的方向梯度直方图；
35、归一化每个平面的方向梯度直方图；
36、将依次连接的归一化后的每个平面的方向梯度直方图作为面部表情特征。
37、本公开的第二方面实施例提出了一种情绪识别装置，该装置包括：
38、视频获取模块，用于获取目标对象的视频数据；
39、特征提取模块，用于基于视频数据，提取目标对象的身体动作特征和面部表情特征；
40、特征融合模块，用于根据身体动作特征和面部表情特征，通过特征融合确定目标对象的情绪特征；
41、情绪识别模块，用于根据情绪特征，利用深度卷积神经网络识别目标对象的情绪。
42、本公开的第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例中任一项的方法。
43、本公开的第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行本公开第一方面实施例中的方法。
44、本公开的第五方面实施例提出了一种计算机程序产品，其特征在于，包括计算机程序，计算机程序在被处理器执行时实现本公开第一方面实施例中任一项的方法。
45、本公开的第六方面实施例提出了一种芯片，包括至少一个处理器和通信接口；通信接口用于接收输入芯片的信号或从芯片输出的信号，处理器与通信接口通信且通过逻辑电路或执行代码指令实现本公开第一方面实施例中任一项的方法。
46、综上，根据本公开提出的情绪识别方法，获取目标对象的视频数据，为情绪识别提供了数据来源；基于视频数据，提取目标对象的身体动作特征和面部表情特征，为用户提供了全面且准确的动作特征；根据身体动作特征和面部表情特征，通过特征融合确定目标对象的情绪特征，为情绪识别提供了丰富的特征数据，提高了情绪识别模型的抗干扰能力；根据情绪特征，利用深度卷积神经网络识别目标对象的情绪，提高了情绪识别的准确率。
47、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本文档来自技高网...【技术保护点】
1.一种情绪识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述视频数据，提取所述目标对象的身体动作特征和面部表情特征包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述视频数据，确定所述目标对象的光流数据和骨骼节点数据包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述光流数据和所述骨骼节点数据，提取所述目标对象的身体动作特征包括：
5.根据权利要求要求4所述的方法，其特征在于，所述根据所述至少两个子片段和所述第一光流子片段，确定第一动作特征包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述骨骼节点数据，通过时空图卷积网络提取第二动作特征包括：
7.根据权利要求2所述的方法，其特征在于，所述基于所述面部图像数据，提取所述目标对象的所述面部表情特征包括：
8.根据权利要求7所述的方法，其特征在于，所述根据所述梯度方向，确定所述目标对象的所述面部表情特征包括：
9.一种情绪识别装置，其特征在于，所述装置包括：
...【技术特征摘要】
1.一种情绪识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述视频数据，提取所述目标对象的身体动作特征和面部表情特征包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述视频数据，确定所述目标对象的光流数据和骨骼节点数据包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述光流数据和所述骨骼节点数据，提取所述目标对象的身体动作特征包括：
5.根据权利要求要求4所述的方法，其特征在于，所述根据所述至少两个子片段和所述第一光流子片段，确定第一动作特征包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述骨骼节点数据，通过时空图卷积网络提取第二动作特征包括：
7.根据权利要求2所述的方法，其特征在于，所述基于所述面部图像数据，提取所述目标对象...
【专利技术属性】
技术研发人员：钟谭媛，
申请(专利权)人：中移苏州软件技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。