一种情绪识别方法、装置、设备及介质制造方法及图纸

本申请涉及一种情绪识别方法、装置、设备及介质，本申请通过获取目标对象的目标脸部图像，利用特征提取模型对目标脸部图像进行特征提取，得到图像特征向量，将图像特征向量输入关键点检测模型，得到人脸部位上与情绪关联的人脸关键点的人脸关键点信息，利用情绪识别模型对图像特征向量和人脸关键点信息进行情绪识别处理，得到目标对象的情绪类别信息，将图像特征向量和与情绪相关联的人脸关键点信息共同作为情绪识别模型的输入，大大提高了情绪类别结果的准确性，提高情绪识别模型识别处理的效率。的效率。的效率。

【技术实现步骤摘要】
一种情绪识别方法、装置、设备及介质


[0001]本专利技术涉及数据处理领域，尤其涉及一种情绪识别方法、装置、设备及介质。

技术介绍

[0002]随着科技的不断发展，情绪识别的应用越来越广泛，例如可以被用于制成测谎仪、应用于心理诊所、反恐预警、疲劳驾驶提醒等。现有的情绪识别技术，需要大量的有标注的图像数据进行模型训练，其模型精度依赖训练数据的数量和质量。但是人类的情绪是一种较为复杂的任务，比如对于开心，每个人的面部特征有相似的表达但具体又是有差异的，而想要遍历所有的样本空间是极其困难的，所以会影响学习的模型精度，或者训练出的模型进行情绪识别时，结果不够准确。

技术实现思路

[0003]为了解决上述技术问题，本专利技术提供一种情绪识别方法、装置、设备及介质，可以大大提高情绪识别结果的准确性。
[0004]根据本公开实施例的第一方面，提供一种情绪识别方法，该方法包括：
[0005]获取目标对象的目标脸部图像；
[0006]利用特征提取模型对所述目标脸部图像进行特征提取，得到图像特征向量；
[0007]将所述图像特征向量输入关键点检测模型，得到人脸关键点信息；其中，所述人脸关键点表征人脸部位上与情绪关联的关键点；
[0008]利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息。
[0009]在一种可能的实现方式中，所述利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息之前，所述方法还包括：
[0010]根据所述人脸关键点信息，得到目标情绪参考信息；
[0011]所述利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息包括：
[0012]将所述图像特征向量和所述人脸关键点信息进行拼接，得到目标特征向量；
[0013]利用所述情绪识别模型对所述目标特征向量进行情绪识别处理，得到所述目标对象的情绪类别信息。
[0014]在一种可能的实现方式中，所述人脸关键点信息包括第一关键点信息和第二关键点信息，其中，第一关键点和第二关键点位于目标人脸部位；
[0015]所述根据所述人脸关键点信息，得到目标情绪参考信息包括：
[0016]根据所述第一关键点信息和所述第二关键点信息，得到所述目标人脸部位的情绪参考信息，并将所述目标人脸部位的情绪参考信息作为所述目标情绪参考信息。
[0017]在一种可能的实现方式中，所述人脸关键点信息包括第一关键点信息和第二关键
点信息，其中，第一关键点位于第一目标人脸部位，第二关键点位于第二目标人脸部位；
[0018]所述根据所述人脸关键点信息，得到目标情绪参考信息包括：
[0019]根据所述第一关键点信息和所述第一目标人脸部位对应的第一权重，得到第一目标人脸部位的情绪参考信息；
[0020]根据所述第二关键点信息和所述第二目标人脸部位对应的第二权重，得到第二目标人脸部位的情绪参考信息；
[0021]对所述第一目标人脸部位的情绪参考信息和所述第二目标部位的情绪参考信息进行整合处理，得到所述目标情绪参考信息。
[0022]在一种可能的实现方式中，所述方法还包括：
[0023]获取多个样本数据以及对应数据标签，所述多个样本数据包括多个样本人脸图像的样本图像特征向量和样本人脸关键点信息；所述数据标签为所述样本人脸图像中对象的情绪类别信息；
[0024]将多个所述样本人脸图像的所述样本图像特征向量和所述样本人脸关键点信息输入预设机器学习模型进行类别预测处理，得到所述多个样本人脸图像中对象的情绪类别预测信息；
[0025]基于所述情绪类别预测信息和所述对应数据标签，训练所述预设机器学习模型，得到所述情绪识别模型。
[0026]在一种可能的实现方式中，所述获取目标对象的目标脸部图像之前，所述方法还包括：
[0027]采集所述目标对象在连续时间段内预设数量帧的脸部图像；
[0028]从所述预设数量帧的脸部图像中，得到目标脸部图像。
[0029]在一种可能的实现方式中，所述方法还包括：
[0030]获取所述目标对象的生理信息；
[0031]所述利用情绪模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息包括：
[0032]利用所述情绪识别模型对所述图像特征向量、所述人脸关键点信息和所述目标对象的生理信息进行情绪识别处理，得到所述目标对象的情绪类别信息。
[0033]根据本公开实施例的第二方面，提供一种情绪识别装置，所述装置可以包括：
[0034]目标脸部图像获取模块，用于获取目标对象的目标脸部图像；
[0035]特征提取模块，用于利用特征提取模型对所述目标脸部图像进行特征提取，得到图像特征向量；
[0036]关键点信息确定模块，用于将所述图像特征向量输入关键点检测模型，得到人脸关键点信息；其中，所述人脸关键点表征人脸部位上与情绪关联的关键点；
[0037]情绪识别模块，用于利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息。
[0038]根据本公开实施例的第三方面，提供一种电子设备，包括：
[0039]处理器；
[0040]用于存储所述处理器可执行指令的存储器；
[0041]其中，所述处理器被配置为执行所述指令，以实现上述第一方面中任一项所述方
法。
[0042]根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由车辆功能系统的测试装置/电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一所述方法。
[0043]根据本公开实施例的第五方面，提供一种计算机程序产品，使得计算机执行本公开实施例的第一方面中任一项所述方法。
[0044]实施本申请，具有如下有益效果：
[0045]本申请通过获取目标对象的目标脸部图像，利用特征提取模型对目标脸部图像进行特征提取，得到图像特征向量，将图像特征向量输入关键点检测模型，得到人脸关键点信息，其中人脸关键点表征人脸部位上与情绪关联的关键点，利用情绪识别模型对图像特征向量和人脸关键点信息进行情绪识别处理，得到目标对象的情绪类别信息，将图像特征向量和与情绪相关联的人脸关键点信息共同作为情绪识别模型的输入，大大提高了情绪类别结果的准确性，提高情绪识别模型识别处理的效率。
附图说明
[0046]为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0047]图1为本申请实施例提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，其特征在于，所述方法包括：获取目标对象的目标脸部图像；利用特征提取模型对所述目标脸部图像进行特征提取，得到图像特征向量；将所述图像特征向量输入关键点检测模型，得到人脸关键点信息；其中，所述人脸关键点表征人脸部位上与情绪关联的关键点；利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息。2.根据权利要求1所述的方法，其特征在于，所述利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息之前，所述方法还包括：根据所述人脸关键点信息，得到目标情绪参考信息；所述利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息包括：将所述图像特征向量和所述目标情绪参考信息进行拼接，得到目标特征向量；利用所述情绪识别模型对所述目标特征向量进行情绪识别处理，得到所述目标对象的情绪类别信息。3.根据权利要求2所述的方法，其特征在于，所述人脸关键点信息包括第一关键点信息和第二关键点信息，其中，第一关键点和第二关键点位于目标人脸部位；所述根据所述人脸关键点信息，得到目标情绪参考信息包括：根据所述第一关键点信息和所述第二关键点信息，得到所述目标人脸部位的情绪参考信息，并将所述目标人脸部位的情绪参考信息作为所述目标情绪参考信息。4.根据权利要求2所述的方法，其特征在于，所述人脸关键点信息包括第一关键点信息和第二关键点信息，其中，第一关键点位于第一目标人脸部位，第二关键点位于第二目标人脸部位；所述根据所述人脸关键点信息，得到目标情绪参考信息包括：根据所述第一关键点信息和所述第一目标人脸部位对应的第一权重，得到第一目标人脸部位的情绪参考信息；根据所述第二关键点信息和所述第二目标人脸部位对应的第二权重，得到第二目标人脸部位的情绪参考信息；对所述第一目标人脸部位的情绪参考信息和所述第二目标部位的情绪参考信息进行整合处理，得到所述目标情绪参考信息。5.根据权利要求1所述的方法，其特征在于，所述方法...

【专利技术属性】
技术研发人员：季栋辉，于波，朱成彦，
申请(专利权)人：中汽创智科技有限公司，
类型：发明
国别省市：