【技术实现步骤摘要】
本说明书涉及情绪识别，尤其涉及一种情绪预测方法、装置、计算机设备及存储介质。
技术介绍
1、随着人机交互场景的增多，对与用户交互的机器的要求也越来越高。目前，机器可以实现与用户之间进行简单的对话。但由于目前机器采用的提取用户情绪的模型，无法针对采集得到的图像帧，确定是否该图像帧存在对应的情绪，从而对全部图像帧均进行情绪预测分析，致使计算量较大浪费资源和情绪预测的准确率较低，导致无法与人无法进行复杂的对话。
2、如何降低情绪预测模型的计算量，减少资源浪费和提高情绪预测准确率是现有技术中亟需解决的问题。
技术实现思路
1、为解决现有技术中的问题，本说明书实施例提供了一种情绪预测方法、装置、计算机设备及存储介质，针对从待情绪预测视频提取的图像帧和音频帧中，确定用于情绪分析的的表情变动图像帧和目标音频帧，进而仅利用训练后的图形情绪预测模型和训练后的音频情绪预测模型，对该表情变动图像帧和目标音频帧进行处理，以得到对应的目标情绪结果信息。从而在降低资源浪费的基础上提高了情绪预测准确率。
2、为了解决上述技术问题，本说明书的具体技术方案如下：
3、一方面，本说明书实施例提供了一种情绪预测方法，包括，
4、针对接收到的待情绪预测视频进行帧处理，得到图像帧和音频帧；
5、利用器官变动识别模型针对所述图像帧进行处理，以从所述图像帧中确定表情变动图像帧；
6、利用训练后的图像情绪预测模型针对所述表情变动图像帧进行处理，得到图像情绪预
7、利用训练后的音频情绪预测模型针对与所述表情变动图像帧对应的目标音频帧进行处理，得到音频情绪预测概率分布信息；以及
8、根据所述图像情绪预测概率分布信息和所述音频情绪预测概率分布信息，确定与所述待情绪预测视频对应的目标情绪结果信息。
9、进一步，所述利用器官变动识别模型针对所述图像帧进行处理，以从所述图像帧中确定表情变动图像帧进一步包括：
10、利用所述器官变动识别模型对所述图像帧分别进行特征提取，确定特征向量；
11、利用纵横比公式针对所述特征向量进行处理，确定表情变动指标值；以及
12、确定与所述表情变动指标值中大于等于预设阈值的目标表情变动指标值对应的图像帧为所述表情变动图像帧。
13、进一步，该利用器官变动识别模型对所述图像帧分别进行特征提取，确定特征向量进一步包括，
14、针对所述图像帧分别进行人脸识别，并根据所述图像识别的结果从所述图像帧中确定包括人脸的人脸图像帧；
15、利用所述器官变动识别模型对所述人脸图像帧进行处理，确定所述人脸图像帧的唇部位置信息；以及
16、根据所述唇部位置信息，确定所述特征向量。
17、进一步，该唇部位置信息包括左侧嘴唇高度信息、右侧嘴唇高度信息、左侧唇角信息和右侧唇角信息，所述根据所述唇部位置信息，确定所述特征向量进一步包括，
18、针对所述唇部位置信息，根据所述左侧唇角信息和所述右侧唇角信息，确定唇部宽度信息；以及
19、根据所述左侧嘴唇高度信息、所述右侧嘴唇高度信息和所述唇部宽度信息，确定所述特征向量。
20、进一步，该纵横比公式进一步包括：
21、
22、其中，所述i为所述表情变动指标值，所述l为左侧嘴唇高度值，所述r为右侧嘴唇高度值，所述w为所述唇部宽度信息，所述左侧嘴唇高度值根据所述左侧嘴唇高度信息确定，以及所述右侧嘴唇高度值根据所述右侧嘴唇高度信息确定。
23、进一步，该根据所述图像情绪预测概率分布信息和所述音频情绪预测概率分布信息，确定与所述待情绪预测视频对应的目标情绪结果信息进一步包括，
24、根据所述表情变动图像帧，从所述图像情绪预测概率分布信息和所述音频情绪预测概率分布信息中，分别确定目标图像情绪预测概率分布信息和目标音频情绪预测概率分布信息；
25、根据所述目标图像情绪预测概率分布信息和所述目标音频情绪预测概率分布信息，确定目标情绪预测概率分布信息；以及
26、根据所述目标情绪预测概率分布信息，确定所述目标情绪结果信息。
27、进一步，该根据所述目标图像情绪预测概率分布信息和所述目标音频情绪预测概率分布信息，确定目标情绪预测概率分布信息进一步包括，
28、将所述目标图像情绪预测概率分布信息和所述目标音频情绪预测概率分布信息进行加和计算，确定所述目标情绪预测概率分布信息；
29、和；
30、所述根据所述目标情绪预测概率分布信息，确定所述目标情绪结果信息包括：
31、针对所述目标情绪预测概率分布信息包括的多个概率数值进行对比，确定预目标情绪结果信息；以及
32、将所述预目标情绪结果信息中相同个数最多的预目标情绪结果信息作为所述目标情绪结果信息
33、另一方面，本说明书实施例还提供了情绪预测装置，包括，
34、帧处理单元，用于针对接收到的待情绪预测视频进行帧处理，得到图像帧和音频帧；
35、第一确定单元，用于利用器官识别模型针对所述图像帧进行处理，以从所述图像帧中确定表情变动图像帧；
36、第一处理单元，用于利用训练后的图像情绪预测模型针对所述表情变动图像帧进行处理，得到图像情绪预测概率分布信息；
37、第二处理单元，用于利用训练后的音频情绪预测模型针对与所述表情变动图像帧对应的目标音频帧进行处理，得到音频情绪预测概率分布信息；以及
38、第二确定单元，用于根据所述图像情绪预测概率分布信息和所述音频情绪预测概率分布信息，确定与所述待情绪预测视频对应的目标情绪结果信息。
39、另一方面，本说明书实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
40、另一方面，本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现上述的方法。
41、利用本说明书实施例，通过从待情绪预测视频中提取图像帧和音频帧，针对图像帧进行表情变动识别，从图像帧中确定表情变动图像帧。从音频帧中，确定与表情变动图像帧对应的音频帧为目标音频帧。利用训练后的图像情绪预测模型和训练后的音频情绪预测模型对该表情变动图像帧和目标音频帧进行处理，得到图像情绪预测概率分布信息和音频情绪预测概率分布信息。进而在图像情绪预测概率分布信息和音频情绪预测概率分布信息的基础上，确定目标情绪结果信息。实现了从图像帧和音频帧中，确定用于情绪分析的表情变动图像帧和目标音频帧，进而仅对表情变动图像帧和目标音频帧进行处理，而不对全部图像帧和全部音频帧进行处理，从而降低了计算量。此外，避免了由于全部图像帧和全部音频帧中干扰的帧对目标情绪结果信息的影响，提高了情绪预测的准确率。...
【技术保护点】
1.一种情绪预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用器官变动识别模型针对所述图像帧进行处理，以从所述图像帧中确定表情变动图像帧包括：
3.根据权利要求2所述的方法，其特征在于，所述利用器官变动识别模型对所述图像帧分别进行特征提取，确定特征向量包括：
4.根据权利要求3所述的方法，其特征在于，所述唇部位置信息包括左侧嘴唇高度信息、右侧嘴唇高度信息、左侧唇角信息和右侧唇角信息，所述根据所述唇部位置信息，确定所述特征向量包括：
5.根据权利要求4所述的方法，其特征在于，所述纵横比公式包括：
6.根据权利要求1所述的方法，其特征在于，所述根据所述图像情绪预测概率分布信息和所述音频情绪预测概率分布信息，确定与所述待情绪预测视频对应的目标情绪结果信息包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标图像情绪预测概率分布信息和所述目标音频情绪预测概率分布信息，确定目标情绪预测概率分布信息包括：
8.一种情绪预测装置，其特征在于，包括：
9.一种
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述权利要求1-7任一项的方法。
...【技术特征摘要】
1.一种情绪预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用器官变动识别模型针对所述图像帧进行处理，以从所述图像帧中确定表情变动图像帧包括：
3.根据权利要求2所述的方法，其特征在于，所述利用器官变动识别模型对所述图像帧分别进行特征提取，确定特征向量包括：
4.根据权利要求3所述的方法，其特征在于，所述唇部位置信息包括左侧嘴唇高度信息、右侧嘴唇高度信息、左侧唇角信息和右侧唇角信息，所述根据所述唇部位置信息，确定所述特征向量包括：
5.根据权利要求4所述的方法，其特征在于，所述纵横比公式包括：
6.根据权利要求1所述的方法，其特征在于，所述根据所述图像情绪预测...
【专利技术属性】
技术研发人员：邵卫，宋林琦，
申请(专利权)人：香港城市大学深圳研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。