一种表情识别方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种表情识别方法、装置、存储介质及电子设备，本说明书实施例在对采集的视频进行人脸检测得到各人脸图像之后，通过情绪检测模型确定出各人脸图像的情绪检测结果。情绪检测结果用于表示人脸情绪起伏程度。然后，根据各人脸图像的情绪检测结果，从预先对各人脸图像进行分组所得到的各组合中选择出目标组合。将目标组合中的人脸图像输入到表情识别模型中以输出表情类别，并基于输出的表情类别，确定出最终表情类别。在此方法中，通过情绪检测模型从视频中筛选出人脸情绪起伏程度最大的关键视频段，并通过表情识别模型只对关键视频段中人脸的表情进行识别，无需对视频中的其他视频段进行人脸表情识别，从而提高表情识别的准确性。情识别的准确性。情识别的准确性。

【技术实现步骤摘要】
一种表情识别方法、装置、存储介质及电子设备


[0001]本说明书涉及人工智能
，尤其涉及一种表情识别方法、装置、存储介质及电子设备。

技术介绍

[0002]据调查研究，在日常面对面的对话交流中面部表情能够体现绝大部分的情绪状态。因此，在通过视频进行人机交互的场景中，表情识别技术显得十分重要。其中，表情识别技术已经在智能辅助系统、服务机器人、驾驶疲劳检测等应用场景中均有涉及。
[0003]现有技术中，视频人脸表情识别的方法可以包括：先将视频解析为图像帧序列，再提取图像帧序列中的人脸区域。然后，将提取出的人脸区域直接输入深度学习网络中进行表情识别。其中，用于表情识别的深度学习网络可以包括：非时序网络，非时序网络是将每一帧人脸区域输入表情识别网络以得到这帧人脸区域对应的表情类别，再将这帧人脸区域对应的表情类别与其他帧人脸区域对应的表情类别进行加权融合，得到最终表情类别。
[0004]然而，针对非时序网络，由于一段对话视频中人脸情绪激动的图像帧占比较少，利用加权融合的方式会导致最终识别出的表情类别归类于中性表情类别（即，平静表情）本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情识别方法，其特征在于，包括：在用户通过视频进行人机交互过程中，实时采集所述用户的视频；对所述视频中的每个图像帧进行人脸检测，确定出所述视频包含的各人脸图像；将所述各人脸图像输入到预先训练的情绪检测模型中，以通过所述情绪检测模型输出所述各人脸图像的情绪检测结果；其中，所述情绪检测结果用于表示人脸图像中的人脸情绪起伏程度；根据预先对所述各人脸图像进行分组所得到的各组合以及所述各人脸图像的情绪检测结果，确定出所述各组合中每个组合对应的综合情绪检测结果；根据每个组合对应的综合情绪检测结果，从所述各组合中选择出目标组合，其中，所述目标组合包含的人脸图像中人脸情绪起伏程度最大；将所述目标组合包含的人脸图像输入到预先训练的表情识别模型中，以通过所述表情识别模型输出所述目标组合包含的人脸图像中人脸的表情类别；根据所述目标组合包含的人脸图像中人脸的表情类别，确定出所述用户的最终表情类别。2.如权利要求1所述的方法，其特征在于，对所述视频中的每个图像帧进行人脸检测，确定出所述视频包含的各人脸图像，具体包括：对所述视频进行抽帧处理，得到各图像帧；针对所述各图像帧中的每个图像帧，将该图像帧输入到人脸检测模型中，以通过所述人脸检测模型，对该图像帧进行人脸检测，若在该图像帧中检测到人脸，则从该图像帧中提取出只包含人脸区域的图像，作为人脸图像。3.如权利要求1所述的方法，其特征在于，预先训练所述情绪检测模型，具体包括：预先获取样本视频，所述样本视频包含有在说话状态下人脸呈现不同表情的样本图像帧；将所述样本视频输入到待训练的情绪检测模型中，以通过所述情绪检测模型输出所述样本视频中各样本图像帧的情绪检测结果；以所述样本视频中各样本图像帧的情绪检测结果与各自对应的标签之间的差异最小化为优化目标，对所述情绪检测模型进行训练。4.如权利要求3所述的方法，其特征在于，以所述样本视频中各样本图像帧的情绪检测结果与各自对应的标签之间的差异最小化为优化目标，对所述情绪检测模型进行训练，具体包括：根据所述样本视频中各样本图像帧的情绪检测结果，确定出针对所有情绪检测结果的均值和方差；根据所述样本视频中各样本图像帧的标签值，确定出针对所有标签值的均值和方差；根据针对所有情绪检测结果的均值和方差以及针对所有标签值的均值和方差，确定出第一损失；根据样本视频中各样本图像帧的情绪检测结果与各自对应的标签值之间的差异，确定出第二损失；根据所述第一损失和第二损失，确定出综合损失；以最小化所述综合损失为优化目标，对所述情绪检测模型进行训练。
5.如权利要求1所述的方法，其特征在于，根据预先对所述各人脸图像进行分组所得到的各组合以及所述各人脸图像的情绪检测结果，确定出所述各组合中每个组合对应的综合情绪检测结果，具体包括：根据组合包含的人脸图像数量，按照所述各人脸图像所在的图像帧的时序，对所述各人脸图像进行分组，得到各组合；针对所述各组合中的每个组合，根据该组合包含的人脸图像的情绪检测结果，确定出该组合对应的综合情绪检测结果。6.如权利要求1所述的方法，其特征在于，根据预先对所述各人脸图像进行分组所得到的各组合以及所述各人脸图像的情绪检测结果，确定出所述各组合中每个组合对应的综合情绪检测结果，具体包括：对所述各人脸图像的情绪检测结果进行均值滤波，得到所述各人脸图像的滤波后情绪检测结果；根据预先对所述各人脸图像进行分组所得到的各组合以及所述各人脸图像的滤波后情绪检测结果，确定出所述各组合中每个组合对应的综合情绪检测结果。7.如权利要求1所述的方法，其特征在于，根据每个组合对应的综合情绪检测结果，从所述各组合中选择出目标组合，具体包括：根据每个组合对应的综合情绪检测结果，从所述各组合中选择出综合情绪检测结果最大的组合，作为目标组合。8.如权利要求1所述的方法，其特征在于，根据所述目标组合包含的人...

【专利技术属性】
技术研发人员：李太豪，刘昱龙，
申请(专利权)人：之江实验室，
类型：发明
国别省市：