本公开关于一种表情系数确定方法、装置、电子设备及存储介质，涉及互联网技术领域，在本公开中，首先获取视频信息，视频信息包括多帧图像信息和与每帧图像信息对应的音频信息。对于当前图像信息，在当前图像信息中包含人脸信息且人脸信息未满足预设条件的情况下，从人脸信息中提取出第一表情系数，以及从当前图像信息对应的音频信息中预测出第二表情系数，当前图像信息为任一帧图像信息。然后根据第一表情系数和第二表情系数，得到当前图像信息对应的目标表情系数。通过将从图像信息中包含的人脸信息中提取出的第一表情系数和从音频信息中预测的第二表情系数相结合，得到目标表情系数，能够提升识别到的用户对象的表情系数的准确性。确性。确性。
【技术实现步骤摘要】
表情系数确定方法、装置、电子设备及存储介质
[0001]本公开涉及互联网
，尤其涉及一种表情系数确定方法、装置、电子设备及存储介质。
技术介绍
[0002]人脸表情识别是指利用计算机对检测到的人脸图像进行表情特征提取，得到表情系数，这里的表情系数是指计算机能够理解的人脸表情地描述信息。基于表情系数，可以建立更加友好和智能的人机交互环境。
[0003]虚拟形象表情驱动是人脸表情识别技术的应用场景之一。示例的，在虚拟直播场景中，虚拟直播界面中通常同时显示主播对象的直播画面和主播对象的虚拟形象。计算机通过从主播对象的表情进行特征提取，得到主播对象的表情系数，再利用主播对象的表情系数驱动主播对象的虚拟形象的表情。当主播对象的表情发生变化时，虚拟形象的表情同时会发生变化。
[0004]由于计算机识别到的主播对象的表情系数的准确性，会影响对虚拟形象的表情的驱动效果，如虚拟形象表情不自然、与主播对象的表情不匹配等。因此，如何提高识别到的主播对象的表情系数的准确性，成为亟待解决的技术问题。
技术实现思路
[0005]本公开提供一种表情系数确定方法、装置、电子设备及存储介质，可以提高识别到的表情系数的准确性。
[0006]本公开实施例的技术方案如下：
[0007]根据本公开实施例的第一方面，提供一种表情系数确定方法，包括：获取视频信息，视频信息包括多帧图像信息和与每帧图像信息对应的音频信息。对于当前图像信息，在当前图像信息中包含人脸信息且人脸信息未满足预设条件的情况下，从人脸信息中提取出第一表情系数，以及从当前图像信息对应的音频信息中预测出第二表情系数，当前图像信息为任一帧图像信息。根据第一表情系数和第二表情系数，得到当前图像信息对应的目标表情系数。
[0008]可选的，根据第一表情系数和第二表情系数，得到当前图像信息对应的目标表情系数，包括：融合第一表情系数和第二表情系数，得到当前图像信息对应的融合表情系数。根据预先设置的平滑系数、当前图像信息的上一帧图像信息对应的目标表情系数，优化当前图像信息对应的融合表情系数，得到当前图像信息对应的目标表情系数。
[0009]可选的，融合第一表情系数和第二表情系数，得到当前图像信息对应的融合表情系数，包括：根据第一表情系数预设的权重和第二表情系数预设的权重，对第一表情系数和第二表情系数进行加权处理，得到融合表情系数，第一表情系数预设的权重小于第二表情系数预设的权重。
[0010]可选的，上述方法还包括：在当前图像信息中不包含人脸信息的情况下，从当前图
像信息对应的音频信息中预测出第二表情系数，将第二表情系数作为当前图像信息对应的融合表情系数。根据预先设置的平滑系数、当前图像信息的上一帧图像信息对应的目标表情系数，优化当前图像信息对应的融合表情系数，得到当前图像信息对应的目标表情系数。
[0011]可选的，上述方法还包括：在图像信息中包含人脸信息且人脸信息满足预设条件的情况下，从人脸信息中提取出第一表情系数，将第一表情系数作为当前图像信息对应的融合表情系数。根据预先设置的平滑系数、当前图像信息的上一帧图像信息对应的目标表情系数，优化当前图像信息对应的融合表情系数，得到当前图像信息对应的目标表情系数。
[0012]可选的，获取视频信息之后，上述方法还包括：识别当前图像信息中的人脸信息。在识别到人脸信息的情况下，确定人脸信息对应的姿态角度和/或完整度，完整度表征人脸信息是否被遮挡。如果人脸信息对应的姿态角度不满足预设角度，和/或，完整度不满足预设完整度，则确定图像信息中包含人脸信息且人脸信息未满足预设条件。如果人脸信息对应的姿态角度满足预设角度，和/或，完整度满足预设完整度，则确定图像信息中包含人脸信息且人脸信息满足预设条件。
[0013]根据本公开实施例的第二方面，提供一种表情系数确定装置，上述装置包括：信息获取单元，被配置为执行获取视频信息，视频信息包括多帧图像信息和与每帧图像信息对应的音频信息。第一确定单元，被配置为执行对于当前图像信息，在当前图像信息中包含人脸信息且人脸信息未满足预设条件的情况下，从人脸信息中提取出第一表情系数，以及从当前图像信息对应的音频信息中预测出第二表情系数，当前图像信息为任一帧图像信息。第二确定单元，被配置为执行根据第一表情系数和第二表情系数，得到当前图像信息对应的目标表情系数。
[0014]可选的，第二确定单元，具体被配置为执行：融合第一表情系数和第二表情系数，得到当前图像信息对应的融合表情系数。根据预先设置的平滑系数、当前图像信息的上一帧图像信息对应的目标表情系数，优化当前图像信息对应的融合表情系数，得到当前图像信息对应的目标表情系数。
[0015]可选的，第二确定单元，还被配置为执行：根据第一表情系数预设的权重和第二表情系数预设的权重，对第一表情系数和第二表情系数进行加权处理，得到融合表情系数，第一表情系数预设的权重小于第二表情系数预设的权重。
[0016]可选的，第一确定单元，还被配置为执行：在当前图像信息中不包含人脸信息的情况下，从当前图像信息对应的音频信息中预测出第二表情系数，将第二表情系数作为当前图像信息对应的融合表情系数。根据预先设置的平滑系数、当前图像信息的上一帧图像信息对应的目标表情系数，优化当前图像信息对应的融合表情系数，得到当前图像信息对应的目标表情系数。
[0017]可选的，第二确定单元，还被配置为执行：在图像信息中包含人脸信息且人脸信息满足预设条件的情况下，从人脸信息中提取出第一表情系数，将第一表情系数作为当前图像信息对应的融合表情系数。根据预先设置的平滑系数、当前图像信息的上一帧图像信息对应的目标表情系数，优化当前图像信息对应的融合表情系数，得到当前图像信息对应的目标表情系数。
[0018]可选的，获取视频信息之后，信息获取单元，还被配置为执行：识别当前图像信息中的人脸信息。在识别到人脸信息的情况下，确定人脸信息对应的姿态角度和/或完整度，
完整度表征人脸信息是否被遮挡。如果人脸信息对应的姿态角度不满足预设角度，和/或，完整度不满足预设完整度，则确定图像信息中包含人脸信息且人脸信息未满足预设条件。如果人脸信息对应的姿态角度满足预设角度，和/或，完整度满足预设完整度，则确定图像信息中包含人脸信息且人脸信息满足预设条件。
[0019]根据本公开实施例的第三方面，提供一种电子设备，可以包括：处理器和用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述第一方面中任一种可选地表情系数确定方法。
[0020]根据本公开实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质上存储有指令，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面中任一种可选地表情系数确定方法。
[0021]根据本公开实施例的第五方面，提供一种计算机程序产品，当计算机程序/指令在被处理器执行时实现如第一方面中任一种可选地实现方式的表情系数确定方法。
[0022本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种表情系数确定方法，其特征在于，所述方法包括：获取视频信息，所述视频信息包括多帧图像信息和与每帧所述图像信息对应的音频信息；对于当前图像信息，在所述当前图像信息中包含人脸信息且所述人脸信息未满足预设条件的情况下，从所述人脸信息中提取出第一表情系数，以及从所述当前图像信息对应的所述音频信息中预测出第二表情系数，所述当前图像信息为任一帧所述图像信息；根据所述第一表情系数和所述第二表情系数，得到所述当前图像信息对应的目标表情系数。2.根据权利要求1所述的表情系数确定方法，其特征在于，所述根据所述第一表情系数和所述第二表情系数，得到所述当前图像信息对应的目标表情系数，包括：融合所述第一表情系数和所述第二表情系数，得到所述当前图像信息对应的融合表情系数；根据预先设置的平滑系数、当前图像信息的上一帧图像信息对应的目标表情系数，优化所述当前图像信息对应的融合表情系数，得到所述当前图像信息对应的目标表情系数。3.根据权利要求2所述的表情系数确定方法，其特征在于，所述融合所述第一表情系数和所述第二表情系数，得到所述当前图像信息对应的融合表情系数，包括：根据所述第一表情系数预设的权重和所述第二表情系数预设的权重，对所述第一表情系数和所述第二表情系数进行加权处理，得到所述融合表情系数，所述第一表情系数预设的权重小于所述第二表情系数预设的权重。4.根据权利要求1所述的表情系数确定方法，其特征在于，所述方法还包括：在所述当前图像信息中不包含人脸信息的情况下，从所述当前图像信息对应的音频信息中预测出第二表情系数，将所述第二表情系数作为所述当前图像信息对应的融合表情系数；根据预先设置的平滑系数、当前图像信息的上一帧图像信息对应的目标表情系数，优化所述当前图像信息对应的融合表情系数，得到所述当前图像信息对应的目标表情系数。5.根据权利要求1所述的表情系数确定方法，其特征在于，所述方法还包括：在所述图像信息中包含人脸信息且所述人脸信息满足预设条件的情况下，从所述人脸信息中提取出第一表情系数，将所述第一表情系数作为所述当前图像信息对应的融合表情系数；根据预先设置的平滑系数、当前图像信息...
【专利技术属性】
技术研发人员：叶奎，张国鑫，马里千，刘晓强，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。