表情检测与表情驱动方法、装置和系统及存储介质制造方法及图纸

本发明专利技术实施例提供一种表情检测方法、装置和系统以及存储介质与表情驱动方法、装置和系统以及存储介质。表情检测方法包括：获取待处理图像；将待处理图像输入神经网络模型，以估计待处理图像中的目标人脸的表情参数；以及输出用于驱动待驱动对象的目标人脸的表情参数。根据本发明专利技术实施例的表情检测方法、装置和系统以及存储介质，采用基于神经网络的深度学习方法计算人脸的表情参数。与传统方法相比，上述表情检测方法和表情驱动方法的输入只依赖图像或视频流，全程自动化，实现简单，速度快，便于在手机等计算受限平台上实时运行。

Facial expression detection and expression driving methods, devices and storage media

The embodiment of the present invention provides an expression detection method, device and system, storage medium and expression driving method, device and system, and storage medium. Facial expression detection methods include acquiring the image to be processed, inputting the image to be processed into the neural network model to estimate the facial expression parameters of the target face in the image to be processed, and outputting the facial expression parameters for driving the target face. According to the expression detection method, device, system and storage medium of the embodiment of the present invention, the expression parameters of a face are calculated by the in-depth learning method based on the neural network. Compared with traditional methods, the input of expression detection method and expression driving method is only dependent on image or video stream. The whole process is automated. It is simple to implement, fast and easy to run in real time on computing constrained platforms such as mobile phones.

【技术实现步骤摘要】
表情检测与表情驱动方法、装置和系统及存储介质
本专利技术涉及图像处理领域，更具体地涉及一种表情检测方法、装置和系统以及存储介质与一种表情驱动方法、装置和系统以及存储介质。
技术介绍
表情驱动系统是目前一种非常流行的实时应用。表情驱动是指“程序分析获取用户当前表情，并转移到其他物体上，使其他物体进行相应变化的过程”。最简单的例子就是驱动一个卡通形象，用户做什么表情，该卡通形象就做什么表情。现有的表情驱动技术，要么需要很多昂贵的外设(例如需要采用3d设备捕捉表情和/或肢体动作的动画)，要么需要加入很多人工要素，不够自动化(例如一些软件需要用户首先注册自己的脸，之后才能进行表情驱动)，要么计算过程复杂，速度太慢影响使用。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种表情检测方法、装置和系统以及存储介质与一种表情驱动方法、装置和系统以及存储介质。根据本专利技术一方面，提供了一种表情检测方法。表情检测方法包括：获取待处理图像；将待处理图像输入神经网络模型，以估计待处理图像中的目标人脸的表情参数；以及输出用于驱动待驱动对象的目标人脸的表情参数。示例性地，神经网络模型用于拟合以本文档来自技高网...

【技术保护点】
1.一种表情检测方法，包括：获取待处理图像；将所述待处理图像输入神经网络模型，以估计所述待处理图像中的目标人脸的表情参数；以及输出用于驱动待驱动对象的所述目标人脸的表情参数。

【技术特征摘要】
1.一种表情检测方法，包括：获取待处理图像；将所述待处理图像输入神经网络模型，以估计所述待处理图像中的目标人脸的表情参数；以及输出用于驱动待驱动对象的所述目标人脸的表情参数。2.如权利要求1所述的方法，其中，所述神经网络模型用于拟合以下人脸关系式：V＝V_bar+A_id*a_id+A_exp*a_exp；其中，V表示输入所述神经网络模型的输入图像中的人脸上的第一特征点的坐标，V_bar表示平均人脸的、与所述第一特征点对应的第二特征点的坐标，a_id和a_exp分别表示所述输入图像中的人脸的形状参数和表情参数，A_id和A_exp分别表示与人脸形状相关的基准形状位移和与人脸表情相关的基准表情位移，其中，V_bar、A_id和A_exp是预设值。3.如权利要求2所述的方法，其中，所述第一特征点的坐标用第一组坐标值表示，所述第二特征点的坐标用第二组坐标值表示，所述第一组坐标值中的坐标值与所述第二组坐标值中的坐标值一一对应，a_id包括至少一个形状系数，所述至少一个形状系数中的每一个与所述第一组坐标值中的m1个坐标值对应并与所述第二组坐标值中、与所述m1个坐标值一一对应的m2个坐标值对应，所述至少一个形状系数中的每一个用于与A_id相乘之后与所述第二组坐标值中的对应坐标值相加，用于获得所述第一组坐标值中的对应坐标值，其中，1≤m1，m1＝m2。4.如权利要求2所述的方法，其中，所述第一特征点的坐标用第一组坐标值表示，所述第二特征点的坐标用第二组坐标值表示，所述第一组坐标值中的坐标值与所述第二组坐标值中的坐标值一一对应，a_exp包括至少一个表情系数，所述至少一个表情系数中的每一个与所述第一组坐标值中的m3个坐标值对应并与所述第二组坐标值中、与所述m3个坐标值一一对应的m4个坐标值对应，所述至少一个表情系数中的每一个用于与A_id相乘之后与所述第二组坐标值中的对应坐标值相加，用于获得所述第一组坐标值中的对应坐标值，其中，1≤m3，m3＝m4。5.如权利要求2至4任一项所述的方法，其中，所述方法还包括：获取样本图像和对应的标注数据，所述标注数据包括所述样本图像中的样本人脸的形状参数和表情参数；以及利用所述样本图像以及所述样本人脸的形状参数和表情参数训练所述神经网络模型，其中，所述样本图像作为所述神经网络模型的输入，所述样本人脸的形状参数和表情参数作为所述神经网络模型的目标输出；其中，所述样本人脸上的特征点的坐标满足所述人脸关系式。6.如权利要求5所述的方法，其中，所述获取样本图像和对应的标注数据包括：获取所述样本图像；对所述样本图像进行人脸检测，以确定所述样本人脸的位置；对所述样本图像中的所述样本人脸的特征点进行定位；以及基于所述样本人脸的特征点的定位结果计算所述样本人脸的形状参数和表情参数，以获得所述标注数据。7.如权利要求5所述的方法，其中，所述获取样本图像和对应的标注数据包括：获取所述样本图像和所述样本人脸的特征点的位置标注信息；以及基于所述样本人脸的特征点的位置标注信息计算所述样本人脸的形状参数和表情参数，以获得所述标注数据。8.如权利要求5所述的方法，其中，所述获取样本图像和对应的标注数据...

【专利技术属性】
技术研发人员：孙伟，范浩强，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11