一种人脸驱动动画的方法和装置制造方法及图纸

本申请实施例公开了一种人脸驱动动画的方法和装置，根据包括人脸图像的待处理图像，获取人脸图像的多个表情关键点。根据语义表情向量，通过第一深度神经网络确定出对应的表情系数，由于表情系数可以标识人脸图像所体现目标人脸表情与不同基本人脸表情的相似性，故相当于对目标人脸表情进行了表情分类，由此可以根据表情系数和基本人脸表情的位置信息确定目标人脸表情的目标位置信息，根据目标位置信息可以通过3D动画渲染，以使得动画形象做出对应的表情，而不再需要将人脸图像关键点的位置与动画形象的关键点位置进行拟合，降低了算法耗时，避免了拟合不准确带来的夸张表情问题，提高了人脸驱动动画的准确性。

【技术实现步骤摘要】
一种人脸驱动动画的方法和装置
本申请涉及数据处理领域，特别是涉及一种人脸驱动动画的方法和装置。
技术介绍
人脸驱动动画是一种实用功能，可以通过用户人脸表情的变化来驱动虚拟的动画形象做出与人脸表情类似的动画表情，由于虚拟的动画形象可以是3维的，通过该动画形象做出的动画表情可以更生动有趣的展示用户能够做出的表情，从而通过该功能可以为用户提供一种全新的交互和展示体验。为了实现人脸驱动动画这一功能，目前大多采用视频中人脸关键点位置与动画形象面部关键点位置拟合的方法。在拟合过程中，需要经过多次迭代、调整，最终使得视频中人脸的2维关键点与动画形象的3维关键点完全匹配，从而确定出动画形象应做出何种动画表情。在进行拟合的迭代过程中会采用最小二乘法，算法复杂，计算耗时较大且容易产生非正常夸张表情。可见，合理有效的实现人脸驱动动画这一功能是目前亟需解决的问题。
技术实现思路
为了解决上述技术问题，本申请提供了一种人脸驱动动画的方法和装置，避免了拟合不准确带来的夸张表情问题，提高了人脸驱动动画的准确性。本申请实施例公开了如下技术方案：第一方面，本申请实施例提供了一种人脸驱动动画的方法，所述方法包括：获取待处理图像中人脸图像的多个表情关键点；所述表情关键点为所述人脸图像的人脸关键点中与人脸表情相关的人脸关键点；根据所述多个表情关键点间的距离，确定语义表情向量；根据第一深度神经网络确定所述语义表情向量对应的表情系数，所述表情系数用于标识所述人脸图像所体现的目标人脸表情与不同基本人脸表情的相似性；根据所述表情系数和所述基本人脸表情的位置信息确定所述目标人脸表情的目标位置信息；根据所述目标位置信息渲染动画形象，以使得所述动画形象做出对应的表情。可选的，所述根据所述多个表情关键点间的距离，确定语义表情向量，包括：计算所述多个表情关键点间的距离；根据所述人脸图像中用于体现人脸五官特点的特征参数，对所述多个表情关键点间的距离进行归一化计算；根据计算结果确定语义表情向量。可选的，所述方法还包括：获取所述人脸图像中待校正人脸关键点的二维位置信息；所述待校正人脸关键点为所述人脸图像中人脸所处姿态相关的人脸关键点；根据所述待校正人脸关键点的二维位置信息，通过第二深度神经网络确定所述待校正人脸关键点对应的第三维位置信息；根据所述待校正人脸关键点的二维位置信息和第三维位置信息，对所述待校正人脸关键点进行校正得到人脸关键点，所述人脸关键点为所述人脸图像中人脸处于正脸且无姿态的人脸关键点。可选的，所述待处理图像为视频中的一帧待处理视频帧，在所述获取待处理图像中人脸图像的多个表情关键点之前，所述方法还包括：获取所述待处理视频帧的前帧集合，所述前帧集合包括所述待处理视频帧的前N个视频帧，所述前N个视频帧中具有已确定人脸关键点，N为大于等于1的整数；根据所述待处理视频帧和前帧集合对所述已确定人脸关键点在所述待处理视频帧中进行关键点跟踪；所述关键点跟踪包括局部跟踪和针对每一帧中全部已确定人脸关键点的全局跟踪；结合所述局部跟踪和所述全局跟踪的关键点跟踪结果，确定所述待处理视频帧中人脸图像的人脸关键点。可选的，所述局部跟踪通过如下方式实施：根据所述前帧集合中已确定人脸关键点的位置，将所述待处理视频帧切分为M个区块，其中任一个区块中至少包括一个已确定人脸关键点；根据区块对所述已确定人脸关键点在所述待处理视频帧中进行所述局部跟踪；在进行所述局部跟踪的过程中，任一已确定人脸关键点的跟踪区域为这一已确定人脸关键点所在的区块。可选的，在进行所述关键点跟踪的过程中，所述N个视频帧被设置有不同的权值，所述N个视频帧中，与所述待处理视频帧越近的权值越大。可选的，所述待处理图像为视频中的一帧待处理视频帧，所述根据所述目标位置信息渲染动画形象，以使得所述动画形象做出对应的表情，包括：根据所述待处理视频帧的前一个视频帧对应的表情系数和所述待处理视频帧对应的表情系数，确定表情处理方式；根据所述目标位置信息和所述表情处理方式渲染动画形象，以使得所述动画形象做出对应的表情。第二方面，本申请实施例提供了一种人脸驱动动画的装置，所述装置包括获取单元、确定单元和渲染单元：所述获取单元，用于获取待处理图像中人脸图像的多个表情关键点；所述表情关键点为所述人脸图像的人脸关键点中与人脸表情相关的人脸关键点；所述确定单元，用于根据所述多个表情关键点间的距离，确定语义表情向量；所述确定单元还用于根据第一深度神经网络确定所述语义表情向量对应的表情系数，所述表情系数用于标识所述人脸图像所体现的目标人脸表情与不同基本人脸表情的相似性；所述确定单元还用于根据所述表情系数和所述基本人脸表情的位置信息确定所述目标人脸表情的目标位置信息；所述渲染单元，用于根据所述目标位置信息渲染动画形象，以使得所述动画形象做出对应的表情。可选的，所述确定单元还用于：计算所述多个表情关键点间的距离；根据所述人脸图像中用于体现人脸五官特点的特征参数，对所述多个表情关键点间的距离进行归一化计算；根据计算结果确定语义表情向量。可选的，所述装置还包括矫正单元：所述获取单元还用于获取所述人脸图像中待校正人脸关键点的二维位置信息；所述待校正人脸关键点为所述人脸图像中人脸所处姿态相关的人脸关键点；所述确定单元还用于根据所述待校正人脸关键点的二维位置信息，通过第二深度神经网络确定所述待校正人脸关键点对应的第三维位置信息；所述矫正单元，用于根据所述待校正人脸关键点的二维位置信息和第三维位置信息，对所述待校正人脸关键点进行校正得到人脸关键点，所述人脸关键点为所述人脸图像中人脸处于正脸且无姿态的人脸关键点。可选的，所述待处理图像为视频中的一帧待处理视频帧，所述装置还包括跟踪单元：所述获取单元还用于获取所述待处理视频帧的前帧集合，所述前帧集合包括所述待处理视频帧的前N个视频帧，所述前N个视频帧中具有已确定人脸关键点，N为大于等于1的整数；所述跟踪单元，用于根据所述待处理视频帧和前帧集合对所述已确定人脸关键点在所述待处理视频帧中进行关键点跟踪；所述关键点跟踪包括局部跟踪和针对每一帧中全部已确定人脸关键点的全局跟踪；所述确定单元还用于结合所述局部跟踪和所述全局跟踪的关键点跟踪结果，确定所述待处理视频帧中人脸图像的人脸关键点。可选的，所述跟踪单元还用于：根据所述前帧集合中已确定人脸关键点的位置，将所述待处理视频帧切分为M个区块，其中任一个区块中至少包括一个已确定人脸关键点；根据区块对所述已确定人脸关键点在所述待处理视频帧中进行所述局部跟踪；在进行所述局部跟踪的过程中，任一已确定人脸关键点的跟踪区域为这一已确定人脸关键点所在的区块。可选的，在所述跟踪单元在用于进行所述关键点跟踪的过程中，所述N个视频帧被设置本文档来自技高网...

【技术保护点】
1.一种人脸驱动动画的方法，其特征在于，所述方法包括：/n获取待处理图像中人脸图像的多个表情关键点；所述表情关键点为所述人脸图像的人脸关键点中与人脸表情相关的人脸关键点；/n根据所述多个表情关键点间的距离，确定语义表情向量；/n根据第一深度神经网络确定所述语义表情向量对应的表情系数，所述表情系数用于标识所述人脸图像所体现的目标人脸表情与不同基本人脸表情的相似性；/n根据所述表情系数和所述基本人脸表情的位置信息确定所述目标人脸表情的目标位置信息；/n根据所述目标位置信息渲染动画形象，以使得所述动画形象做出对应的表情。/n

【技术特征摘要】
1.一种人脸驱动动画的方法，其特征在于，所述方法包括：
获取待处理图像中人脸图像的多个表情关键点；所述表情关键点为所述人脸图像的人脸关键点中与人脸表情相关的人脸关键点；
根据所述多个表情关键点间的距离，确定语义表情向量；
根据第一深度神经网络确定所述语义表情向量对应的表情系数，所述表情系数用于标识所述人脸图像所体现的目标人脸表情与不同基本人脸表情的相似性；
根据所述表情系数和所述基本人脸表情的位置信息确定所述目标人脸表情的目标位置信息；
根据所述目标位置信息渲染动画形象，以使得所述动画形象做出对应的表情。


2.根据权利要求1所述的方法，其特征在于，所述根据所述多个表情关键点间的距离，确定语义表情向量，包括：
计算所述多个表情关键点间的距离；
根据所述人脸图像中用于体现人脸五官特点的特征参数，对所述多个表情关键点间的距离进行归一化计算；
根据计算结果确定语义表情向量。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述人脸图像中待校正人脸关键点的二维位置信息；所述待校正人脸关键点为所述人脸图像中人脸所处姿态相关的人脸关键点；
根据所述待校正人脸关键点的二维位置信息，通过第二深度神经网络确定所述待校正人脸关键点对应的第三维位置信息；
根据所述待校正人脸关键点的二维位置信息和第三维位置信息，对所述待校正人脸关键点进行校正得到人脸关键点，所述人脸关键点为所述人脸图像中人脸处于正脸且无姿态的人脸关键点。


4.根据权利要求1所述的方法，其特征在于，所述待处理图像为视频中的一帧待处理视频帧，在所述获取待处理图像中人脸图像的多个表情关键点之前，所述方法还包括：
获取所述待处理视频帧的前帧集合，所述前帧集合包括所述待处理视频帧的前N个视频帧，所述前N个视频帧中具有已确定人脸关键点，N为大于等于1的整数；
根据所述待处理视频帧和前帧集合对所述已确定人脸关键点在所述待处理视频帧中进行关键点跟踪；所述关键点跟踪包括局部跟踪和针对每一帧中全部已确定人脸关键点的全局跟踪；
结合所述局部跟踪和所述全局跟踪的关键点跟踪结果，确定所述待处理视频帧中人脸图像的人脸关键点。


5.根据权利要求4所述的方法，其特征在于，所述局部跟踪通过如下方式实施：
根据所述前帧集合中已确定人脸关键点的位置，将所述待处理视频帧切分为M个区块，其中任一个区块中至少包括一个已确定人脸关键点；
根据区块对所述已确定人脸关键点在所述待处理视频帧中进行所述局部跟踪；在进行所述局部跟踪的过程中，任一已确定人脸关键点的跟踪区域为这一已确定人脸关键点所在的区块。


6.根据权利要求4所述的方法，其特征在于，在进行所述关键点跟踪的过程中，所述N个视频帧被设置有不同的权值，所述N个视频帧中，与所述待处理视频帧越近的权值越大。


7.根据权利要求1所述的方法，其特征在于，所述待处理图像为视频中的一帧待处理视频帧，所述根据所述目标位置信息渲染动画形象，以使得所述动画形象做出对应的表情，包括：
根据所述待处理视频帧的前一个视频帧对应的表情系数和所述待处理视频帧对应的表情系数，确定表情处理方式；
根据所述目标位置信息和所述表情处理方式渲染动画形象，以使得所述动画形象做出对应的表情。


8.一种人脸驱动动画的装置，其特征在于，所述装置包括获取单元、确定单元和渲染单元：
所述获取单元，用于获取待处理图像中人脸图像的多个表情关键点；所述表情关键点为所述人脸图像的人脸关键点中与人脸表情相关的人脸关键点；
所述确定单元，用于根据所述多个表情关键点间的距离，确定语义表情向量；
所述确定单元还用于根据第一深度神经网络确定所述语义表情向量对应的表情系数，所述表情系数用于标识所述人脸图像所体现的目标人脸表情与不同基本人脸表情的相似性；
所述确定单元还...

【专利技术属性】
技术研发人员：刘怀飙，王英俊，马龙，
申请(专利权)人：搜狗杭州智能科技有限公司，北京搜狗科技发展有限公司，
类型：发明
国别省市：浙江;33