一种视频驱动的人脸动画生成方法技术

本发明专利技术提供一种视频驱动的人脸动画生成方法，包括：1)从视频的人脸图像中提取所述视频的语义特征向量，语义特征向量由多个语义特征变量组成，语义特征变量包括：描述脸部器官周围局部运动的特征变量，以及描述全脸各器官之间相对运动的特征变量；2)基于由多个表情基构成的参考模型，将所述视频的语义特征向量表示为各表情基的语义特征向量的加权和，并将与各表情基的语义特征向量的加权系数作为表情参数；3)基于步骤2)所获得的表情参数和相应的参考模型的表情基，生成与所述视频表情一致的人脸动画。本发明专利技术能够增加人脸动画的稳定性和真实感；能够尽可能减少用户操作；能够减少计算量，降低内存消耗。

【技术实现步骤摘要】
【专利摘要】本专利技术提供，包括：1)从视频的人脸图像中提取所述视频的语义特征向量，语义特征向量由多个语义特征变量组成，语义特征变量包括：描述脸部器官周围局部运动的特征变量，以及描述全脸各器官之间相对运动的特征变量；2)基于由多个表情基构成的参考模型，将所述视频的语义特征向量表示为各表情基的语义特征向量的加权和，并将与各表情基的语义特征向量的加权系数作为表情参数；3)基于步骤2)所获得的表情参数和相应的参考模型的表情基，生成与所述视频表情一致的人脸动画。本专利技术能够增加人脸动画的稳定性和真实感；能够尽可能减少用户操作；能够减少计算量，降低内存消耗。【专利说明】
本专利技术涉及人脸表情捕捉和重用
，具体地说，本专利技术涉及一种视频驱动 的人脸动画生成方法。
技术介绍
视频驱动人脸动画的技术主要是研究如何从单目摄像头拍摄记录的带有人脸表 情的视频中提取并重用人脸表情信息，从而实时生成相应的人脸动画。所生成的人脸动画 既可以即时动态地将合成的表情反馈给用户，也可以将原始视频中的表情信息转化为不同 角色的表情动画，因而这种技术可以广泛应用于动画制作、游戏开发以及网络社交等领域。 现有技术中，视频驱动人脸动画通常基于表情基方法（blendshape method)实现。 它需要建立一个参考模型，参考模型由多个表情基组成，每个表情基都是一种典型的表情 模型，例如大笑、撅嘴、瞪眼模型等等。理论上任意一个人脸表情都能够由参考模型中若干 个表情基的加权叠加而成，相应的加权系数通常称为表情参数。这样，视频驱动人脸动画的 方法实际上就是从视频中捕获人脸数据，然后寻找一组表情参数，使得相应的表情基加权 叠加而成的表情模型与所捕获的人脸数据尽可能接近。在获得这样的表情参数后，即可基 于表情参数和参考模型将视频中的表情重用到动画角色中。这样，就能获得具有更加逼真， 更加丰富表情的人脸动画。 为实现视频驱动人脸动画，首先需要一个合适的表情定义，以表达视频中的人脸 表情。近年来，已有出现了很多关于实时视频驱动人脸动画的表情定义，主要方法类型有以 下几类： 1)直接从二维特征点估算人脸表情的方法，它是将从人脸图像中追踪到的稀疏二 维特征点直接作为表情定义，通常误差较大。 2)通过像素颜色信息与追踪到的二维特征点互相优化以估算人脸表情的方法。此 方法将像素色彩信息和稀疏二维特征点作为表情定义，以降低仅使用二维特征点估算结果 的误差。但是直接使用像素色彩信息，对图像的质量要求较高，而网络摄像头拍摄的图像、 室外环境下拍摄的图像通常不能满足要求。 3)采用三维表情数据库估算人脸表情的方法。它寻求三维点云的恢复，然后用三 维点云作为表情定义。这种方法中，为了获得稳定的表情，要么大大降低了恢复表情的准确 度，要么需要大量的手工标记操作以及用户提前训练。并且此种方法需要庞大的数据库，往 往导致计算量较大，效率较低。 4)采用三维模型库估计表演者的三维模型，进而估算人脸表情的方法。这个方法 首先建立三维点云数据库，然后用自定义的控制参数来建立特征点与数据库之间的关系， 最后从数据库中估算相关的三维点云作为表情定义。这种方法最终的重用结果依赖于所建 立的数据库的内容和质量。但建立包含所有用户表情的高质量数据库是比较困难的。 另一方面，在有了 一定的表情定义后，还需要基于表情基对视频中的表情重定向， 才能生成相应的人脸动画。基于表情基的表情重定向方法，是通过优化权值（又称表情参 数）使得目标模型表情基加权组合之后的表情与源表情之间误差最小。在已知表情基的情 况下，寻找合适的表情参数实际上就是求解最小值问题。求解最小值问题往往较为费时，如 何在保证人脸动画的稳定性和真实感的前提下减少计算量，是当前需要解决的一大技术问 题。
技术实现思路
因此，本专利技术的任务是提供一种稳定性和真实感较好且计算量小的视频驱动的人 脸动画生成方法。 本专利技术提供了，包括下列步骤： 1)捕获视频中人脸图像的二维特征点，并从所述二维特征点中提取出所述视频的 语义特征向量，所述语义特征向量由多个语义特征变量组成，所述语义特征变量包括：描述 脸部器官周围局部运动的特征变量，以及描述全脸各器官之间相对运动的特征变量； 2)基于由多个表情基构成的参考模型，将所述视频的语义特征向量表示为表情基 的语义特征向量的加权和，并将与各表情基的语义特征向量的加权系数作为表情参数； 3)基于步骤2)所获得的表情参数和相应的参考模型的表情基，生成与所述视频 表情一致的人脸动画。 其中，所述步骤1)、2)中，所述描述脸部器官周围局部运动的特征变量包括：描述 眉毛周围局部运动的特征变量，描述眼睛周围局部运动的特征变量，以及描述嘴巴周围局 部运动的特征变量。 其中，所述步骤1)、2)中，所述描述眉毛周围局部运动的特征变量包括两眉毛之 间的水平距离，左眉内眉梢、外眉梢、眉毛中心与左眼的垂直距离，以及右眉内眉梢、外眉 梢、眉毛中心与右眼的垂直距离； 所述描述眼睛周围局部运动的特征变量包括左眼上眼皮与下眼皮之间的最大垂 直距离，以及右眼上眼皮与下眼皮之间的最大垂直距离； 所述描述嘴巴周围局部运动的特征变量包括上嘴角宽度、嘴巴最大宽度和嘴巴最 大张开幅度。 其中，所述步骤1)、2)中，所述描述全脸各器官之间相对运动的特征变量包括：鼻 眼之间，嘴眼之间以及鼻嘴之间的距离特征变量。 其中，所述步骤1)、2)中，所述鼻眼之间的距离特征变量包括：鼻尖与两眼中心的 垂直距离；嘴眼之间的距离特征信息包括：左嘴角与眼睛的垂直距离，以及右嘴角与眼睛 的垂直距离；鼻嘴之间的距离特征信息包括：鼻尖与左嘴角的水平距离、鼻尖与右嘴角的 水平距离、鼻尖与上嘴唇中心的垂直距离、鼻尖与上嘴唇左尖的垂直距离，以及鼻尖与上嘴 唇右尖的垂直距离。 其中，所述步骤2)包括下列子步骤： 21)基于描述脸部器官周围局部运动的特征变量，构造分别与各脸部器官相对应 的多个局部特征子向量，基于描述全脸各器官之间相对运动的特征变量，构造全局特征子 向量； 22)基于误差最小原则，求解将所述视频的局部特征子向量表示为表情基的局部 特征子向量加权和的表情参数局部子向量；求解将所述视频的全局特征子向量表示为表情 基的全局特征子向量加权和的表情参数全局子向量； 23)将表情参数全局子向量与各脸部器官所对应的表情参数局部子向量融合，得 到各所述表情基最终的表情参数。 其中，所述步骤22)还包括：在基于误差最小原则求解表情参数局部子向量和表 情参数全局子向量时，优先求解使用频度高的表情基的表情参数。 其中，所述步骤22)还包括：基于训练集，分别获取各表情基的使用频度。 其中，所述步骤23)包括：对于参考模型中的每个表情基，在表情参数全局子向量 与各脸部器官所对应的表情参数局部子向量中，如果仅有一个非零的该表情基所对应的表 情参数，则直接将其作为该表情基最终的表情参数；如果存在多个非零的该表情基所对应 的表情参数，则以这些表情参数的平均值作为该表情基最终的表情参数。 与现有技术相比，本专利技术具有下列技术效果： 1、本专利技术能够增加人脸动画本文档来自技高网...

【技术保护点】
一种视频驱动的人脸动画生成方法，其特征在于，包括下列步骤：1)从视频的人脸图像中提取所述视频的语义特征向量，所述语义特征向量由多个语义特征变量组成，所述语义特征变量包括：描述脸部器官周围局部运动的特征变量，以及描述全脸各器官之间相对运动的特征变量；2)基于由多个表情基构成的参考模型，将所述视频的语义特征向量表示为各表情基的语义特征向量的加权和，并将与各表情基的语义特征向量的加权系数作为表情参数；3)基于步骤2)所获得的表情参数和相应的参考模型的表情基，生成与所述视频表情一致的人脸动画。

【技术特征摘要】

【专利技术属性】
技术研发人员：夏时洪，王涵，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11