一种渐变动画的生成方法及计算设备技术

本发明专利技术公开了一种渐变动画的生成方法及执行该方法的计算设备，包括步骤：按第一计算方式计算第一/第二人脸图像的投影矩阵和全图三维模型；根据投影矩阵和全图三维模型以第二计算方式分别计算第一/第二纹理坐标；对于每个待插入的中间帧：根据第一/第二投影矩阵和待插入中间帧的位置计算其投影矩阵；根据第一/第二全图三维模型和待插入中间帧的位置计算其全图三维模型；根据待插入中间帧的投影矩阵和全图三维模型以第二计算方式计算其纹理坐标；根据待插入中间帧的纹理坐标与第一/第二纹理坐标分别生成其第一/第二图像分量；结合第一/第二图像分量生成中间帧图像；由第一/第二人脸图像和生成的中间帧图像生成渐变动画。

Generation method and computing equipment of gradient animation

The invention discloses a method for generating animation and computing equipment, the implementation of the method comprises the following steps: Calculation of the first / second face image projection matrix and full 3D model according to the first calculation; according to the three-dimensional model of projection matrix and graph is calculated by second methods were calculated first / second texture coordinates; for every intermediate frames insert: calculate the projection matrix according to the position of the first / second projection matrix and the intermediate frames to be inserted; calculation of 3D model of map based on the first / second full 3D model and to be inserted between the frame position; according to the projection matrix and graph into three-dimensional model of intermediate frames for the calculation of the texture coordinates calculated by second methods; according to the insert the middle frame texture coordinates with the first / second texture coordinates are generated in the first / second / second image components; combined with the first figure The image component generates an intermediate frame image, and a gradient animation is generated from the first / second face image and the generated intermediate frame image.

【技术实现步骤摘要】
一种渐变动画的生成方法及计算设备
本专利技术涉及图像处理
，尤其是一种渐变动画的生成方法及计算设备。
技术介绍
由多幅包含人脸的图像(简称为“人脸图像”)生成渐变动画的方法目前有着广泛的应用。例如在相册中，通过用户输入一些本人或好友的照片，将这些照片当做关键帧，并在照片中间插值多帧图像实现动画效果，由于插入的中间帧的过渡，这种照片的播放效果要比PPT式的播放生动有趣。人脸渐变的普遍方法是在实现图像变形的基础上，先分别对两幅图像进行两个方向的变形，再对两幅变形图像进行图像灰度融合，产生一系列的中间图像，从而实现图像的平滑渐变。然而遗憾的是，任意两张包含人脸的图像，其脸型、表情、姿态可能都是不同的，且人脸与背景部分(如，肩、脖子、场景等)的对应关系也有可能是不同的，比如一张包含左侧脸的图像和一张包含右侧脸的图像之间的过渡，通过插入中间帧图像期望得到一个渐渐地从左到右变化且清晰的人脸。因此，要如何实现任意两张人脸图像的中间过渡融合，保证插值出的中间帧图像也会是一个相对清晰的人脸，是需要解决的一个重要问题。
技术实现思路
为此，本专利技术提供了一种渐变动画的生成方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。根据本专利技术的一个方面，提供了一种渐变动画的生成方法，该方法适于在包含人脸的第一人脸图像和第二人脸图像的中间插入至少一个中间帧图像，以生成人脸渐变动画，包括步骤：按第一计算方式计算第一人脸图像的第一投影矩阵和第一全图三维模型；根据第一投影矩阵和第一全图三维模型以第二计算方式计算第一人脸图像的第一纹理坐标；对第二人脸图像依次执行第一计算方式和第二计算方式的计算步骤，得到第二人脸图像的第二投影矩阵、第二全图三维模型和第二纹理坐标；对于每个待插入的中间帧：根据第一投影矩阵、第二投影矩阵和待插入中间帧的位置计算待插入中间帧的投影矩阵；根据第一全图三维模型、第二全图三维模型和待插入中间帧的位置计算待插入中间帧的全图三维模型；根据待插入中间帧的投影矩阵和全图三维模型以第二计算方式计算该待插入中间帧的纹理坐标；根据待插入中间帧的纹理坐标与第一纹理坐标、第二纹理坐标分别生成该待插入中间帧的第一图像分量和第二图像分量；结合第一图像分量和第二图像分量生成中间帧图像；以及由第一人脸图像、第二人脸图像和生成的中间帧图像生成渐变动画。可选地，在根据本专利技术的生成渐变动画的方法中，按第一计算方式计算人脸图像的投影矩阵的步骤包括：提取人脸图像中的人脸特征点；通过所提取的人脸特征点拟合得到人脸三维模型及该人脸三维模型对应的投影矩阵。可选地，在根据本专利技术的生成渐变动画的方法中，按第一计算方式计算人脸图像的全图三维模型的步骤包括：根据人脸三维模型的深度差计算该人脸图像中非人脸区域的深度，得到全图三维模型。可选地，在根据本专利技术的生成渐变动画的方法中，在提取人脸图像中的人脸特征点的步骤之前，还包括步骤：根据检测到的人脸区域对人脸图像进行裁剪和/或缩放处理。可选地，在根据本专利技术的生成渐变动画的方法中，通过所提取的人脸特征点拟合得到人脸三维模型和投影矩阵的步骤包括：利用三维形变模型3DMM根据人脸图像的人脸特征点生成人脸图像的人脸三维模型和该人脸三维模型对应的投影矩阵。可选地，在根据本专利技术的生成渐变动画的方法中，按第一计算方式计算全图三维模型的步骤包括：将人脸三维模型上鼻子中心点与每个轮廓点的连线分别向外延伸预定距离，得到对应的多个边缘点；以及从人脸三维模型上的顶点开始、按三角形关系依次连接多个边缘点，得到全图三维模型。可选地，在根据本专利技术的生成渐变动画的方法中，根据投影矩阵和全图三维模型以第二计算方式计算人脸图像的纹理坐标的步骤包括：将投影矩阵和全图三维模型相乘得到纹理坐标。可选地，在根据本专利技术的生成渐变动画的方法中，对于待插入的第i个中间帧，其对应的投影矩阵MVPi为：其中，SumFrame表示待插入的中间帧的总帧数，SumFrme表示插入中间帧后的总帧数，MVP1表示第一投影矩阵，MVP2表示第二投影矩阵。可选地，在根据本专利技术的生成渐变动画的方法中，对于待插入的第i个中间帧，其对应的全图三维模型M_expandi为：其中，SumFrame表示待插入的中间帧的总帧数，SumFrme表示插入中间帧后的总帧数，M_expand1表示第一全图三维模型，M_expand2表示第二全图三维模型。可选地，在根据本专利技术的生成渐变动画的方法中，对于待插入的第i个中间帧，其对应的第一图像分量Image1i为：其中，SumFrme表示插入中间帧后的总帧数，T1表示第一纹理坐标，Ti表示待插入的第i个中间帧的纹理坐标。可选地，在根据本专利技术的生成渐变动画的方法中，对于待插入的第i个中间帧，其对应的第二图像分量Image2i为：其中，SumFrme表示插入中间帧后的总帧数，T2表示第二纹理坐标，Ti表示待插入的第i个中间帧的纹理坐标。可选地，在根据本专利技术的生成渐变动画的方法中，对于待插入的第i个中间帧，其对应的中间帧图像framei为：其中，SumFrme表示插入中间帧后的总帧数，Image1i表示第一图像分量，Image2i表示第二图像分量。可选地，在根据本专利技术的生成渐变动画的方法中，待插入的中间帧的总帧数SumFrame与插入中间帧后的总帧数SumFrme之间的关系是：SumFrme＝SumFrame+2。根据本专利技术的又一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上所述方法中的任一方法的指令。根据本专利技术的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当计算设备执行时，使得计算设备执行如上所述的方法中的任一方法。通过上述描述，本方案基于三维人脸重建技术实现了人脸图像之间的过渡，能够利用前后两帧人脸图像生成一个渐变动画。根据本方案，先利用人脸特征点生成人脸三维模型，再计算背景区域的深度信息，得到全图三维模型，并根据前后两帧图像的三维特征内插出多个中间帧，可以在不同脸型、不同表情、不同姿态的中间生成相应的过渡脸型、表情和姿态。另外，相比于直接利用2D人脸特征点做网格化，然后进行网格融合生成渐变动画的方案，本方案能够很好地解决两张人脸图像的人脸姿态差异较大时，生成的中间帧图像中人脸扭曲的问题。附图说明为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了根据本专利技术一个实施例的计算设备100的构造示意图；图2示出了根据本专利技术一个实施例的渐变动画的生成方法200的流程图；图3A示出了根据本专利技术一个实施例的人脸三维模型的示意图；以及图3B示出了根据本专利技术一个实施例的由图3A的人脸三维模型扩展得到的全图三维网格模型的示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理本文档来自技高网...

【技术保护点】
一种渐变动画的生成方法，所述方法适于在包含人脸的第一人脸图像和第二人脸图像的中间插入至少一个中间帧图像，以生成人脸渐变动画，所述方法包括步骤：按第一计算方式计算所述第一人脸图像的第一投影矩阵和第一全图三维模型；根据所述第一投影矩阵和第一全图三维模型以第二计算方式计算所述第一人脸图像的第一纹理坐标；对所述第二人脸图像依次执行所述第一计算方式和第二计算方式的计算步骤，得到第二人脸图像的第二投影矩阵、第二全图三维模型和第二纹理坐标；对于每个待插入的中间帧：根据所述第一投影矩阵、第二投影矩阵和待插入中间帧的位置计算待插入中间帧的投影矩阵；根据所述第一全图三维模型、第二全图三维模型和待插入中间帧的位置计算待插入中间帧的全图三维模型；根据所述待插入中间帧的投影矩阵和全图三维模型以第二计算方式计算该待插入中间帧的纹理坐标；根据所述待插入中间帧的纹理坐标与第一纹理坐标、第二纹理坐标分别生成该待插入中间帧的第一图像分量和第二图像分量；结合所述第一图像分量和第二图像分量生成中间帧图像；以及由所述第一人脸图像、第二人脸图像和生成的中间帧图像生成渐变动画。

【技术特征摘要】
1.一种渐变动画的生成方法，所述方法适于在包含人脸的第一人脸图像和第二人脸图像的中间插入至少一个中间帧图像，以生成人脸渐变动画，所述方法包括步骤：按第一计算方式计算所述第一人脸图像的第一投影矩阵和第一全图三维模型；根据所述第一投影矩阵和第一全图三维模型以第二计算方式计算所述第一人脸图像的第一纹理坐标；对所述第二人脸图像依次执行所述第一计算方式和第二计算方式的计算步骤，得到第二人脸图像的第二投影矩阵、第二全图三维模型和第二纹理坐标；对于每个待插入的中间帧：根据所述第一投影矩阵、第二投影矩阵和待插入中间帧的位置计算待插入中间帧的投影矩阵；根据所述第一全图三维模型、第二全图三维模型和待插入中间帧的位置计算待插入中间帧的全图三维模型；根据所述待插入中间帧的投影矩阵和全图三维模型以第二计算方式计算该待插入中间帧的纹理坐标；根据所述待插入中间帧的纹理坐标与第一纹理坐标、第二纹理坐标分别生成该待插入中间帧的第一图像分量和第二图像分量；结合所述第一图像分量和第二图像分量生成中间帧图像；以及由所述第一人脸图像、第二人脸图像和生成的中间帧图像生成渐变动画。2.如权利要求1所述的方法，其中，按第一计算方式计算人脸图像的投影矩阵的步骤包括：提取所述人脸图像中的人脸特征点；通过所提取的人脸特征点拟合得到人脸三维模型及该人脸三维模型对应的投影矩阵。3.如权利要求2所述的方法，其中，按第一计算方式计算人脸图像的全图三维模型的步骤包括：根据所述人脸三维模型的深度差计算该人脸图像中非人脸区域的深度，得到全图三维模型。4.如权利要求2或3所述的方法，其中，在提取人脸图像中的人脸特征点的步骤之前，还包括步骤：根据检测到的...

【专利技术属性】
技术研发人员：吕仰铭，李志阳，李启东，吴善思源，许清泉，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建,35