视频的生成方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种视频的生成方法、装置、电子设备及可读存储介质，涉及计算机视觉技术。具体实现方案获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各二维唇形参数；根据所述脸部图像的各二维唇形参数，获得所述脸部图像的各三维表情参数；根据所述脸部图像的三维脸部网格、所述脸部图像的各三维表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；以及对所述各融合视频帧图像进行合成处理，以生成融合视频。

Video generation method, device, electronic equipment and readable storage medium

【技术实现步骤摘要】
视频的生成方法、装置、电子设备及可读存储介质
涉及计算机技术，具体涉及计算机视觉技术，尤其涉及一种视频的生成方法、装置、电子设备及可读存储介质。
技术介绍
随着互联网的深入发展，终端能够集成越来越多的功能，从而使得应用于终端上的应用(Application，APP)层出不穷。有些应用中会涉及视频的内容表达，通常可以采用人工方式，进行视频的录制，以生成具有各种内容表达的视频。然而，由于完全依赖人工录制，使得视频生成的效率较低。尤其是对于一些具有固定内容表达的视频，例如新闻播报、学科教学等内容表达的视频，这些视频所表达的内容是固定的，完全采用人工录制的方式，不但效率特别地，而且还会造成不必要的人力资源的浪费。
技术实现思路
本申请的多个方面提供一种视频的生成方法、装置、电子设备及可读存储介质，用以提高视频生成的效率。本申请的一方面，提供一种视频的生成方法，包括：获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各二本文档来自技高网...

【技术保护点】
1.一种视频的生成方法，其特征在于，包括：/n获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；/n根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各二维唇形参数；/n根据所述脸部图像的各二维唇形参数，获得所述脸部图像的各三维表情参数；/n根据所述脸部图像的三维脸部网格、所述脸部图像的各三维表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；/n对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；/n对所述各融合视频帧图像进行合成处理，以生成融合视频。/n

【技术特征摘要】
1.一种视频的生成方法，其特征在于，包括：
获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；
根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各二维唇形参数；
根据所述脸部图像的各二维唇形参数，获得所述脸部图像的各三维表情参数；
根据所述脸部图像的三维脸部网格、所述脸部图像的各三维表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；
对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；
对所述各融合视频帧图像进行合成处理，以生成融合视频。


2.根据权利要求1所述的方法，其特征在于，所述获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理，包括：
根据所述目标对象的图像内容，获得所述脸部图像的三维脸部网格；
根据所述脸部图像的三维脸部网格与所述目标对象的图像内容的投影关系，获得所述脸部图像的脸部图像纹理。


3.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象的图像内容，获得所述脸部图像的三维脸部网格，包括：
根据所述目标对象的图像内容，获得所述目标对象的图像内容中人脸图像的关键点；
根据所述人脸图像的关键点，获得所述脸部图像的三维脸部网格。


4.根据权利要求1所述的方法，其特征在于，所述获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理，包括：
获取基础卡通形象的脸部形状和脸部纹理；
根据所述基础卡通形象的脸部形状和脸部纹理，获得所述脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理。


5.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各二维唇形参数，包括：
获取所述目标对象的神经网络；
根据所述目标对象的音频内容的音频特征，利用所述目标对象的神经网络，获得所述脸部图像的各二维唇形参数。


6.根据权利要求5所述的方法，其特征在于，所述获取所述目标对象的神经网络之前，还包括：
利用训练对象的图像数据、该图像数据所对应的音频数据和该图像数据所对应的各二维唇形参数，进行模型训练处理，以获得通用的神经网络；
利用所述目标对象的图像数据、该图像数据所对应的音频数据和该图像数据所对应的各二维唇形参数，进行模型调整处理，以获得所述目标对象的神经网络。


7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述脸部图像的各二维唇形参数，获得所述脸部图像的各三维表情参数，包括：
获取所述脸部图像的各表情基；
根据所述脸部图像的各二维唇形参数、所述脸部图像的三维脸部网格和所述脸部图像的各表情基，获得所述脸部图像的各二维唇形参数所对应的所述脸部图像的各三维唇形参数的表示，所述脸部图像的各三维唇形参数通过所述脸部图像的三维脸部网格和所述脸部图像的各表情基的线性加权表示；
根据所述脸部图像的各二维唇形参数和所述脸部图像的各三维唇形参数，获得所述脸部图像的各表情基的权重参数，以作为所述脸部图像的各三维表情参数。


8.根据权利要求7所述的方法，其特征在于，所述获取所述脸部图像的各表情基，包括：
获取所述人脸图像的三维脸部网格；
根据标准的各表情基、标准的三维脸部网格和所述人脸图像的三维脸部网格，获得所述人脸图像的各表情基。


9.根据权利要求7所述的方法，其特征在于，所述根据所述脸部图像的各二维唇形参数和所述脸部图像的各三维唇形参数，获得所述脸部图像的各表情基的权重参数，以作为所述脸部图像的各三维表情参数，包括：
确定优化问题，所述优化问题的目标函数为所述脸部图像的各二维唇形参数与所述脸部图像的各三维唇形参数的投影参数之间的差值的最小值函数，所述优化问题的约束条件为所述脸部图像的各表情基的权重参数的取值范围；其中，所述脸部图像的各三维唇形参数的投影参数为所述脸部图像的各表情基的各三维唇形参数的投影参数与所述脸部图像的各表情基的权重参数的乘积；
利用最小二乘法，对所述优化问题进行求解，以获得所述脸部图像的各表情基的权重参数。


10.一种视频的生成装置，其特征在于，包括：
网格纹理获取单元，用于获取待生成视频中目标对象的脸部图像的...

【专利技术属性】
技术研发人员：刘玉强，鲍冠伯，彭哲，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11