视频的生成方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种视频的生成方法、装置、电子设备及可读存储介质，涉及计算机视觉技术。具体实现方案为获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各表情参数；根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；以及对所述各融合视频帧图像进行合成处理，以生成融合视频。

Video generation method, device, electronic device and readable storage medium

【技术实现步骤摘要】
视频的生成方法、装置、电子设备及可读存储介质
涉及计算机技术，具体涉及计算机视觉技术，尤其涉及一种视频的生成方法、装置、电子设备及可读存储介质。
技术介绍
随着互联网的深入发展，终端能够集成越来越多的功能，从而使得应用于终端上的应用(Application，APP)层出不穷。有些应用中会涉及视频的内容表达，通常可以采用人工方式，进行视频的录制，以生成具有各种内容表达的视频。然而，由于完全依赖人工录制，使得视频生成的效率较低。尤其是对于一些具有固定内容表达的视频，例如新闻播报、学科教学等内容表达的视频，这些视频所表达的内容是固定的，完全采用人工录制的方式，不但效率特别地，而且还会造成不必要的人力资源的浪费。
技术实现思路
本申请的多个方面提供一种视频的生成方法、装置、电子设备及可读存储介质，用以提高视频生成的效率。本申请的一方面，提供一种视频的生成方法，包括：获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各表本文档来自技高网...

【技术保护点】
1.一种视频的生成方法，其特征在于，包括：/n获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；/n根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各表情参数；/n根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；/n对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；/n对所述各融合视频帧图像进行合成处理，以生成融合视频。/n

【技术特征摘要】
1.一种视频的生成方法，其特征在于，包括：
获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理；
根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各表情参数；
根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像；
对所述三维人脸网格的各渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；
对所述各融合视频帧图像进行合成处理，以生成融合视频。


2.根据权利要求1所述的方法，其特征在于，所述获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理，包括：
根据所述目标对象的图像内容，获得所述脸部图像的三维脸部网格；
根据所述脸部图像的三维脸部网格与所述目标对象的图像内容的投影关系，获得所述脸部图像的脸部图像纹理。


3.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象的图像内容，获得所述脸部图像的三维脸部网格，包括：
根据所述目标对象的图像内容，获得所述目标对象的图像特征信息；以及根据所述目标对象的图像特征信息，利用预先训练的第一神经网络，获得所述脸部图像的三维脸部网格；或者
根据所述目标对象的图像内容，利用预先训练的第二神经网络，获得所述脸部图像的三维脸部网格；或者
利用人工标定关键点，对所述目标对象的图像内容进行建模处理，以获得所述脸部图像的三维脸部网格。


4.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象的图像特征信息，利用预先训练的第一神经网络，获得所述脸部图像的三维脸部网格，包括：
根据所述目标对象的图像特征信息，利用预先训练的第一神经网络，获得所述脸部图像的各形状参数；
根据所述脸部图像的各形状参数，获得所述脸部图像的三维脸部网格。


5.根据权利要求1所述的方法，其特征在于，所述获取待生成视频中目标对象的脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理，包括：
获取基础卡通形象的脸部形状和脸部纹理；
根据所述基础卡通形象的脸部形状和脸部纹理，获得所述脸部图像的三维脸部网格和所述脸部图像的脸部图像纹理。


6.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的音频内容的音频特征，获得所述脸部图像的各表情参数之后，还包括：
利用所述目标对象的图像数据和所述图像数据所对应的音频数据，对所述脸部图像的各表情参数进行调整处理，以获得调整之后的所述脸部图像的各表情参数。


7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，获得所述三维脸部网格的各渲染脸部图像，包括：
根据所述脸部图像的各表情参数，获得所述各表情参数所对应的三维牙齿网格和牙齿图像纹理；
根据所述脸部图像的三维脸部网格、所述脸部图像的各表情参数和所述脸部图像的脸部图像纹理，以及所述三维牙齿网格和所述牙齿图像纹理，获得所述三维脸部网格的各渲染脸部图像。


8.一种视频的生成装置，其特征在于，包括：
网格纹理获取单元，用于获取待生成视...

【专利技术属性】
技术研发人员：彭哲，鲍冠伯，刘玉强，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11