本公开提供了一种视频生成方法及装置，包括：得到表情迁移模型输出的初始视频；获取与初始视频中的视频帧对应的脸部渲染图和表情系数，脸部渲染图中的口腔区域绘制有虚拟牙齿；将视频帧对应的脸部渲染图和表情系数分别输入目标图像生成模型，得到目标图像生成模型输出的脸部处理图像；将各所述视频帧对应的脸部处理图像按照所述表情驱动视频的播放时间顺序组合，得到经过脸部处理的目标视频。本公开可以在保证目标视频的牙齿完整的基础上，提升了脸部纹理和牙齿纹理的真实自然程度，大大提升了目标视频的质量。提升了目标视频的质量。提升了目标视频的质量。
【技术实现步骤摘要】
视频生成方法、装置、电子设备及存储介质
[0001]本公开实施例涉及计算机
，尤其涉及一种视频生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
技术介绍
[0002]随着计算机技术的不断发展，各种视频、图像特效的应用越来越广泛，人们对特效的多样性需求也越来越大。
[0003]在目前，活照片视频是一种非常具有个性化和趣味性的特效应用，用户可以输入一张人像照片，并在选取了具有表情变化内容的驱动视频后，即可将人像照片处理为活照片视频，使得活照片视频中具有融合了驱动视频中表情变化效果的用户脸部特征。
[0004]但是，目前方案中，生成的活照片视频常常会出现面部特别是牙齿部分不完整以及纹理不清晰的问题，大大影响了活照片视频的质量。
技术实现思路
[0005]本公开实施例提供一种视频生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品，以解决相关技术中生成的视频常常会出现面部特别是牙齿部分不完整以及纹理不清晰的问题。
[0006]第一方面，本公开实施例提供了一种视频生成方法，该方法包括：
[0007]将脸部图片和包含表情变化特征的表情驱动视频输入表情迁移模型，得到所述表情迁移模型输出的初始视频，所述初始视频为将所述表情驱动视频中的表情变化特征与所述脸部图片的脸部特征融合后生成的视频；
[0008]获取与所述初始视频中的视频帧对应的脸部渲染图和表情系数，所述脸部渲染图中的口腔区域绘制有虚拟牙齿；
[0009]将各所述视频帧对应的脸部渲染图和表情系数分别输入目标图像生成模型，得到所述目标图像生成模型输出的各所述视频帧对应的脸部处理图像；所述目标图像生成模型用于根据所述表情系数，对所述脸部渲染图的脸部区域进行基于牙齿和纹理的处理；
[0010]将各所述视频帧对应的脸部处理图像按照所述表情驱动视频的播放时间顺序组合，得到经过脸部处理的目标视频。
[0011]在一种可选实施方式中，所述获取与所述初始视频中的视频帧对应的脸部渲染图和表情系数，包括：
[0012]识别所述初始视频中视频帧的脸部关键点及牙齿关键点；
[0013]根据各所述视频帧的脸部关键点及牙齿关键点，构建得到与各所述视频帧对应的脸部渲染图和表情系数。
[0014]在一种可选实施方式中，根据各所述视频帧的脸部关键点及牙齿关键点，构建得到与各所述视频帧对应的脸部渲染图和表情系数，包括：
[0015]根据各所述视频帧的脸部关键点进行三维重建，得到所述视频帧对应的三维脸部
建模和表情系数；
[0016]将所述三维脸部建模投影至二维平面，得到脸部建模图；
[0017]根据所述视频帧的牙齿关键点，确定所述脸部建模图中的口腔区域，并在所述口腔区域中绘制虚拟牙齿，得到所述脸部渲染图。
[0018]在一种可选实施方式中，所述方法还包括：
[0019]获取训练视频，所述训练视频为具有多帧暴露牙齿的视频帧、画面中具有脸部表情变化、画面中头部运动姿态的偏移量小于或等于预设阈值的视频；
[0020]根据所述训练视频，获取训练配对数据，所述训练配对数据包括：所述训练视频的任一视频帧、与所述任一视频帧对应的脸部渲染图、所述任一视频帧的表情系数；
[0021]根据所述训练配对数据，对初始图像生成模型进行训练，得到目标图像生成模型。
[0022]在一种可选实施方式中，所述根据所述训练视频，获取训练配对数据，包括：
[0023]从所述训练视频中提取第一视频帧和第二视频帧；
[0024]获取所述第一视频帧的第一三维脸部建模，以及所述第二视频帧的第二三维脸部建模和表情系数，所述第一三维脸部建模为融合了所述第一视频帧的脸部特征以及所述第一视频帧的表情特征的三维建模，所述第二三维脸部建模为融合了所述第一视频帧的脸部特征以及所述第二视频帧的表情特征的三维建模；
[0025]将所述第一三维脸部建模和所述第二三维脸部建模共同投影至二维平面，得到所述第二视频帧的脸部建模图；
[0026]确定所述第二视频帧的脸部建模图中的口腔区域，并在所述口腔区域中绘制虚拟牙齿，得到所述第二视频帧的脸部渲染图；
[0027]建立所述第二视频帧、所述第二视频帧的脸部渲染图、所述第二视频帧的表情系数之间的对应关系，得到所述训练配对数据。
[0028]在一种可选实施方式中，所述获取所述第一视频帧的第一三维脸部建模，以及所述第二视频帧的第二三维脸部建模和表情系数，包括：
[0029]分别对所述第一视频帧和所述第二视频帧进行关键点识别，得到所述第一视频帧的第一脸部关键点，以及所述第二视频帧的第二脸部关键点；
[0030]根据所述第一脸部关键点，获取所述第一视频帧的第一表情系数和第一姿态系数，以及根据第二脸部关键点，获取所述第二视频帧的第二表情系数；
[0031]根据所述第一视频帧、所述第一表情系数和第一姿态系数进行三维重建，得到所述第一三维脸部建模；
[0032]根据所述第一视频帧、所述第二表情系数和第一姿态系数进行三维重建，得到所述第二三维脸部建模。
[0033]在一种可选实施方式中，在所述根据所述训练视频，获取训练配对数据之前，还包括：
[0034]通过预设的图像超分算法对所述训练视频的视频帧进行处理。
[0035]第二方面，本公开实施例还提供了一种视频生成装置，所述装置包括：
[0036]迁移模块，被配置为将脸部图片和包含表情变化特征的表情驱动视频输入表情迁移模型，得到所述表情迁移模型输出的初始视频，所述初始视频为将所述表情驱动视频中的表情变化特征与所述脸部图片的脸部特征融合后生成的视频；
[0037]第一获取模块，被配置为获取与所述初始视频中的视频帧对应的脸部渲染图和表情系数，所述脸部渲染图中的口腔区域绘制有虚拟牙齿；
[0038]处理模块，被配置为将各所述视频帧对应的脸部渲染图和表情系数分别输入目标图像生成模型，得到所述目标图像生成模型输出的各所述视频帧对应的脸部处理图像；所述目标图像生成模型用于根据所述表情系数，对所述脸部渲染图的脸部区域进行基于牙齿和纹理的处理；
[0039]生成模块，被配置为将各所述视频帧对应的脸部处理图像按照所述表情驱动视频的播放时间顺序组合，得到经过脸部处理的目标视频。
[0040]在一种可选实施方式中，所述第一获取模块包括：
[0041]识别子模块，被配置为识别所述初始视频中视频帧的脸部关键点及牙齿关键点；
[0042]关键点分析子模块，被配置为根据各所述视频帧的脸部关键点及牙齿关键点，构建得到与各所述视频帧对应的脸部渲染图和表情系数。
[0043]在一种可选实施方式中，所述关键点分析子模块包括：
[0044]重建单元，被配置为根据各所述视频帧的脸部关键点进行三维重建，得到所述视频帧对应的三维脸部建模和表情系数；
[0045]投影单元，被配置为将所述三维脸部建模投影至本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频生成方法，其特征在于，所述方法包括：将脸部图片和包含表情变化特征的表情驱动视频输入表情迁移模型，得到所述表情迁移模型输出的初始视频，所述初始视频为将所述表情驱动视频中的表情变化特征与所述脸部图片的脸部特征融合后生成的视频；获取与所述初始视频中的视频帧对应的脸部渲染图和表情系数，所述脸部渲染图中的口腔区域绘制有虚拟牙齿；将各所述视频帧对应的脸部渲染图和表情系数分别输入目标图像生成模型，得到所述目标图像生成模型输出的各所述视频帧对应的脸部处理图像；所述目标图像生成模型用于根据所述表情系数，对所述脸部渲染图的脸部区域进行基于牙齿和纹理的处理；将各所述视频帧对应的脸部处理图像按照所述表情驱动视频的播放时间顺序组合，得到经过脸部处理的目标视频。2.根据权利要求1所述的方法，其特征在于，所述获取与所述初始视频中的视频帧对应的脸部渲染图和表情系数，包括：识别所述初始视频中视频帧的脸部关键点及牙齿关键点；根据各所述视频帧的脸部关键点及牙齿关键点，构建得到与各所述视频帧对应的脸部渲染图和表情系数。3.根据权利要求2所述的方法，其特征在于，根据各所述视频帧的脸部关键点及牙齿关键点，构建得到与各所述视频帧对应的脸部渲染图和表情系数，包括：根据各所述视频帧的脸部关键点进行三维重建，得到所述视频帧对应的三维脸部建模和表情系数；将所述三维脸部建模投影至二维平面，得到脸部建模图；根据所述视频帧的牙齿关键点，确定所述脸部建模图中的口腔区域，并在所述口腔区域中绘制虚拟牙齿，得到所述脸部渲染图。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取训练视频，所述训练视频为具有多帧暴露牙齿的视频帧、画面中具有脸部表情变化、画面中头部运动姿态的偏移量小于或等于预设阈值的视频；根据所述训练视频，获取训练配对数据，所述训练配对数据包括：所述训练视频的任一视频帧、与所述任一视频帧对应的脸部渲染图、所述任一视频帧的表情系数；根据所述训练配对数据，对初始图像生成模型进行训练，得到目标图像生成模型。5.根据权利要求4所述的方法，其特征在于，所述根据所述训练视频，获取训练配对数据，包括：从所述训练视频中提取第一视频帧和第二视频帧；获取所述第一视频帧的第一三维脸部建模，以及所述第二视频帧的第二三维脸部建模和表情系数，所述第一三维脸部建模为融合了所述第一视频帧的脸部特征以及所述第一视频帧的表情特征的三维建模，所述第二三维脸部建模为融合了所述第一视频帧的脸部特征以及所述第二视频帧的表情特征的三维建模；将所述...
【专利技术属性】
技术研发人员：黄旭为，饶强，白云志，刘晓强，叶奎，张国鑫，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。