中间帧图像生成方法、模型的训练方法及装置制造方法及图纸

本说明书实施例提供了一种中间帧图像生成方法、中间帧图像重建模型的训练方法及装置，其中，中间帧图像生成方法包括：获取待插帧的目标图像的参考图像，所述参考图像中包含所述目标图像缺失的纹理信息；确定所述目标图像的光流，根据所述光流生成所述目标图像的初始中间帧图像；将所述参考图像、所述初始中间帧图像、所述光流和所述目标图像输入至预训练的中间帧图像重建模型进行特征融合，得到所述目标图像的目标中间帧图像。通过本说明书实施例，可以保证生成的中间帧图像比较自然。可以保证生成的中间帧图像比较自然。可以保证生成的中间帧图像比较自然。

【技术实现步骤摘要】
中间帧图像生成方法、模型的训练方法及装置


[0001]本文件涉及计算机视觉
，尤其涉及一种中间帧图像生成方法、中间帧图像重建模型的训练方法及装置。

技术介绍

[0002]随着虚拟数字人的技术发展，元宇宙概念的兴起，人们对流畅、自然的高质量的虚拟数字人需求越来越高，例如，在一些业务场景中，可能涉及到对虚拟数字人的视频素材进行拼接转场，基于此，如何实现拼接转场，以提升视频素材之间的流畅度，从而避免“闪眼”等问题，逐渐成为重点关注问题。
[0003]相关技术中，通常采用插帧技术实现对虚拟数字人的视频素材进行拼接转场。其中，插帧(Video Frame Interpolation，VFI)技术，又称帧速率转换(Frame Rate Conversion)技术，是通过在原始视频的每两帧连续画面中增加一帧或多帧(中间帧图像)，以缩短帧与帧之间的显示时间，从而提升视频的流畅度，达到更好的视觉感官效果。然而，相关技术中，生成的中间帧图像并不自然，容易导致插帧后的视频看起来不流畅。

技术实现思路

[0004]本说明书一个或多个实施例的目的是提供一种中间帧图像生成方法、中间帧图像重建模型的训练方法，以解决采用现有技术提供的中间帧图像生成方式生成的中间帧图像不自然的问题。
[0005]为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
[0006]本说明书一个或多个实施例提供了一种中间帧图像生成方法，包括：
[0007]获取待插帧的目标图像的参考图像，参考图像中包含目标图像缺失的纹理信息；
[0008]确定目标图像的光流，根据光流生成目标图像的初始中间帧图像；
[0009]将参考图像、初始中间帧图像、光流和目标图像输入至预训练的中间帧图像重建模型进行特征融合，得到目标图像的目标中间帧图像。
[0010]可以看出，本说明书实施例提供的中间帧图像生成方法，在生成中间帧图像的过程中，可以将参考图像、初始中间帧图像、光流和目标图像输入至预训练的中间帧图像重建模型进行特征融合，得到目标图像的目标中间帧图像，其中，参考图像中包含目标图像缺失的纹理信息，这样，在融合过程中可以基于参考图像补齐目标图像缺失的纹理信息，从而可以避免由于目标图像的纹理缺失，导致基于目标图像生成的中间帧图像不自然的问题。
[0011]本说明书一个或多个实施例提供了一种中间帧图像重建模型的训练方法，包括：
[0012]获取图像样本和参考图像样本，其中，参考图像样本中包含图像样本缺失的纹理信息；
[0013]获取图像样本的第一光流，以及根据第一光流生成图像样本的第一中间帧图像；
[0014]通过图像样本、参考图像样本、第一中间流、第一中间帧图像对待训练的重建模型进行训练，得到中间帧图像重建模型。
[0015]可以看出，本说明书实施例提供的中间帧图像重建模型的训练方法，在训练中间帧图像重建模型时，可以将图像样本、第一中间流、第一中间帧图像结合参考图像样本作为待训练的重建模型的输入对待训练模型进行训练，这样，待训练的重建模型在训练过程中可以根据参考图像样本补齐图像样本缺失的纹理信息，从而可以避免通过根据图像样本训练得到的中间帧图像重建模型输出的中间帧图像不自然的问题。
[0016]本说明书一个或多个实施例提供了一种中间帧图像生成装置，包括：
[0017]获取模块，用于获取待插帧的目标图像的参考图像，参考图像中包含目标图像缺失的纹理信息；
[0018]确定模块，用于确定目标图像的光流，并根据光流生成目标图像的初始中间帧图像；
[0019]融合模块，用于将参考图像、初始中间帧图像、光流和目标图像输入至预训练的中间帧图像重建模型进行特征融合，得到目标图像的目标中间帧图像。
[0020]本说明书一个或多个实施例提供了一种电子设备，包括：
[0021]处理器；以及，
[0022]被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行上述中间帧图像生成方法中的步骤，或者所述可执行指令包括用于执行上述中间帧图像重建网络的训练方法中的步骤。
[0023]本说明书一个或多个实施例提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行上述中间帧图像生成方法，或者所述可执行指令使得计算机执行上述中间帧图像重建网络的训练方法。
附图说明
[0024]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本说明书一个或多个实施例提供的一种中间帧图像生成方法的场景示意图；
[0026]图2为本说明书一个或多个实施例提供的一种中间帧图像生成方法的流程示意图；
[0027]图3为本说明书一个或多个实施例提供的一种中间流估计网络的结构示意图；
[0028]图4为本说明书一个或多个实施例提供的一种中间帧图像重建模型的训练方法的流程示意图；
[0029]图5为本说明书一个或多个实施例提供的一种中间帧图像重建模型的结构示意图；
[0030]图6为本说明书一个或多个实施例提供的又一种中间帧图像生成方法的流程示意图；
[0031]图7为本说明书一个或多个实施例提供的一种中间帧图像重建模型的训练方法的流程示意图；
[0032]图8为本说明书一个或多个实施例提供的一种中间帧图像生成装置的模块组成示意图；
[0033]图9为本说明书一个或多个实施例提供的一种中间帧图像重建网络的训练装置的模块组成示意图；
[0034]图10为本说明书一个或多个实施例提供的一种电子设备的结构示意图。
具体实施方式
[0035]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0036]本说明书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应理解，这样使用的数据在适当情况下可以互换，以便本申请实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，本说明书中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
[0037]目前，相关的生成中间帧图像的方式主要包括以下两种：方式一，基于流的视频插帧方法，通常是先估算视频中相邻两帧之间的双向光流，然后基于双向光流通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种中间帧图像生成方法，其特征在于，包括：获取待插帧的目标图像的参考图像，所述参考图像中包含所述目标图像缺失的纹理信息；确定所述目标图像的光流，根据所述光流生成所述目标图像的初始中间帧图像；将所述参考图像、所述初始中间帧图像、所述光流和所述目标图像输入至预训练的中间帧图像重建模型进行特征融合，得到所述目标图像的目标中间帧图像。2.根据权利要求1所述的方法，其特征在于，根据所述光流生成所述目标图像的初始中间帧图像，包括：根据所述光流对所述目标图像进行后向扭曲处理，得到后向扭曲处理结果；将所述后向扭曲处理结果、所述光流和所述目标图像输入至初始中间帧图像构建模型，得到所述目标图像的所述初始中间帧图像。3.根据权利要求1所述的方法，其特征在于，确定所述目标图像的光流，包括：获取所述待插帧的目标图像；将所述目标图像输入至中间流估计网络进行中间流估计，得到所述目标图像的光流。4.根据权利要求1所述的方法，其特征在于，所述中间帧图像重建模型包括全局生成器网络，第一局部增强器网络和第二局部增强器网络；所述全局生成器网络用于对所述参考图像、所述目标图像、所述光流、所述初始中间帧图像进行全局特征提取，得到第一全局特征信息；所述第一局部增强器网络用于对所述参考图像、所述目标图像、所述光流、所述初始中间帧图像进行细节特征提取，得到第一细节特征信息；所述第二局部增强器网络用于对所述第一全局特征信息以及所述第一细节特征信息进行融合，得到融合特征信息，并对所述融合特征信息进行细节特征提取，得到所述目标中间帧图像。5.根据权利要求1至4任一项所述的方法，其特征在于，所述获取待插帧的目标图像的参考图像，包括：确定所述待插帧的目标图像所包含的场景信息；根据所述场景信息选取与所述场景信息匹配的、包含所述目标图像所缺失纹理信息的图像，作为所述参考图像；或者，...

【专利技术属性】
技术研发人员：赵幸福，王洪斌，周迅溢，吴海英，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：