模型训练、视频插帧方法，装置，设备以及存储介质制造方法及图纸

本公开提供了模型训练、视频插帧方法，装置，设备以及存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域。具体实现方案为：确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合；分别将第一图像帧集合和第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第二光流集合；基于第一光流集合和第二光流集合，确定目标损失函数；根据目标损失函数，训练初始光流估计网络。本实现方式可以对不同分辨率的视频帧进行插帧，提高光流估计的准确性，进而提升视频插帧的效果。进而提升视频插帧的效果。进而提升视频插帧的效果。

【技术实现步骤摘要】
模型训练、视频插帧方法，装置，设备以及存储介质


[0001]本公开涉及人工智能领域，具体涉及计算机视觉和深度学习
，尤其涉及模型训练、视频插帧方法，装置，设备以及存储介质。

技术介绍

[0002]视频插帧是视频处理中的一个经典任务，旨在根据一段视频中的前后两帧合成过渡平滑的中间帧。视频插帧的应用场景包括：第一，用于提高设备显示的视频帧率，让用户感觉视频更加清晰流畅；第二，在视频制作和编辑上，用于辅助实现视频的慢动作效果，或者用于在动画的关键帧之间增加中间帧，减少动画制作的人力支出；第三，用于视频的中间帧压缩，或者为其它计算机视觉任务提供辅助数据。

技术实现思路

[0003]本公开提供了一种模型训练、视频插帧方法，装置，设备以及存储介质。
[0004]根据第一方面，提供了一种模型训练方法，包括：确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合；分别将第一图像帧集合和第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第二光流集合；基于第一光流集合和第二光流集合，确定目标损失函数；根据目标损失函数，训练初始光流估计网络。
[0005]根据第二方面，提供了一种视频插帧方法，包括：获取目标视频；根据目标视频中前后相邻的两个视频帧以及通过如第一方面所描述的方法训练得到的光流估计网络，确定相邻的两个视频帧之间的第一光流和第二光流；根据第一光流和第二光流，合成相邻的两个视频帧的中间视频帧。
[0006]根据第三方面，提供了一种模型训练装置，包括：分辨率扩展单元，被配置成确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合；第一光流计算单元，被配置成分别将第一图像帧集合和第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第二光流集合；损失函数确定单元，被配置成基于第一光流集合和第二光流集合，确定目标损失函数；模型训练单元，被配置成根据目标损失函数，训练初始光流估计网络。
[0007]根据第四方面，提供了一种视频插帧装置，包括：视频获取单元，被配置成获取目标视频；第二光流计算单元，被配置成根据目标视频中前后相邻的两个视频帧以及通过如第一方面所描述的方法训练得到的光流估计网络，确定相邻的两个视频帧之间的第一光流和第二光流；视频插帧单元，被配置成根据第一光流和第二光流，合成相邻的两个视频帧的中间视频帧。
[0008]根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，上述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法或执行
如第二方面所描述的方法。
[0009]根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法。
[0010]根据第七方面，一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如第一方面所描述的方法。
[0011]根据本公开的技术可以对不同分辨率的视频帧进行插帧，提高光流估计的准确性，进而提升视频插帧的效果。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
[0015]图2是根据本公开的模型训练方法的一个实施例的流程图；
[0016]图3是根据本公开的模型训练方法的一个应用场景的示意图；
[0017]图4是根据本公开的模型训练方法的另一个实施例的流程图；
[0018]图5是根据本公开的视频插帧方法的一个实施例的流程图；
[0019]图6是根据本公开的模型训练装置的一个实施例的结构示意图；
[0020]图7是根据本公开的视频插帧装置的一个实施例的结构示意图；
[0021]图8是用来实现本公开实施例的模型训练方法、视频插帧方法的电子设备的框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0024]图1示出了可以应用本公开的模型训练方法、视频插帧方法、模型训练装置或视频插帧装置的实施例的示例性系统架构100。
[0025]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0026]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频播放类应用、视频处理类应用等。
[0027]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述
所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0028]服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上提供光流估计网络的后台服务器。后台服务器可以利用不同分辨率的训练样本对初始光流估计网络进行训练，得到训练好的光流估计网络，并将训练好的光流估计网络反馈给终端设备101、102、103。
[0029]需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0030]需要说明的是，本公开实施例所提供的模型训练方法一般由服务器105执行，视频插帧方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，模型训练装置一般设置于服务器105中，视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合；分别将所述第一图像帧集合和所述第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第二光流集合；基于所述第一光流集合和所述第二光流集合，确定目标损失函数；根据所述目标损失函数，训练所述初始光流估计网络。2.根据权利要求1所述的方法，其中，所述基于所述第一光流集合和所述第二光流集合，确定目标损失函数，包括：基于所述第一光流集合中的任意两个第一光流和所述第二光流集合中的任意两个第二光流，确定目标损失函数。3.根据权利要求2所述的方法，其中，所述根据所述第一光流集合中的任意两个第一光流和所述第二光流集合中的任意两个第二光流，确定目标损失函数，包括：根据所述初始光流估计网络，从所述不同分辨率中确定出目标分辨率；根据所述目标分辨率对应的目标第一光流和所述第一光流集合中除所述目标第一光流之外的其它第一光流，确定第一损失函数；根据所述目标分辨率对应的目标第二光流和所述第二光流集合中除所述目标第二光流之外的其它第二光流，确定第二损失函数；基于所述第一损失函数和所述第二损失函数，确定所述目标损失函数。4.根据权利要求3所述的方法，其中，所述根据所述初始光流估计网络，从所述不同分辨率中确定出目标分辨率，包括：获取所述初始光流估计网络的训练图像集；确定所述第一图像帧集合或所述第二图像帧集合中的各图像帧与所述训练图像集之间的分辨率相似度；根据各分辨率相似度，从所述不同分辨率中确定出所述目标分辨率。5.根据权利要求1～4任一项所述的方法，其中，所述基于所述第一光流集合和所述第二光流集合，确定目标损失函数，包括：根据所述第一光流集合和所述第二光流集合中相同分辨率的第一光流和第二光流，生成与各分辨率对应的合成帧；根据各合成帧与所述插帧位置对应的真值帧，确定第三损失函数；基于所述第三损失函数，确定所述目标损失函数。6.根据权利要求1～5任一项所述的方法，其中，所述确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合，包括：对所述第一参考帧和所述第二参考帧进行至少一次下采样，得到所述第一参考帧对应的扩展帧和所述第二参考帧对应的扩展帧；根据所述第一参考帧和对应的扩展帧，确定第一图像帧集合；根据所述第二参考帧和对应的扩展帧，确定第二图像帧集合。7.根据权利要求1～6任一项所述的方法，其中，所述第一图像帧集合各图像帧与所述第二图像帧集合中的各第二图像帧一一对应，对应的两个图像帧的分辨率相同；以及
所述分别将所述第一图像帧集合和所述第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第二光流集合，包括：将分辨率相同的第一图像帧与第二图像帧输入所述初始光流估计网络，得到所述第一图像帧与所述第二图像帧之间的第一光流和所述第二图像帧与所述第一图像帧之间的第二光流；根据各第一光流，得到所述第一光流集合；根据各第二光流，得到所述第二光流集合。8.一种视频插帧方法，包括：获取目标视频；根据所述目标视频中前后相邻的两个视频帧以及通过权利要求1
‑
7任一项所描述的方法训练得到的光流估计网络，确定相邻的两个视频帧之间的第一光流和第二光流；根据所述第一光流和所述第二光流，合成所述相邻的两个视频帧的中间视频帧。9.一种模型训练装置，包括：分辨率扩展单元，被配置成确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合；第一光流计算单元，被配置成分别将所述第一图像帧集合和所述第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第...

【专利技术属性】
技术研发人员：郑贺，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：