视频插帧模型训练、视频插帧生成方法及相关装置制造方法及图纸

本发明专利技术实施例提供了一种视频插帧模型训练、视频插帧生成方法及相关装置，视频插帧模型训练方法包括：获取训练数据，所述训练数据包括：均包括至少2级分辨率的训练标签帧、训练标签前帧和训练标签后帧；根据各级所述训练标签前帧和各级所述训练标签后帧利用所述视频插帧模型获取各级训练标签插帧，根据各级训练标签插帧和各级所述训练标签帧获取生成损失，根据所述生成损失利用优化方法调整所述视频插帧模型的模型参数，得到训练后的所述视频插帧模型，直至所述生成损失达到损失阈值。本发明专利技术实施例所提供的视频插帧模型训练方法、视频插帧生成方法、装置、设备及介质，保证所生成的视频插帧具有较高的精度。

【技术实现步骤摘要】
视频插帧模型训练、视频插帧生成方法及相关装置
本专利技术实施例涉及计算机领域，尤其涉及一种视频插帧模型训练方法、装置、设备及存储介质，以及一种视频插帧生成方法、装置、设备及存储介质。
技术介绍
随着多媒体技术的发展，越来越多的人采用视频来记录信息，但是受到存储空间的限制，手机、普通的摄像机所录制的视频，单位时间内所包含的帧数相对较少，在对视频进行慢放时，没有办法还原太多的过渡细节，为此，可以通过高速摄像机进行视频的拍摄，但成本较高。另一方面，对于剪辑的视频，由于缺少了一部分时间的视频，也会造成视频的连续性不够，从而造成视频播放时的画面跳变。为了提高视频慢放或者剪辑视频播放时的质量，需要增加一部分视频帧，即生成视频插帧，以补充缺少的视频帧。因此，如何保证所生成的视频插帧具有较高的精度，成为亟需解决的技术问题。
技术实现思路
本专利技术实施例解决的技术问题是提供一种视频插帧模型训练方法、装置、设备及存储介质，以及一种视频插帧生成方法、装置、设备及存储介质，以保证所生成的视频插帧具有较高的精度。为解决上述问本文档来自技高网...

【技术保护点】
1.一种视频插帧模型训练方法，其特征在于，包括：/n获取训练数据，所述训练数据包括：均包括至少2级分辨率的训练标签帧、训练标签前帧和训练标签后帧，且同一级的所述训练标签帧、所述训练标签前帧和所述训练标签后帧的分辨率相同；/n根据各级所述训练标签前帧和各级所述训练标签后帧利用所述视频插帧模型获取各级训练标签插帧，根据各级训练标签插帧和各级所述训练标签帧获取生成损失，根据所述生成损失利用优化方法调整所述视频插帧模型的模型参数，得到训练后的所述视频插帧模型，直至所述生成损失达到损失阈值。/n

【技术特征摘要】
1.一种视频插帧模型训练方法，其特征在于，包括：
获取训练数据，所述训练数据包括：均包括至少2级分辨率的训练标签帧、训练标签前帧和训练标签后帧，且同一级的所述训练标签帧、所述训练标签前帧和所述训练标签后帧的分辨率相同；
根据各级所述训练标签前帧和各级所述训练标签后帧利用所述视频插帧模型获取各级训练标签插帧，根据各级训练标签插帧和各级所述训练标签帧获取生成损失，根据所述生成损失利用优化方法调整所述视频插帧模型的模型参数，得到训练后的所述视频插帧模型，直至所述生成损失达到损失阈值。


2.如权利要求1所述的视频插帧模型训练方法，其特征在于，所述根据所述训练数据利用所述视频插帧模型获取各级训练标签插帧的步骤包括：
获取具有相同当前级分辨率的所述训练标签前帧、所述训练标签后帧、训练标签前帧图像特征和训练标签后帧图像特征；
当所述当前级分辨率低于最大级分辨率时，利用深度神经网络根据所述训练标签前帧图像特征和所述训练标签后帧图像特征获取当前级光流和当前级掩码，当所述当前级分辨率等于最大级分辨率时，对具有低一级分辨率的上一级光流进行上采样得到具有最大级分辨率的当前级光流，对具有低一级分辨率的上一级掩码进行上采样得到具有最大级分辨率的当前级掩码；
根据所述训练标签前帧、所述训练标签后帧、所述当前级光流和所述当前级掩码，获取具有相同当前级分辨率的所述训练标签插帧，按照分辨率等级更新所述当前级分辨率，直至完成全部分辨率等级的所述训练标签插帧的获取，得到各级训练标签插帧。


3.如权利要求2所述的视频插帧模型训练方法，其特征在于，所述利用深度神经网络根据所述训练标签前帧图像特征和所述训练标签后帧图像特征获取当前级光流和当前级掩码的步骤包括：
获取具有低一级分辨率的上一级光流；
对所述上一级光流进行上采样得到具有所述当前级分辨率的上一级采样光流；
根据所述训练标签后帧图像特征与所述上一级采样光流，计算所述训练标签后帧到所述训练标签前帧的后帧转换图像特征；
计算所述训练标签前帧图像特征和所述后帧转换图像特征之间的前帧互相关特征；
根据所述训练标签前帧图像特征和所述前帧互相关特征得到所述当前级光流和所述当前级掩码。


4.如权利要求3所述的视频插帧模型训练方法，其特征在于，利用以下公式计算所述训练标签前帧图像特征和所述后帧转换图像特征之间的前帧互相关特征：



其中，FA--训练标签前帧图像特征；
FB′--后帧转换图像特征；
<，>--卷积运算；
o--位移偏移；
k--互相关窗口大小。


5.如权利要求3所述的视频插帧模型训练方法，其特征在于，所述根据所述训练标签前帧图像特征和所述前帧互相关特征得到所述当前级光流和所述当前级掩码的步骤包括：
根据所述训练标签前帧图像特征和所述前帧互相关特征，利用深度神经网络，得到当前级融合特征、当前级中间光流和当前级中间掩码；
利用深度神经网络，根据所述当前级融合特征、当前级中间光流和当前级中间掩码获取当前级中间光流残差和当前级中间掩码残差；
计算所述当前级中间光流残差和所述当前级中间光流之和，得到所述当前级光流，计算所述当前级中间掩码和所述当前级中间掩码残差之和，得到所述当前级掩码。


6.如权利要求5所述的视频插帧模型训练方法，其特征在于，利用以下公式根据所述训练标签前帧、所述训练标签后帧、所述当前级光流和所述当前级掩码，获取具有相同当前级分辨率的所述训练标签插帧：












其中，m--分辨率等级数；
t—设训练标签前帧的编号为0时，训练标签帧的编号；
IA--训练标签前帧；
IB--训练标签后帧；
mask--当前级掩码；
F′A→B--当前级光流
⊙--点乘；
g--图像插值方法。


7.如权利要求1-6任一项所述的视频插帧模型训练方法，其特征在于，所述获取训练数据的步骤包括：
利用差值法分别对具有相同分辨率的所述训练标签帧中的训练标签原始帧、所述训练标签前帧中的训练标签前原始帧和所述训练标签后帧中的训练标签后原始帧以图像分辨率的1/2倍率进行至少1次递归下采样，得到具有至少2级分辨率的所述训练标签帧、所述训练标签前帧和所述训练标签后帧。


8.如权利要求7所述的视频插帧模型训练方法，其特征在于，还包括：
通过拆解视频数据获取所述训练标签原始帧、所述训练标签前原始帧和训练标签后原始帧，所述训练标签原始帧位于所述训练标签前原始帧和训练标签后原始帧之间的一帧，且所述训练标签前原始帧和训练标签后原始帧之间的间隔帧数小于预定帧数阈值。


9.如权利要求1-6任一项所述的视频插帧模型训练方法，其特征在于，所述根据各级训练标签插帧和各级所述训练标签帧获取生成损失的步骤包括：
根据各级所述训练标签帧和各级所述训练标签插帧获取计算感知损失和均方误差损失；
根据所述感知损失和均方误差损失计算所述生成损失。


10.一种视频插帧生成方法，其特征在于，包括：
获取插帧数据，所述插帧数据包括：均包括至少2级分辨率的视频插帧前帧和视频插帧后帧，待插帧数量，视...

【专利技术属性】
技术研发人员：冀志龙，侯琦，张无名，
申请(专利权)人：北京新唐思创教育科技有限公司，
类型：发明
国别省市：北京;11