视频处理方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种视频处理方法、装置、存储介质及电子设备。该方法包括：获取待处理视频的第一视频帧和第二视频帧；将第一视频帧和第二视频帧输入预先训练的视频处理模型，得到目标中间帧；将该目标中间帧添加至第一视频帧和第二视频帧之间，得到处理后的目标视频。其中，该视频处理模型可以用于对第一视频帧和第二视频帧进行尺度变换，得到多个不同尺度的第一待定中间帧；并根据多个不同尺度的第一待定中间帧获取上述目标中间帧。这样，根据多个不同尺度的第一待定中间帧获取目标中间帧，能够使得目标中间帧更加清晰的展现目标对象的整体运动轨迹和局部运动细节。运动轨迹和局部运动细节。运动轨迹和局部运动细节。

【技术实现步骤摘要】
视频处理方法、装置、存储介质及电子设备


[0001]本公开涉及计算机视觉
，具体地，涉及一种视频处理方法、装置、存储介质及电子设备。

技术介绍

[0002]视频超帧率(Super Frame Rate)技术，是计算机视觉分析的一项热门技术，该技术可以应用于液晶电视、投影仪、手机等显示设备，提升视频播放效果。通过视频超帧率技术，可以对视频的相邻两个视频帧之间的运动轨迹进行估计与补偿，然后通过插值算法生成两帧之间的中间帧，并将该中间帧插入两个视频帧之间，使得视频的运动效果更为清晰和流畅。但是，在相关技术中，存在生成的中间帧有部分像素出现错误的问题。

技术实现思路

[0003]为克服相关技术中存在的上述问题，本公开提供一种视频处理方法、装置、存储介质及电子设备。
[0004]根据本公开实施例的第一方面，提供一种视频处理方法，所述方法包括：
[0005]获取待处理视频的第一视频帧和第二视频帧；
[0006]将所述第一视频帧和所述第二视频帧输入预先训练的视频处理模型，得到目标中间帧；
[0007]将所述目标中间帧添加至所述第一视频帧和所述第二视频帧之间，得到处理后的目标视频；
[0008]其中，所述视频处理模型用于对所述第一视频帧和所述第二视频帧进行尺度变换，得到多个不同尺度的第一待定中间帧；并根据多个不同尺度的所述第一待定中间帧获取所述目标中间帧。
[0009]可选地，所述视频处理模型包括第一子模型，所述第一子模型用于通过以下步骤执行对所述第一视频帧和所述第二视频帧进行尺度变换，得到多个不同尺度的第一待定中间帧：
[0010]按照多个不同的预设尺度对目标视频帧进行尺度变换，得到多个预设尺度对应的目标特征图；其中，所述目标视频帧包括所述第一视频帧和所述第二视频帧；所述目标特征图包括对所述第一视频帧进行尺度变换得到的第一特征图，以及，对所述第二视频帧进行尺度变换得到的第二特征图；
[0011]根据每个所述预设尺度对应的第一特征图和第二特征图，计算得到所述预设尺度对应的第二待定中间帧；
[0012]将所述多个预设尺度对应的第二待定中间帧作为所述第一待定中间帧。
[0013]可选地，所述视频处理模型还包括权重确定子模型，所述第二待定中间帧包括多个目标像素；所述根据每个所述预设尺度对应的第一特征图和第二特征图，计算得到所述预设尺度对应的第二待定中间帧包括：
[0014]将所述第一特征图和所述第二特征图输入所述权重确定子模型中，确定每个所述目标像素的遮挡权重；
[0015]根据所述遮挡权重、所述第一特征图和所述第二特征图，计算得到所述预设尺度对应的第二待定中间帧。
[0016]可选地，所述视频处理模型包括第二子模型，所述第二子模型用于通过以下步骤执行根据多个不同尺度的所述第一待定中间帧获取所述目标中间帧：
[0017]获取每个所述目标像素对应的第三待定中间帧，所述第三待定中间帧是在所述目标像素对应的多个所述第一待定中间帧中，与所述第一视频帧和所述第二视频帧的运动矢量距离最小的第一待定中间帧；
[0018]根据所述第三待定中间帧，获取所述目标中间帧。
[0019]可选地，所述第二子模型通过以下方式训练得到：
[0020]获取多个视频帧训练样本；其中，每个视频帧训练样本包括播放顺序相邻的第一视频样本帧、第二视频样本帧和第三视频样本帧；
[0021]根据所述多个视频帧训练样本，对目标神经网络模型进行训练，得到所述第二子模型。
[0022]可选地，所述根据所述多个视频帧训练样本，对目标神经网络模型进行训练，得到所述第二子模型包括：
[0023]循环执行模型训练步骤，直至根据所述第二视频样本帧和预测中间帧确定训练后的目标神经网络模型满足预设停止迭代条件，将训练后的目标神经网络模型作为所述第二子模型；所述预测中间帧为将所述第一视频样本帧和所述第三视频样本帧输入所述训练后的目标神经网络模型后输出的视频帧；
[0024]所述模型训练步骤包括：
[0025]针对每个视频帧训练样本，将所述视频帧训练样本中的所述第一视频样本帧和所述第三视频样本帧输入所述目标神经网络模型，得到所述视频帧训练样本对应的预测中间帧；
[0026]在根据所述第二视频样本帧和所述预测中间帧确定所述目标神经网络模型不满足所述预设停止迭代条件的情况下，根据所述第二视频样本帧和所述预测中间帧确定目标损失值，根据所述目标损失值更新所述目标神经网络模型的参数，得到训练后的目标神经网络模型，并将所述训练后的目标神经网络模型作为新的目标神经网络模型。
[0027]可选地，根据所述第二视频样本帧和所述预测中间帧确定目标损失值包括：
[0028]通过第一预设损失函数，计算得到所述第二视频样本帧和所述预测中间帧之间的第一损失值；
[0029]根据所述第一损失值获取所述目标损失值。
[0030]可选地，所述根据所述第一损失值获取目标损失值包括：
[0031]通过第二预设损失函数，计算得到所述第二视频样本帧和所述预测中间帧之间的第二损失值；
[0032]根据所述第一损失值和所述第二损失值，计算得到所述目标损失值。
[0033]可选地，所述获取多个视频帧训练样本包括：
[0034]将样本视频中的任意相邻三个视频帧作为第一待定训练样本；
[0035]将所述第一待定训练样本中的三个视频帧进行预设变换后，得到一个或多个第二待定训练样本；其中，所述预设变换包括水平翻转、垂直翻转和调换首尾帧中的一种或多种；
[0036]根据所述第一待定训练样本和所述第二待定训练样本，得到所述多个视频帧训练样本。
[0037]根据本公开实施例的第二方面，提供一种视频处理装置，所述装置包括：
[0038]视频帧获取模块，被配置为获取待处理视频的第一视频帧和第二视频帧；
[0039]中间帧生成模块，被配置为将所述第一视频帧和所述第二视频帧输入预先训练的视频处理模型，得到目标中间帧；其中，所述视频处理模型用于对所述第一视频帧和所述第二视频帧进行尺度变换，得到多个不同尺度的第一待定中间帧；并根据多个不同尺度的所述第一待定中间帧获取所述目标中间帧；
[0040]视频处理模块，被配置为将所述目标中间帧添加至所述第一视频帧和所述第二视频帧之间，得到处理后的目标视频。
[0041]可选地，所述视频处理模型包括第一子模型，所述中间帧生成模块，被配置为通过所述第一子模型执行以下步骤：
[0042]按照多个不同的预设尺度对目标视频帧进行尺度变换，得到多个预设尺度对应的目标特征图；其中，所述目标视频帧包括所述第一视频帧和所述第二视频帧；所述目标特征图包括对所述第一视频帧进行尺度变换得到的第一特征图，以及，对所述第二视频帧进行尺度变换得到的第二特征图；
[0043]根据每个所述预设尺度对应的第一特征图和第二特征图，计算得到所述预设尺度对应的第二待定中间帧；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：获取待处理视频的第一视频帧和第二视频帧；将所述第一视频帧和所述第二视频帧输入预先训练的视频处理模型，得到目标中间帧；将所述目标中间帧添加至所述第一视频帧和所述第二视频帧之间，得到处理后的目标视频；其中，所述视频处理模型用于对所述第一视频帧和所述第二视频帧进行尺度变换，得到多个不同尺度的第一待定中间帧；并根据多个不同尺度的所述第一待定中间帧获取所述目标中间帧。2.根据权利要求1所述的方法，其特征在于，所述视频处理模型包括第一子模型，所述第一子模型用于通过以下步骤执行对所述第一视频帧和所述第二视频帧进行尺度变换，得到多个不同尺度的第一待定中间帧：按照多个不同的预设尺度对目标视频帧进行尺度变换，得到多个预设尺度对应的目标特征图；其中，所述目标视频帧包括所述第一视频帧和所述第二视频帧；所述目标特征图包括对所述第一视频帧进行尺度变换得到的第一特征图，以及，对所述第二视频帧进行尺度变换得到的第二特征图；根据每个所述预设尺度对应的第一特征图和第二特征图，计算得到所述预设尺度对应的第二待定中间帧；将所述多个预设尺度对应的第二待定中间帧作为所述第一待定中间帧。3.根据权利要求2所述的方法，其特征在于，所述视频处理模型还包括权重确定子模型，所述第二待定中间帧包括多个目标像素；所述根据每个所述预设尺度对应的第一特征图和第二特征图，计算得到所述预设尺度对应的第二待定中间帧包括：将所述第一特征图和所述第二特征图输入所述权重确定子模型中，确定每个所述目标像素的遮挡权重；根据所述遮挡权重、所述第一特征图和所述第二特征图，计算得到所述预设尺度对应的第二待定中间帧。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述视频处理模型包括第二子模型，所述第二子模型用于通过以下步骤执行根据多个不同尺度的所述第一待定中间帧获取所述目标中间帧：获取每个所述目标像素对应的第三待定中间帧，所述第三待定中间帧是在所述目标像素对应的多个所述第一待定中间帧中，与所述第一视频帧和所述第二视频帧的运动矢量距离最小的第一待定中间帧；根据所述第三待定中间帧，获取所述目标中间帧。5.根据权利要求4所述的方法，其特征在于，所述第二子模型通过以下方式训练得到：获取多个视频帧训练样本；其中，每个视频帧训练样本包括播放顺序相邻的第一视频样本帧、第二视频样本帧和第三视频样本帧；根据所述多个视频帧训练样本，对目标神经网络模型进行训练，得到所述第二子模型。6.根据权利要求5所述的方法，其特征在于，所述根据所述多个视频帧训练样本，对目标神经网络模型进行训练，得到所述第二子模型包括：
循环执行模型训练步骤，直至根据所述第二视频样本帧和预测中...

【专利技术属性】
技术研发人员：梁增龑，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：