图像处理模型的训练方法、图像处理方法和装置制造方法及图纸

本公开关于一种图像处理模型的训练方法、图像处理方法、装置、电子设备、存储介质和计算机程序产品。所述方法包括：获取压缩后的样本视频帧序列；针对扩充后的样本视频帧序列中除第一个样本视频帧之外的每一个样本视频帧，将样本视频帧、样本视频帧的上一个样本视频帧和扩充后的样本视频帧序列中的目标样本视频帧，输入待训练的图像处理模型，得到样本视频帧的预测超分辨率视频帧；根据样本视频帧的预测超分辨率视频帧和样本视频帧的目标超分辨率视频帧，对待训练的图像处理模型进行训练，得到训练完成的图像处理模型；待训练的图像处理模型包括多级卷积网络。采用本方法，能够提高对压缩后视频帧的超分辨率效果。压缩后视频帧的超分辨率效果。压缩后视频帧的超分辨率效果。

【技术实现步骤摘要】
图像处理模型的训练方法、图像处理方法和装置


[0001]本公开涉及图像处理
，尤其涉及一种图像处理模型的训练方法、图像处理方法、装置、电子设备、存储介质和计算机程序产品。

技术介绍

[0002]随着图像处理技术的发展，出现了一种将视频进行压缩后再传输，以避免视频传输占用较大的带宽，从而提高视频传输效率的视频压缩技术。但是，压缩后的视频帧容易存在噪声，且图像细节缺失较多，因此，需要对压缩后的视频帧进行超分辨率处理。
[0003]相关技术中，目前对压缩后的视频帧进行超分辨率处理，主要通过训练后的超分辨率模型来实现；该模型在训练时，通常将压缩后的视频帧输入模型中，通过模型输出针对压缩后的视频帧的预测超分辨率结果，并利用该预测超分辨率结果和真实超分辨率结果之间的损失值，对该模型进行训练。但是，在模型训练过程中，仅仅考虑该视频帧本身的信息，导致训练后的超分辨率模型对压缩后视频帧的超分辨率效果较差。

技术实现思路

[0004]本公开提供一种图像处理模型的训练方法、图像处理方法、装置、电子设备、存储介质和计算机程序产品，以至少解决相关技术中对压缩后视频帧的超分辨率效果较差的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种图像处理模型的训练方法，包括：
[0006]获取压缩后的样本视频帧序列；
[0007]针对扩充后的样本视频帧序列中除第一个样本视频帧之外的每一个样本视频帧，将所述样本视频帧、所述样本视频帧的上一个样本视频帧和所述扩充后的样本视频帧序列中的目标样本视频帧，输入待训练的图像处理模型，得到所述样本视频帧的预测超分辨率视频帧；所述扩充后的样本视频帧序列通过将所述压缩后的样本视频帧序列中的第二个样本视频帧，粘贴到所述压缩后的样本视频帧序列中的第一个样本视频帧前面所得到；所述目标样本视频帧为所述扩充后的样本视频帧序列中对应的视频帧类型为预设视频帧类型的样本视频帧；
[0008]根据所述样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述待训练的图像处理模型进行训练，得到训练完成的图像处理模型；
[0009]其中，所述待训练的图像处理模型包括多级卷积网络，每一级卷积网络包括重建层和超分辨率网络；除最后一级卷积网络之外的每一级卷积网络中的重建层和超分辨率网络均与下一级超分辨率网络连接。
[0010]在一示例性实施例中，所述将所述样本视频帧、所述样本视频帧的上一个样本视频帧和所述扩充后的样本视频帧序列中的目标样本视频帧，输入待训练的图像处理模型，得到所述样本视频帧的预测超分辨率视频帧，包括：
[0011]将所述样本视频帧、所述样本视频帧的上一个样本视频帧和所述扩充后的样本视
频帧序列中的目标样本视频帧进行拼接处理，得到与所述样本视频帧对应的拼接视频帧；
[0012]将与所述样本视频帧对应的拼接视频帧进行可变形卷积处理，得到所述样本视频帧的图像特征；
[0013]将所述样本视频帧的图像特征输入待训练的图像处理模型，得到所述样本视频帧的预测超分辨率视频帧。
[0014]在一示例性实施例中，所述将所述样本视频帧的图像特征输入待训练的图像处理模型，得到所述样本视频帧的预测超分辨率视频帧，包括：
[0015]将所述样本视频帧的图像特征输入待训练的图像处理模型，通过所述待训练的图像处理模型中的第一级超分辨率网络对所述样本视频帧的图像特征进行超分辨率处理，将得到的第一级超分辨率结果输入第一级重建层中进行重建处理，将得到的第一级重建结果和所述第一级超分辨率结果输入第二级超分辨率网络进行超分辨率处理，直到通过最后一级重建层输出最后一级重建结果；
[0016]将所述最后一级重建结果确定为所述样本视频帧的预测超分辨率视频帧。
[0017]在一示例性实施例中，所述根据所述样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述待训练的图像处理模型进行训练，得到训练完成的图像处理模型，包括：
[0018]根据每个样本视频帧的预测超分辨率视频帧和目标超分辨率视频帧，得到每个样本视频帧对应的损失值；
[0019]获取所述损失值的平均值，作为目标损失值；
[0020]根据所述目标损失值，对所述待训练的图像处理模型进行训练，得到训练完成的图像处理模型。
[0021]在一示例性实施例中，所述压缩后的样本视频帧序列包括N1个压缩后的第一样本视频帧序列和N2个压缩后的第二样本视频帧序列，每个第一样本视频帧序列中包括M1个样本视频帧，每个第二样本视频帧序列中包括M2个样本视频帧；N1、N2、M1和M2均为正整数，且N1大于N2，M1小于M2；
[0022]所述根据所述样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述待训练的图像处理模型进行训练，得到训练完成的图像处理模型，包括：
[0023]根据每个第一样本视频帧序列中的样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述待训练的图像处理模型进行训练，得到初始图像处理模型；
[0024]根据每个第二样本视频帧序列中的样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述初始图像处理模型进行再次训练，得到训练完成的图像处理模型。
[0025]在一示例性实施例中，所述根据每个第一样本视频帧序列中的样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述待训练的图像处理模型进行训练，得到初始图像处理模型，包括：
[0026]针对每个第一样本视频帧序列，根据所述第一样本视频帧序列中的部分样本视频帧的预测超分辨率视频帧和目标超分辨率视频帧，以及预设余弦衰减策略所表示的模型参
数更新速度的衰减方式，对所述待训练的图像处理模型进行训练，直到达到第一预设时间；
[0027]根据所述第一样本视频帧序列中的全部样本视频帧的预测超分辨率视频帧和目标超分辨率视频帧，以及所述预设余弦衰减策略所表示的模型参数更新速度的衰减方式，对达到所述第一预设时间的训练后的图像处理模型进行再次训练，直到达到第二预设时间，将达到所述第二预设时间的训练后的图像处理模块，确定为所述初始图像处理模型。
[0028]根据本公开实施例的第二方面，提供一种图像处理方法，包括：
[0029]获取压缩后的视频帧序列；
[0030]针对扩充后的视频帧序列中除第一个视频帧之外的每一个视频帧，将所述视频帧、所述视频帧的上一个视频帧和所述扩充后的视频帧序列中的目标视频帧，输入训练完成的图像处理模型，得到所述视频帧的超分辨率视频帧；
[0031]其中，所述扩充后的视频帧序列通过将所述压缩后的视频帧序列中的第二个视频帧，粘贴到所述压缩后的视频帧序列中的第一个视频帧前面所得到；所述目标视频帧为所述扩充后的视频帧序列中对应的视频帧类型为预设视频帧类型的视频帧，所述训练完成的图像处理模型根据第一方面的任一项实施例中所述的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理模型的训练方法，其特征在于，包括：获取压缩后的样本视频帧序列；针对扩充后的样本视频帧序列中除第一个样本视频帧之外的每一个样本视频帧，将所述样本视频帧、所述样本视频帧的上一个样本视频帧和所述扩充后的样本视频帧序列中的目标样本视频帧，输入待训练的图像处理模型，得到所述样本视频帧的预测超分辨率视频帧；所述扩充后的样本视频帧序列通过将所述压缩后的样本视频帧序列中的第二个样本视频帧，粘贴到所述压缩后的样本视频帧序列中的第一个样本视频帧前面所得到；所述目标样本视频帧为所述扩充后的样本视频帧序列中对应的视频帧类型为预设视频帧类型的样本视频帧；根据所述样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述待训练的图像处理模型进行训练，得到训练完成的图像处理模型；其中，所述待训练的图像处理模型包括多级卷积网络，每一级卷积网络包括重建层和超分辨率网络；除最后一级卷积网络之外的每一级卷积网络中的重建层和超分辨率网络均与下一级超分辨率网络连接。2.根据权利要求1所述的方法，其特征在于，所述将所述样本视频帧、所述样本视频帧的上一个样本视频帧和所述扩充后的样本视频帧序列中的目标样本视频帧，输入待训练的图像处理模型，得到所述样本视频帧的预测超分辨率视频帧，包括：将所述样本视频帧、所述样本视频帧的上一个样本视频帧和所述扩充后的样本视频帧序列中的目标样本视频帧进行拼接处理，得到与所述样本视频帧对应的拼接视频帧；将与所述样本视频帧对应的拼接视频帧进行可变形卷积处理，得到所述样本视频帧的图像特征；将所述样本视频帧的图像特征输入待训练的图像处理模型，得到所述样本视频帧的预测超分辨率视频帧。3.根据权利要求2所述的方法，其特征在于，所述将所述样本视频帧的图像特征输入待训练的图像处理模型，得到所述样本视频帧的预测超分辨率视频帧，包括：将所述样本视频帧的图像特征输入待训练的图像处理模型，通过所述待训练的图像处理模型中的第一级超分辨率网络对所述样本视频帧的图像特征进行超分辨率处理，将得到的第一级超分辨率结果输入第一级重建层中进行重建处理，将得到的第一级重建结果和所述第一级超分辨率结果输入第二级超分辨率网络进行超分辨率处理，直到通过最后一级重建层输出最后一级重建结果；将所述最后一级重建结果确定为所述样本视频帧的预测超分辨率视频帧。4.根据权利要求1所述的方法，其特征在于，所述根据所述样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述待训练的图像处理模型进行训练，得到训练完成的图像处理模型，包括：根据每个样本视频帧的预测超分辨率视频帧和目标超分辨率视频帧，得到每个样本视频帧对应的损失值；获取所述损失值的平均值，作为目标损失值；根据所述目标损失值，对所述待训练的图像处理模型进行训练，得到训练完成的图像处理模型。
5.根据权利要求1所述的方法，其特征在于，所述压缩后的样本视频帧序列包括N1个压缩后的第一样本视频帧序列和N2个压缩后的第二样本视频帧序列，每个第一样本视频帧序列中包括M1个样本视频帧，每个第二样本视频帧序列中包括M2个样本视频帧；N1、N2、M1和M2均为正整数，且N1大于N2，M1小于M2；所述根据所述样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述待训练的图像处理模型进行训练，得到训练完成的图像处理模型，包括：根据每个第一样本视频帧序列中的样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述待训练的图像处理模型进行训练，得到初始图像处理模型；根据每个第二样本视频帧序列中的样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述初始图像处理模型进行再次训练，得到训练完成的图像处理模型。6.根据权利要求5所述的方法，其特征在于，所述根据每个第一样本视频帧序列中的样本视频帧的预测超分辨率视频帧和所述样本视频帧的目标超分辨率视频帧，对所述待训练的图像处理模型进行训练，得到初始图像处理模型，包括：针对每个第一样本视频帧序列，根据所述第一样本视频帧序列中的部分样本视频帧的预测超分辨率视频帧和目标超分辨率视频帧，以及预设余弦衰减策略所表示的模型参数更新速度的衰减方式，对所述待训练的图像处理模型进行训练，直到达到第一预设时间；根据所述第一样本视频帧序列中的全部样本视频帧的预测超分辨率视频帧和目标超分辨率视频帧，以及所述预设余弦衰减策略所表示的模型参数更新速度的衰减方式，对达...

【专利技术属性】
技术研发人员：磯部駿，陶鑫，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：