处理方法、训练方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种视频帧图像的处理方法、处理装置、电子设备以及存储介质。处理方法包括：获取待处理视频帧图像和待处理视频帧图像的相邻视频帧图像，通过图像处理算法模型对待处理视频帧图像和相邻视频帧图像进行处理得到目标视频帧图像，其中，图像处理算法模型包括光流网络和增强网络，图像处理算法模型通过在多个训练阶段分别利用多个损失函数依次训练得到。本申请的处理方法中，通过由光流网络和增强网络组成的图像处理算法模型对待处理视频帧以及与其相邻的视频帧图像进行处理，从而可以利用相邻帧信息对当前帧的压缩画面进行修复，有效地改善了视频帧图像模糊、伪影、色块、噪声等问题，提高了显示效果。提高了显示效果。提高了显示效果。

【技术实现步骤摘要】
处理方法、训练方法、装置、电子设备及介质


[0001]本申请涉及图像处理领域，特别涉及一种视频帧图像的处理方法、处理装置、图像处理算法模型的训练方法、训练装置、电子设备及存储介质。

技术介绍

[0002]为了提高视频文件的传输效率以及减小视频文件的占用空间，通常，会将视频文件进行压缩处理。然而，压缩过程中容易造成视频文件产生模糊、伪影、色块以及造成等问题，而影响视频文件的显示效果。

技术实现思路

[0003]本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提供了一种视频帧图像的处理方法、图像处理算法模型的训练方法、视频帧图像的处理装置、图像处理算法模型的训练装置、电子设备及存储介质。
[0004]本申请实施方式的视频帧图像的处理方法包括：
[0005]获取待处理视频帧图像和所述待处理视频帧图像的相邻视频帧图像；
[0006]通过图像处理算法模型对所述待处理视频帧图像和所述相邻视频帧图像进行处理得到目标视频帧图像；
[0007]其中，所述图像处理算法模型包括光流网络和增强网络，所述图像处理算法模型通过在多个训练阶段分别利用多个损失函数依次训练得到。
[0008]在某些实施方式中，所述通过图像处理算法模型对所述待处理视频帧图像和所述相邻视频帧图像进行处理得到目标视频帧图像，包括：
[0009]通过所述光流网络对所述待处理视频帧图像和所述相邻视频帧图像进行处理得到光流信息；
[0010]利用所述光流信息对所述相邻视频帧图像进行处理得到预测视频帧图像；
[0011]联结所述光流信息、所述预测视频帧图像和所述待处理视频帧图像得到增强输入视频帧图像；
[0012]通过所述增强网络对所述增强输入视频帧图像进行处理得到所述目标视频帧图像。
[0013]在某些实施方式中，所述通过所述光流网络对所述待处理视频帧图像和所述相邻视频帧图像进行处理得到光流信息包括：
[0014]根据所述待处理视频帧图像和所述相邻视频帧图像得到多级联结数据，第一级所述连接数据由所述待处理视频帧图像和所述相邻视频帧图像连接得到；
[0015]对多级所述联结数据分别进行数据处理得到多级子光流信息，每级数据处理包括下采样处理、第一卷积处理和上采样处理，每级上采样处理的倍数是下采样处理倍数的2倍，前一级的下采样处理倍数是后一级下采样处理倍数的2倍，前一级上采样处理倍数是后一级下采样处理倍数的2倍；
[0016]将所述待处理视频帧图像和多级所述子光流信息分别估计得到多级子预测图像，第一级后的每级联结数据由前一级所述子预测图像和所述相邻视频图像联结得到；
[0017]将多级所述子光流信息相加得到所述光流信息。
[0018]在某些实施方式中，所述通过所述增强网络对所述增强输入视频帧图像进行处理得到所述目标视频帧图像，包括：
[0019]将预测视频帧图像和所述待处理视频帧图像联结并通过第二卷积处理以得到第一特征图谱；
[0020]所述相邻视频帧图像通过第三卷积处理后与所述光流信息做图像仿射变换处理得到第二特征图谱和第三特征图谱；
[0021]将所述第一特征图谱、所述第二特征图谱和第三特征图谱联结并通过第四卷积处理得到第四特征图谱；
[0022]对所述第四特征图谱自适应注意力处理并通过第五卷积处理得到所述目标视频帧图像。
[0023]在某些实施方式中，所述获取待处理视频帧图像和所述待处理视频帧图像的相邻视频帧图像，包括：
[0024]对所述待处理视频进行分割处理得到至少一个子视频，所述子视频包括多个场景相同的连续视频帧图像；
[0025]通过帧复制对所述子视频的第一帧和最后一帧进行复制补齐；
[0026]在所述子视频中获取所述待处理视频帧图像和与所述待处理视频帧图像相邻的两个所述相邻视频帧图像。
[0027]在某些实施方式中，对所述待处理视频进行分割处理得到至少一个子视频，包括：
[0028]将所述待处理视频的相邻两帧转换到预设颜色空间；
[0029]获取所述待处理视频的相邻两帧在所述预设颜色空间下，预设颜色通道的直方图；
[0030]在所述待处理视频的相邻两帧对应所述预设颜色通道的直方图满足预设条件的情况下，确定所述待处理视频的相邻两帧为同一所述子视频的连续视频帧图像。
[0031]在某些实施方式中，所述待处理视频包括压缩重制后得到的视频。
[0032]本申请实施方式的图像处理算法模型的训练方法中，所述图像处理算法模型包括光流网络和增强网络，所述训练方法包括：
[0033]获取训练视频帧图像和所述训练视频帧图像的相邻训练视频帧图像；
[0034]通过构建的所述图像处理算法模型，在多个训练阶段对所述训练视频帧图像和所述相邻训练视频帧图像进行处理得到训练输出视频帧图像；
[0035]在多个所述训练阶段，基于所述训练输出视频帧图像，分别通过多个损失函数计算所述图像处理算法模型的损失值；
[0036]根据所述图像处理算法模型的损失值对相应训练阶段的所述图像处理算法模型的参数进行修正。
[0037]在某些实施方式中，所述通过构建的所述图像处理算法模型，在多个训练阶段对所述训练视频帧图像和所述相邻训练视频帧图像进行处理得到训练输出视频帧图像，包括：
[0038]所述在多个所述训练阶段，基于所述训练输出视频帧图像，分别通过多个损失函数计算所述图像处理算法模型的损失值，包括：
[0039]在所述第一训练阶段，基于所述第一训练输出视频帧图像，通过第一损失函数计算所述图像处理算法模型的损失值；
[0040]所述根据所述图像处理算法模型的损失值对相应训练阶段的所述图像处理算法模型的参数进行修正，包括：
[0041]根据所述第一损失函数计算的所述图像处理算法模型的损失值对所述第一训练阶段的所述图像处理算法模型的参数进行修正，得到所述第一训练阶段训练好的所述图像处理算法模型。
[0042]在某些实施方式中，所述第一损失函数表示为：
[0043][0044]其中，为真值图像，W、H、C分别为所述第一训练输出视频帧图像的高、宽和通道数。
[0045]在某些实施方式中，所述通过构建的所述图像处理算法模型，在多个训练阶段对所述训练视频帧图像和所述相邻训练视频帧图像进行处理得到训练输出视频帧图像，包括：
[0046]通过所述第一训练阶段训练好的所述图像处理算法模型，在所述第二训练阶段对所述训练视频帧图像和所述相邻训练视频帧图像进行处理得到第二训练输出视频帧图像；
[0047]通过所述鉴别网络对所述第二训练输出视频帧图像进行处理，得到鉴别输出值；
[0048]所述在多个所述训练阶段，基于所述训练输出视频帧图像，分别通过多个损失函数计算所述图像处理算法模型的损失值，包括：
[0049]在所述第二训练阶段，基于所述鉴别输出值，通过第二损失函数计算所述图像处理算法模型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频帧图像的处理方法，其特征在于，所述处理方法包括：获取待处理视频帧图像和所述待处理视频帧图像的相邻视频帧图像；通过图像处理算法模型对所述待处理视频帧图像和所述相邻视频帧图像进行处理得到目标视频帧图像；其中，所述图像处理算法模型包括光流网络和增强网络，所述图像处理算法模型通过在多个训练阶段分别利用多个损失函数依次训练得到。2.根据权利要求1所述的处理方法，其特征在于，所述通过图像处理算法模型对所述待处理视频帧图像和所述相邻视频帧图像进行处理得到目标视频帧图像，包括：通过所述光流网络对所述待处理视频帧图像和所述相邻视频帧图像进行处理得到光流信息；利用所述光流信息对所述相邻视频帧图像进行处理得到预测视频帧图像；联结所述光流信息、所述预测视频帧图像和所述待处理视频帧图像得到增强输入视频帧图像；通过所述增强网络对所述增强输入视频帧图像进行处理得到所述目标视频帧图像。3.根据权利要求2所述的处理方法，其特征在于，所述通过所述光流网络对所述待处理视频帧图像和所述相邻视频帧图像进行处理得到光流信息包括：根据所述待处理视频帧图像和所述相邻视频帧图像得到多级联结数据，第一级所述连接数据由所述待处理视频帧图像和所述相邻视频帧图像连接得到；对多级所述联结数据分别进行数据处理得到多级子光流信息，每级数据处理包括下采样处理、第一卷积处理和上采样处理，每级上采样处理的倍数是下采样处理倍数的2倍，前一级的下采样处理倍数是后一级下采样处理倍数的2倍，前一级上采样处理倍数是后一级下采样处理倍数的2倍；将所述待处理视频帧图像和多级所述子光流信息分别估计得到多级子预测图像，第一级后的每级联结数据由前一级所述子预测图像和所述相邻视频图像联结得到；将多级所述子光流信息相加得到所述光流信息。4.根据权利要求2所述的处理方法，其特征在于，所述通过所述增强网络对所述增强输入视频帧图像进行处理得到所述目标视频帧图像，包括：将预测视频帧图像和所述待处理视频帧图像联结并通过第二卷积处理以得到第一特征图谱；所述相邻视频帧图像通过第三卷积处理后与所述光流信息做图像仿射变换处理得到第二特征图谱和第三特征图谱；将所述第一特征图谱、所述第二特征图谱和第三特征图谱联结并通过第四卷积处理得到第四特征图谱；对所述第四特征图谱自适应注意力处理并通过第五卷积处理得到所述目标视频帧图像。5.根据权利要求1所述的处理方法，其特征在于，所述获取待处理视频帧图像和所述待处理视频帧图像的相邻视频帧图像，包括：对所述待处理视频进行分割处理得到至少一个子视频，所述子视频包括多个场景相同的连续视频帧图像；
通过帧复制对所述子视频的第一帧和最后一帧进行复制补齐；在所述子视频中获取所述待处理视频帧图像和与所述待处理视频帧图像相邻的两个所述相邻视频帧图像。6.根据权利要求5所述的处理方法，其特征在于，对所述待处理视频进行分割处理得到至少一个子视频，包括：将所述待处理视频的相邻两帧转换到预设颜色空间；获取所述待处理视频的相邻两帧在所述预设颜色空间下，预设颜色通道的直方图；在所述待处理视频的相邻两帧对应所述预设颜色通道的直方图满足预设条件的情况下，确定所述待处理视频的相邻两帧为同一所述子视频的连续视频帧图像。7.根据权利要求6所述的处理方法，其特征在于，所述待处理视频包括压缩重制后得到的视频。8.一种图像处理算法模型的训练方法，其特征在于，所述图像处理算法模型包括光流网络和增强网络，所述训练方法包括：获取训练视频帧图像和所述训练视频帧图像的相邻训练视频帧图像；通过构建的所述图像处理算法模型，在多个训练阶段对所述训练视频帧图像和所述相邻训练视频帧图像进行处理得到训练输出视频帧图像；在多个所述训练阶段，基于所述训练输出视频帧图像，分别通过多个损失函数计算所述图像处理算法模型的损失值；根据所述图像处理算法模型的损失值对相应训练阶段的所述图像处理算法模型的参数进行修正。9.根据权利要求8所述的训练方法，其特征在于，所述通过构建的所述图像处理算法模型，在多个训练阶段对所述训练视频帧图像和所述相邻训练视频帧图像进行处理得到训练输出视频帧图像，包括：通过构建的所述图像处理算法模型，在第一训练阶段对所述训练视频帧图像和所述相邻训练视频帧图像进行处理得到第一训练输出视频帧图像；所述在多个所述训练阶段，基于所述训练输出视频帧图像，分别通过多个损失函数计算所述图像处理算法模型的损失值，包括：在所述第一训练阶段，基于所述第一训练输出视频帧图像，通过第一损失函数计算所述图像处理算法模型的损失值；所述根据所述图像处理算法模型的损失值对相应训练阶段的所述图像处理算法模型的参数进行修正，包括：根据所述第一...

【专利技术属性】
技术研发人员：段然，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：