图像处理方法、装置、电子设备及模型训练方法制造方法及图纸

本申请公开了一种图像处理方法、装置、电子设备及模型训练方法。其中，该方法包括：获取待转换的第一图像；依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；依据第二图像，生成与第二图像对应的视频。本申请解决了现有的超分辨率算法在生成超分辨率图像时存在精度较低的技术问题。术问题。术问题。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及模型训练方法


[0001]本申请涉及图像识别领域，具体而言，涉及一种图像处理方法、装置、电子设备及模型训练方法。

技术介绍

[0002]在当前主流的图像、视频软件中，存储不同分辨率的图像和视频会耗费巨大的存储空间和传输带宽，造成成本的增加，为了便于存储和传输，通常会对图像和视频进行压缩。当前多数显示设备会在图像和视频观看时使用超分辨率算法来提升显示效果，但当前的超分辨率算法往往会在主观感知度和客观评价指标之间不能取得平衡，造成主观和客观上的顾此失彼，导致在生成超分辨率图像时存在精度较低的问题。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法、装置、电子设备及模型训练方法，以至少解决现有的超分辨率算法在生成超分辨率图像时存在精度较低的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种图像处理方法，包括：获取待转换的第一图像；依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；依据第二图像，生成与第二图像对应的视频。
[0006]可选地，获取待转换的第一图像，包括：获取待转换的第一视频数据，其中，第一视频数据为对高分辨率视频数据进行压缩得到的，高分辨率视频数据由高分辨率图像组成；将第一视频数据按照预设方式截取，并为截取得到的第一图像标记截取编号，其中，截取编号用于表征第一图像的截取顺序。
[0007]可选地，图像超分辨率模型是通过以下方式训练得到的：获取训练图像，其中，训练图像为低分辨率图像；将训练图像输入生成对抗网络模型进行训练，并将生成对抗网络模型的损失函数替换为目标损失函数；依据目标损失函数调整生成对抗网络模型的参数，得到图像超分辨率模型。
[0008]可选地，差分损失函数为通过以下方式确定的：分别获取图像超分辨率模型生成的第二图像与高分辨率图像在图像高度和图像宽度上的像素之间的差值；至少依据差值、超分辨率图像的高度和宽度，确定差分损失函数，其中，第二图像和高分辨率图像的高度和宽度相同。
[0009]可选地，离散余弦变换损失函数为通过以下方式确定的：对高分辨率图像进行离散余弦变换，得到第一变换值；对图像超分辨率模型生成的第二图像进行离散余弦变换，得到第二变换值；至少依据第一变换值、第二变换值，以及第二图像的宽度和高度，确定离散余弦变换损失函数。
[0010]可选地，依据第二图像，生成与第二图像对应的视频，包括：获取第二图像，以及第二图像对应的截取编号，其中，第二图像对应的截取编号为第二图像转换前的第一图像所标记的截取编号；将第二图像按照截取编号进行拼接，得到与第二图像对应的第二视频。
[0011]根据本申请实施例的另一方面，还提供了一种模型训练方法，包括：获取样本图像；将样本图像输入生成对抗网络模型进行训练，得到预测图像，其中，预测图像的分辨率高于样本图像的分辨率；采用差分损失函数确定样本图像的真实图像和预测图像之间的第一差异，以及采用离散余弦变换损失函数确定样本图像的真实图像和预测图像之间的第二差异；依据第一差异和第二差异调整生成对抗网络模型的模型参数。
[0012]可选地，差分损失函数为通过以下方式确定的：分别获取预测图像与样本图像的真实图像在图像高度和图像宽度上的像素之间的差值；至少依据差值、预测图像的高度和宽度，确定差分损失函数，其中，预测图像和样本图像的真实图像的高度和宽度相同。
[0013]可选地，离散余弦变换损失函数为通过以下方式确定的：对样本图像的真实图像进行离散余弦变换，得到第一变换值；对预测图像进行离散余弦变换，得到第二变换值；至少依据第一变换值、第二变换值，以及预测图像的宽度和高度，确定离散余弦变换损失函数。
[0014]根据本申请实施例的又一方面，还提供了一种图像处理装置，包括：获取模块，用于获取待转换的第一图像；转换模块，用于依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；生成模块，用于依据第二图像，生成与第二图像对应的视频。
[0015]根据本申请实施例的再一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的计算机程序，其中，计算机程序运行时执行上述图像处理方法，或执行上述模型训练方法。
[0016]根据本申请实施例的再一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，该非易失性存储介质所在设备通过运行计算机程序执行上述图像处理方法，或执行上述模型训练方法。
[0017]在本申请实施例中，通过获取待转换的第一图像；依据图像超分辨率模型将第一图像转换成第二图像，其中，第二图像的分辨率高于第一图像的分辨率，图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，目标损失函数包括差分损失函数和离散余弦变换损失函数；依据第二图像，生成与第二图像对应的视频，达到了使用目标损失函数调整生成对抗网络得到图像超分辨率模型的目的，从而实现了增强图像中物体的边缘纹理特征信息的技术效果，进而解决了现有的超分辨率算法在生成超分辨率图像时存在精度较低的技术问题。
附图说明
[0018]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0019]图1是根据本申请实施例的一种用于实现图像处理方法或模型训练方法的计算机终端(或电子设备)的硬件结构框图；
[0020]图2是根据本申请实施例的一种图像处理方法的流程图；
[0021]图3是根据本申请实施例的一种不同模型处理图像的效果图；
[0022]图4是根据本申请实施例的一种模型训练方法的流程图；
[0023]图5是根据本申请实施例的一种图像处理装置的结构图；
[0024]图6是根据本申请实施例的一种模型训练装置的结构图；
[0025]图7是根据本申请实施例的一种将低分辨率视频转换为超分辨率视频的流程图。
具体实施方式
[0026]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0027]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待转换的第一图像；依据图像超分辨率模型将所述第一图像转换成第二图像，其中，所述第二图像的分辨率高于所述第一图像的分辨率，所述图像超分辨率模型为使用目标损失函数对生成对抗网络模型进行调整得到，所述目标损失函数包括差分损失函数和离散余弦变换损失函数；依据所述第二图像，生成与所述第二图像对应的视频。2.根据权利要求1所述的方法，其特征在于，获取待转换的第一图像，包括：获取待转换的第一视频数据，其中，所述第一视频数据为对高分辨率视频数据进行压缩得到的，所述高分辨率视频数据由高分辨率图像组成；将所述第一视频数据按照预设方式截取，并为截取得到的第一图像标记截取编号，其中，所述截取编号用于表征所述第一图像的截取顺序。3.根据权利要求1所述的方法，其特征在于，所述图像超分辨率模型是通过以下方式训练得到的：获取训练图像，其中，所述训练图像为低分辨率图像；将所述训练图像输入所述生成对抗网络模型进行训练，并将所述生成对抗网络模型的损失函数替换为所述目标损失函数；依据所述目标损失函数调整所述生成对抗网络模型的参数，得到所述图像超分辨率模型。4.根据权利要求2所述的方法，其特征在于，所述差分损失函数为通过以下方式确定的：分别获取所述图像超分辨率模型生成的第二图像与所述高分辨率图像在图像高度和图像宽度上的像素之间的差值；至少依据所述差值、所述超分辨率图像的高度和宽度，确定所述差分损失函数，其中，所述第二图像和所述高分辨率图像的高度和宽度相同。5.根据权利要求2所述的方法，其特征在于，所述离散余弦变换损失函数为通过以下方式确定的：对所述高分辨率图像进行离散余弦变换，得到第一变换值；对所述图像超分辨率模型生成的第二图像进行离散余弦变换，得到第二变换值；至少依据所述第一变换值、所述第二变换值，以及所述第二图像的宽度和高度，确定所述离散余弦变换损失函数。6.根据权利要求2所述的方法，其特征在于，依据所述第二图像，生成与所述第二图像对应的视频，包括：获取所述第二图像，以及所述第二图像对应的截取编号，其中，所述第二图像对应的截取编号为所述第二图像转换前的第一图像所标记的截取编号；将所述第二图像按照所述截取编号进行拼接，得到与所述第...

【专利技术属性】
技术研发人员：曹玲，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：