图像处理方法、装置、设备、可读存储介质及程序产品制造方法及图纸

本申请实施例提出了一种图像处理方法、装置、设备、可读存储介质及程序产品，包括：利用目标图像超分辨率模型的超分辨率处理网络对待处理图像和待处理图像对应的特征图进行超分辨率处理，得到待处理图像的超分辨率图像；第一图像超分辨率模型和第二图像超分辨率模型是利用训练相关数据对第一初始超分辨率模型和第二初始超分辨率模型进行联合训练得到；第一图像超分辨率模型和第二图像超分辨率模型分别针对同一图像生成的超分辨率图像的高频信息分布相匹配。通过本申请实施例，可以缩小不同图像超分辨率模型针对同一图像生成的超分辨率图像的高频信息分布的偏差，并提高各个图像超分辨率模型的超分辨率处理的效果。个图像超分辨率模型的超分辨率处理的效果。个图像超分辨率模型的超分辨率处理的效果。

【技术实现步骤摘要】
图像处理方法、装置、设备、可读存储介质及程序产品


[0001]本申请涉及计算机
，具体涉及图像处理方法、图像处理装置、计算机设备、计算机可读存储介质以及计算机程序产品。

技术介绍

[0002]图像超分辨率是指从低分辨率图像中恢复出自然、清晰的纹理，最终得到超分辨率图像，常被用在终端设备上以提高终端设备所展示图像的分辨率。由于不同型号的终端设备的处理能力差距较大，导致需要在不同型号的终端设备上分别训练并配置不同的图像超分辨率模型，而不同的图像超分辨率模型针对同一低分辨率图像生成的超分辨率图像的高频信息分布可能存在较大的偏差，进而在视觉体验上产生差异，且通过分别训练得到的每一个图像超分辨率模型在进行超分辨率处理时的效果较差。因此，如何缩小不同图像超分辨率模型针对同一图像生成的超分辨率图像的高频信息分布的偏差，并提高各个图像超分辨率模型的超分辨率处理的效果，是目前亟需解决的问题。

技术实现思路

[0003]本申请提供了一种图像处理方法、装置、设备、可读存储介质及程序产品，可以缩小不同图像超分辨率模型针对同一图像生成的超分辨率图像的高频信息分布的偏差，并提高各个图像超分辨率模型的超分辨率处理的效果。
[0004]第一方面，本申请提供了一种图像处理方法，该方法包括：
[0005]利用目标图像超分辨率模型的特征提取网络对待处理图像进行特征提取，得到上述待处理图像的特征图；上述目标图像超分辨率模型为第一图像超分辨率模型或第二图像超分辨率模型，上述特征图包括上述待处理图像的高频信息；
[0006]利用上述目标图像超分辨率模型的超分辨率处理网络对上述待处理图像和上述特征图进行超分辨率处理，得到上述待处理图像的超分辨率图像；
[0007]其中，上述第一图像超分辨率模型和上述第二图像超分辨率模型是利用训练相关数据，对第一初始超分辨率模型和第二初始超分辨率模型进行联合训练得到，上述训练相关数据包括样本图像以及上述样本图像对应的原始高分辨率图像、第一特征图、第二特征图、第一超分辨率图像、第二超分辨率图像、第一高频信息分布数据和第二高频信息分布数据；
[0008]上述第一特征图是利用上述第一初始超分辨率模型的第一特征提取网络对上述样本图像进行特征提取得到，上述第二特征图是利用上述第二初始超分辨率模型的第二特征提取网络对上述样本图像进行特征提取得到，上述第一超分辨率图像是利用上述第一初始超分辨率模型的超分辨率处理网络对上述样本图像和上述第一特征图进行超分辨率处理得到，上述第二超分辨率图像是利用上述第二初始超分辨率模型的超分辨率处理网络对上述样本图像和上述第二特征图进行超分辨率处理得到，上述第一高频信息分布数据和上述第二高频信息分布数据是分别对上述第一特征图和上述第二特征图进行高频信息分析
得到；上述第一图像超分辨率模型和上述第二图像超分辨率模型分别针对同一图像生成的超分辨率图像的高频信息分布相匹配。
[0009]第二方面，本申请提供了一种图像处理装置，该装置包括：
[0010]特征提取模块，用于利用目标图像超分辨率模型的特征提取网络对待处理图像进行特征提取，得到上述待处理图像的特征图；上述目标图像超分辨率模型为第一图像超分辨率模型或第二图像超分辨率模型，上述特征图包括上述待处理图像的高频信息；
[0011]超分辨率模块，用于利用上述目标图像超分辨率模型的超分辨率处理网络对上述待处理图像和上述特征图进行超分辨率处理，得到上述待处理图像的超分辨率图像；
[0012]其中，上述第一图像超分辨率模型和上述第二图像超分辨率模型是利用训练相关数据，对第一初始超分辨率模型和第二初始超分辨率模型进行联合训练得到，上述训练相关数据包括样本图像以及上述样本图像对应的原始高分辨率图像、第一特征图、第二特征图、第一超分辨率图像、第二超分辨率图像、第一高频信息分布数据和第二高频信息分布数据；
[0013]上述第一特征图是利用上述第一初始超分辨率模型的第一特征提取网络对上述样本图像进行特征提取得到，上述第二特征图是利用上述第二初始超分辨率模型的第二特征提取网络对上述样本图像进行特征提取得到，上述第一超分辨率图像是利用上述第一初始超分辨率模型的超分辨率处理网络对上述样本图像和上述第一特征图进行超分辨率处理得到，上述第二超分辨率图像是利用上述第二初始超分辨率模型的超分辨率处理网络对上述样本图像和上述第二特征图进行超分辨率处理得到，上述第一高频信息分布数据和上述第二高频信息分布数据是分别对上述第一特征图和上述第二特征图进行高频信息分析得到；上述第一图像超分辨率模型和上述第二图像超分辨率模型分别针对同一图像生成的超分辨率图像的高频信息分布相匹配。
[0014]第三方面，本申请提供了一种计算机设备，包括：处理器、存储装置和通信接口，上述处理器、上述通信接口和上述存储装置相互连接，其中，上述存储装置存储有可执行程序代码，上述处理器用于调用上述可执行程序代码，用以实现上述的图像处理方法。
[0015]第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，上述程序指令被处理器执行，用以实现如上述的图像处理方法。
[0016]第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序或计算机指令，上述计算机程序或计算机指令被处理器执行，用以实现上述的图像处理方法。
[0017]本申请利用训练相关数据对不同的第一初始超分辨率模型和第二初始超分辨率模型进行联合训练，得到第一图像超分辨率模型和第二图像超分辨率模型，由于训练相关数据中的第一特征图和第二特征图包括样本图像的基于不同特征提取网络得到高频信息，而训练相关数据中的第一高频信息分布数据和第二高频信息分布数据又是分别对第一特征图和第二特征图进行高频信息分析得到的，通过利用第一高频信息分布数据和第二高频信息分布数据对第一初始超分辨率模型和第二初始超分辨率模型进行训练，使得训练得到的第一图像超分辨率模型和第二图像超分辨率模型分别针对同一图像生成的超分辨率图像的高频信息分布相匹配，从而缩小不同图像超分辨率模型针对同一图像生成的超分辨率
图像的高频信息分布的偏差，相比于单独训练得到两个模型，上述方法可以提高联合训练得到的各个图像超分辨率模型的超分辨率处理的效果。在得到第一图像超分辨率模型和第二图像超分辨率模型之后，不同的终端设备可以从第一图像超分辨率模型和第二图像超分辨率模型中选择目标图像超分辨率模型进行配置，并利用配置好的目标图像超分辨率模型对待处理图像进行图像超分辨率处理，得到超分辨率图像，从而保证在不同终端设备上针对待处理图像生成的超分辨率图像的视觉体验的一致性。
附图说明
[0018]为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本申请一个示例性实施例提供的一种图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：利用目标图像超分辨率模型的特征提取网络对待处理图像进行特征提取，得到所述待处理图像的特征图；所述目标图像超分辨率模型为第一图像超分辨率模型或第二图像超分辨率模型，所述特征图包括所述待处理图像的高频信息；利用所述目标图像超分辨率模型的超分辨率处理网络对所述待处理图像和所述特征图进行超分辨率处理，得到所述待处理图像的超分辨率图像；其中，所述第一图像超分辨率模型和所述第二图像超分辨率模型是利用训练相关数据，对第一初始超分辨率模型和第二初始超分辨率模型进行联合训练得到，所述训练相关数据包括样本图像以及所述样本图像对应的原始高分辨率图像、第一特征图、第二特征图、第一超分辨率图像、第二超分辨率图像、第一高频信息分布数据和第二高频信息分布数据；所述第一特征图是利用所述第一初始超分辨率模型的第一特征提取网络对所述样本图像进行特征提取得到，所述第二特征图是利用所述第二初始超分辨率模型的第二特征提取网络对所述样本图像进行特征提取得到，所述第一超分辨率图像是利用所述第一初始超分辨率模型的超分辨率处理网络对所述样本图像和所述第一特征图进行超分辨率处理得到，所述第二超分辨率图像是利用所述第二初始超分辨率模型的超分辨率处理网络对所述样本图像和所述第二特征图进行超分辨率处理得到，所述第一高频信息分布数据和所述第二高频信息分布数据是分别对所述第一特征图和所述第二特征图进行高频信息分析得到；所述第一图像超分辨率模型和所述第二图像超分辨率模型分别针对同一图像生成的超分辨率图像的高频信息分布相匹配。2.根据权利要求1所述的方法，其特征在于，所述训练相关数据还包括所述样本图像对应的第三特征图、第四特征图、第三超分辨率图像、第四超分辨率图像；所述第三特征图是对所述第一特征图进行重构处理得到，所述第四特征图是对所述第二特征图进行重构处理得到，所述第三超分辨率图像是对所述样本图像和所述第三特征图进行超分辨率处理得到，所述第四超分辨率图像是对所述样本图像和所述第四特征图进行超分辨率处理得到。3.根据权利要求1所述的方法，其特征在于，所述第一特征提取网络包括第一特征提取共享网络和第一特征提取子网络，且所述第一特征提取共享网络的输出与所述第一特征提取子网络的输入相连接；所述第二特征提取网络包括第二特征提取共享网络和第二特征提取子网络，且所述第二特征提取共享网络的输出与所述第二特征提取子网络的输入相连接；所述第一特征提取共享网络和所述第二特征提取共享网络的网络参数共享。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取终端设备的算力指示数据，所述算力指示数据用于指示所述终端设备针对所述待处理图像进行处理所能提供的算力大小；根据所述终端设备的算力指示数据，从第一图像超分辨率模型和第二图像超分辨率模型中确定目标图像超分辨率模型。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述方法还包括：利用第一初始超分辨率模型的第一特征提取网络对样本图像进行特征提取，得到第一特征图，以及利用第二初始超分辨率模型的第二特征提取网络对所述样本图像进行特征提取，得到第二特征图；利用所述第一初始超分辨率模型的超分辨率处理网络对所述样本图像和所述第一特
征图进行超分辨率处理，得到第一超分辨率图像，以及利用所述第二初始超分辨率模型的超分辨率处理网络对所述样本图像和所述第二特征图进行超分辨率处理，得到第二超分辨率图像；对所述第一特征图进行高频信息分析，得到第一高频信息分布数据，以及对所述第二特征图进行高频信息分析，得到第二高频信息分布数据；根据所述样本图像对应的原始高分辨率图像、所述第一特征图、所述第二特征图、所述第一超分辨率图像、所述第二超分辨率图像、所述第一高频信息分布数据和所述第二高频信息分布数据，确定目标差异数据，并利用所述目标差异数据分别对所述第一初始超分辨率模型和所述第二初始超分辨率模型的模型参数进行调整，以得到第一图像超分辨率模型和第二图像超分辨率模型。6.根据权利要求5所述的方法，其特征在于，所述根据所述样本图像对应的原始高分辨率图像、所述第一特征图、所述第二特征图、所述第一超分辨率图像、所述第二超分辨率图像、所述第一高频信息分布数据和所述第二高频信息分布数据，确定目标差异数据，包括：根据所述第一超分辨率图像、所述第二超分辨率图像和所述原始高分辨率图像，确定第一差异数据；根据所述第一高频信息分布数据和...

【专利技术属性】
技术研发人员：贺思颖，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：