【技术实现步骤摘要】
图像处理方法、装置、设备、可读存储介质及程序产品
[0001]本申请涉及计算机
,具体涉及图像处理方法、图像处理装置、计算机设备、计算机可读存储介质以及计算机程序产品。
技术介绍
[0002]图像超分辨率是指从低分辨率图像中恢复出自然、清晰的纹理,最终得到超分辨率图像,常被用在终端设备上以提高终端设备所展示图像的分辨率。由于不同型号的终端设备的处理能力差距较大,导致需要在不同型号的终端设备上分别训练并配置不同的图像超分辨率模型,而不同的图像超分辨率模型针对同一低分辨率图像生成的超分辨率图像的高频信息分布可能存在较大的偏差,进而在视觉体验上产生差异,且通过分别训练得到的每一个图像超分辨率模型在进行超分辨率处理时的效果较差。因此,如何缩小不同图像超分辨率模型针对同一图像生成的超分辨率图像的高频信息分布的偏差,并提高各个图像超分辨率模型的超分辨率处理的效果,是目前亟需解决的问题。
技术实现思路
[0003]本申请提供了一种图像处理方法、装置、设备、可读存储介质及程序产品,可以缩小不同图像超分辨率模型针对同一图像生成的超分辨率图像的高频信息分布的偏差,并提高各个图像超分辨率模型的超分辨率处理的效果。
[0004]第一方面,本申请提供了一种图像处理方法,该方法包括:
[0005]利用目标图像超分辨率模型的特征提取网络对待处理图像进行特征提取,得到上述待处理图像的特征图;上述目标图像超分辨率模型为第一图像超分辨率模型或第二图像超分辨率模型,上述特征图包括上述待处理图像的高频信息;
[ ...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法,其特征在于,所述方法包括:利用目标图像超分辨率模型的特征提取网络对待处理图像进行特征提取,得到所述待处理图像的特征图;所述目标图像超分辨率模型为第一图像超分辨率模型或第二图像超分辨率模型,所述特征图包括所述待处理图像的高频信息;利用所述目标图像超分辨率模型的超分辨率处理网络对所述待处理图像和所述特征图进行超分辨率处理,得到所述待处理图像的超分辨率图像;其中,所述第一图像超分辨率模型和所述第二图像超分辨率模型是利用训练相关数据,对第一初始超分辨率模型和第二初始超分辨率模型进行联合训练得到,所述训练相关数据包括样本图像以及所述样本图像对应的原始高分辨率图像、第一特征图、第二特征图、第一超分辨率图像、第二超分辨率图像、第一高频信息分布数据和第二高频信息分布数据;所述第一特征图是利用所述第一初始超分辨率模型的第一特征提取网络对所述样本图像进行特征提取得到,所述第二特征图是利用所述第二初始超分辨率模型的第二特征提取网络对所述样本图像进行特征提取得到,所述第一超分辨率图像是利用所述第一初始超分辨率模型的超分辨率处理网络对所述样本图像和所述第一特征图进行超分辨率处理得到,所述第二超分辨率图像是利用所述第二初始超分辨率模型的超分辨率处理网络对所述样本图像和所述第二特征图进行超分辨率处理得到,所述第一高频信息分布数据和所述第二高频信息分布数据是分别对所述第一特征图和所述第二特征图进行高频信息分析得到;所述第一图像超分辨率模型和所述第二图像超分辨率模型分别针对同一图像生成的超分辨率图像的高频信息分布相匹配。2.根据权利要求1所述的方法,其特征在于,所述训练相关数据还包括所述样本图像对应的第三特征图、第四特征图、第三超分辨率图像、第四超分辨率图像;所述第三特征图是对所述第一特征图进行重构处理得到,所述第四特征图是对所述第二特征图进行重构处理得到,所述第三超分辨率图像是对所述样本图像和所述第三特征图进行超分辨率处理得到,所述第四超分辨率图像是对所述样本图像和所述第四特征图进行超分辨率处理得到。3.根据权利要求1所述的方法,其特征在于,所述第一特征提取网络包括第一特征提取共享网络和第一特征提取子网络,且所述第一特征提取共享网络的输出与所述第一特征提取子网络的输入相连接;所述第二特征提取网络包括第二特征提取共享网络和第二特征提取子网络,且所述第二特征提取共享网络的输出与所述第二特征提取子网络的输入相连接;所述第一特征提取共享网络和所述第二特征提取共享网络的网络参数共享。4.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取终端设备的算力指示数据,所述算力指示数据用于指示所述终端设备针对所述待处理图像进行处理所能提供的算力大小;根据所述终端设备的算力指示数据,从第一图像超分辨率模型和第二图像超分辨率模型中确定目标图像超分辨率模型。5.根据权利要求1
‑
4中任一项所述的方法,其特征在于,所述方法还包括:利用第一初始超分辨率模型的第一特征提取网络对样本图像进行特征提取,得到第一特征图,以及利用第二初始超分辨率模型的第二特征提取网络对所述样本图像进行特征提取,得到第二特征图;利用所述第一初始超分辨率模型的超分辨率处理网络对所述样本图像和所述第一特
征图进行超分辨率处理,得到第一超分辨率图像,以及利用所述第二初始超分辨率模型的超分辨率处理网络对所述样本图像和所述第二特征图进行超分辨率处理,得到第二超分辨率图像;对所述第一特征图进行高频信息分析,得到第一高频信息分布数据,以及对所述第二特征图进行高频信息分析,得到第二高频信息分布数据;根据所述样本图像对应的原始高分辨率图像、所述第一特征图、所述第二特征图、所述第一超分辨率图像、所述第二超分辨率图像、所述第一高频信息分布数据和所述第二高频信息分布数据,确定目标差异数据,并利用所述目标差异数据分别对所述第一初始超分辨率模型和所述第二初始超分辨率模型的模型参数进行调整,以得到第一图像超分辨率模型和第二图像超分辨率模型。6.根据权利要求5所述的方法,其特征在于,所述根据所述样本图像对应的原始高分辨率图像、所述第一特征图、所述第二特征图、所述第一超分辨率图像、所述第二超分辨率图像、所述第一高频信息分布数据和所述第二高频信息分布数据,确定目标差异数据,包括:根据所述第一超分辨率图像、所述第二超分辨率图像和所述原始高分辨率图像,确定第一差异数据;根据所述第一高频信息分布数据和...
【专利技术属性】
技术研发人员:贺思颖,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。