图像重建方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供一种图像重建方法、装置、电子设备及计算机可读存储介质，其中，所述图像重建方法包括：获取目标图像的第一图像和第二图像，所述第一图像的频率低于所述第二图像的频率，且所述第一图像和第二图像的分辨率均高于所述目标图像的分辨率；基于所述目标图像的第一图像和第二图像，通过频率融合模型得到所述目标图像的重建图像。到所述目标图像的重建图像。到所述目标图像的重建图像。

【技术实现步骤摘要】
图像重建方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及图像处理领域，尤其涉及一种图像重建方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着互联网时代的发展，高清设备的普及，人们常常期望得到高清，甚至是超高清视频、图像，以满足日益增长的视觉观感。
[0003]目前提高图像分辨率的技术严重依赖于高分辨率图像传感器，但是由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中都很难实现，且每一种设备都存在极限承载功能，难以得到真正的高分辨率图像。

技术实现思路

[0004]为解决上述技术问题，本申请实施例提供了一种图像重建方法、装置、电子设备及计算机可读存储介质，能够通过分辨率高于目标图像的第一图像和第二图像，实现目标图像的超分辨率重建。
[0005]为了解决上述问题，本申请实施例提供了一种图像重建方法，包括：
[0006]获取目标图像的第一图像和第二图像，所述第一图像的频率低于所述第二图像的频率，且所述第一图像和第二图像的分辨率均高于所述目标图像的分辨率；
[0007]基于所述目标图像的第一图像和第二图像，通过频率融合模型得到所述目标图像的重建图像。
[0008]本申请实施例还提供一种图像重建装置，包括：
[0009]获取单元，用于获取目标图像的第一图像和第二图像，所述第一图像的频率低于所述第二图像的频率，且所述第一图像和第二图像的分辨率均高于所述目标图像的分辨率；
[0010]重建单元，用于基于所述目标图像的第一图像和第二图像，通过频率融合模型得到所述目标图像的重建图像。
[0011]本申请实施例还提供一种电子设备，包括处理器和存储器，该存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如本申请实施例所述图像重建方法的步骤。
[0012]本申请实施例还提供一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时，实现如本申请实施例所述图像重建方法的步骤。
[0013]本申请实施例提供一种图像重建方法、装置、电子设备及计算机可读存储介质，其中，所述图像重建方法包括：获取目标图像的第一图像和第二图像，所述第一图像的频率低于所述第二图像的频率，且所述第一图像和第二图像的分辨率均高于所述目标图像的分辨率；基于所述目标图像的第一图像和第二图像，通过频率融合模型得到所述目标图像的重建图像。本申请实施例提供的图像重建方法，能够通过分辨率高于目标图像的第一图像和
第二图像，实现目标图像的超分辨率重建，且由于第一图像的频率低于第二图像的频率，因此能够降低目标图像中低频信息对高频信息的抑制，进而有效的提高了目标图像的超分辨率重建的准确性。
附图说明
[0014]图1为本申请实施例提供的图像重建方法的流程示意图；
[0015]图2为本申请应用示例提供的图像重建方法的流程示意图；
[0016]图3为本申请应用示例提供的通过NSCT分解降质图像的示意图；
[0017]图4为本申请应用示例提供的通过NSCT分解降质图像的方法的流程示意图；
[0018]图5为本申请应用示例提供的训练第二双通道网络的方法的流程示意图；
[0019]图6为本申请实施例提供的图像重建装置的结构示意图；
[0020]图7为本申请实施例提供的电子设备的组成示意图。
具体实施方式
[0021]为了能够更加详尽地了解本专利技术的特点与
技术实现思路
，下面结合附图对本专利技术的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本专利技术。
[0022]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0023]需要说明的是，本申请实施例中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
[0024]在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
[0025]为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明，以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。
[0026]随着互联网时代的发展，高清设备的普及，人们常常期望得到高清，甚至是超高清视频、图像，以满足日益增长的视觉观感。
[0027]目前提高图像分辨率的技术严重依赖于高分辨率图像传感器，但是由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中都很难实现，且每一种设备都存在极限承载功能，难以得到真正的高分辨率图像。基于此，目前的研究方向主要集中于图像超分辨率重建方向，以期通过超分辨率重建获得高清图像。超分辨率是指利用硬件或者软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一副高分辨率的图像的过程就是超分辨率重建。
[0028]但是，传统的图像超分辨率重建方法往往存在以下缺陷：
[0029]第一，传统的图像超分辨率重建方法在网络结构上，都朝着更深、更宽、连接更复
杂的趋势发展，复杂的连接虽有助于层间特征提取和信息传播，但网络训练严重依赖于数据集的数量和质量，训练困难，不宜收敛，同时移动端设备的计算资源有限，虽能达到较好的重建效果，但是超分辨率重建方法所需的计算负载要求难以实现。
[0030]第二，传统的图像超分辨率重建方法在对降质图像进行重建训练时，不管是真实的降质图像还是由退化模型得到的降质图像，其降质图像本身已经丢失了大量表征图像细节的高频信息，同时降质图像保留下来的大量低频信息还会抑制高频信息的特征表达，而传统的图像超分辨率重建方法所使用的网络往往无区别地对待这些信息通道，缺乏跨特征通道的区分学习，限制了网络表达。
[0031]第三，传统的图像超分辨率重建方法在构建非线性映射时，未能将基于深度学习的超分辨率算法和传统基于特征的方法相结合，使得层次、尺寸间的信息流通性不强，学习中难以捕获上下文信息的高层次语义特征，最终得到的重建图像质量较差，难以满足日常的视觉需求。
[0032]具体的，相关技术中，图像超分辨率重建方法主要有以下几种方案：
[0033]方案A：此方案提出一种图像超分辨率重建方法，该方法用获取模块得到第一分辨率的待处理图像，经过特征提取模块得到包含高频、低频图像信息的初始特征图，再采用残差网络对初始特征图进行频率划分得到高频特征图和低频特征图，经过残差模块的分级重建学习和融合，最终实现超分辨率重建。
[0034]方案B：此方案提出一种基于非下采样轮廓波变换(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像重建方法，其特征在于，包括：获取目标图像的第一图像和第二图像，所述第一图像的频率低于所述第二图像的频率，且所述第一图像和第二图像的分辨率均高于所述目标图像的分辨率；基于所述目标图像的第一图像和第二图像，通过频率融合模型得到所述目标图像的重建图像。2.根据权利要求1所述的方法，其特征在于，所述获取目标图像的第一图像和第二图像，包括：利用第一双通道网络获取所述目标图像的第一图像和第二图像；所述第一双通道网络包括第一网络和第二网络，所述第一网络包含的中间层数目少于所述第二网络包含的中间层数目，所述第一网络用于获取所述目标图像的第一图像，所述第二网络用于获取所述目标图像的第二图像。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：利用所述目标图像训练第二双通道网络，得到所述第一双通道网络。4.根据权利要求3所述的方法，其特征在于，所述利用所述目标图像训练第二双通道网络，得到所述第一双通道网络，包括：利用图像退化模型得到所述目标图像的降质图像；基于所述降质图像，通过非下采样轮廓波变换NSCT得到所述降质图像的第一特征图像和第二特征图像，所述第一特征图像的频率低于所述第二特征图像的频率；利用所述第一特征图像和所述第二特征图像训练所述第二双通道网络，得到所述第一双通道网络。5.根据权利要求4所述的方法，其特征在于，所述利用所述第一特征图像和所述第二特征图像训练所述第二双通道网络，包括：将所述第一特征图像和所述第二特征图像分别输入所述第二双通道网络的第三网络和第四网络，得到重建的第三图像和重建的第四图像；所述第三网络包含的中间层数目少于所述第四网络包含的中间层数目，所述重建的第三图像的频率低于所述重建的第四图像的频率；基于所述目标图像，通过NSCT得到所述目标图像的原始的...

【专利技术属性】
技术研发人员：方琳灵，程宝平，吴楠，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：