图像分辨率重建方法、装置、存储介质及电子设备制造方法及图纸

本申请公开了一种图像分辨率重建方法、装置、存储介质及电子设备，该图像分辨率重建方法包括：将待重建图像输入至训练完成的分辨率重建模型的递归单元层中，利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像，再迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入，基于递归单元层迭代调用后输出的融合图像得到重建图像，通过增加递归次数来实现更高的重建图像分辨率，从而更好地控制模型的复杂度，且通过多次递归来逐步增加图像的分辨率，而不是一次性地将低分辨率图像直接映射到高分辨率图像，这有助于生成更准确的高分辨率图像。辨率图像。辨率图像。

【技术实现步骤摘要】
图像分辨率重建方法、装置、存储介质及电子设备


[0001]本申请涉及人工智能
，特别是涉及一种图像分辨率重建方法、装置、存储介质及电子设备。

技术介绍

[0002]图像超分辨率(Super Resolution，SR)重建技术是利用一系列技术手段，完成从单帧或多帧(序列)低分辨率(Low Resolution，LR)图像中恢复出高分辨率(High Resolution，HR)图像的任务。超分辨率重建技术在大大降低成本的情况下，克服成像设备和远程传输设备等硬件条件限制，提供理想的高分辨率图片。
[0003]传统的图像超分辨率方法，如：插值算法、基于采样的方法以及基于统计的方法，但这些方法无法处理复杂的图像信息和结构，且重建效果有限；又如：基于字典学习的方法、基于稀疏表示的方法以及基于像素池的方法，然而，这些方法的性能又依赖于人工设计的特征和模型，并且很难提取出更接近真实图像的细节。

技术实现思路

[0004]本申请至少提供一种图像分辨率重建方法、图像分辨率重建装置、计算机可读存储介质以及电子设备。
[0005]本申请第一方面提供了一种图像分辨率重建方法，包括：将待重建图像输入至训练完成的分辨率重建模型的递归单元层中；利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像；迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入；基于递归单元层迭代调用后输出的融合图像得到重建图像，重建图像分辨率高于待重建图像。
[0006]在一实施例中，利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像，包括：对待重建图像进行特征提取，得到特征图；将特征图与待重建图像进行差分处理，得到残差图；基于注意力机制对残差图进行加权处理，得到加权残差图；将加权残差图与特征图进行融合处理，得到融合图像。
[0007]在一实施例中，对待重建图像进行特征提取，得到特征图，包括：对待重建图像进行下采样，得到下采样特征图；对下采样特征图进行卷积操作，得到卷积特征图；基于注意力机制对卷积特征图进行加权处理，得到加权特征图；对加权特征图进行上采样，得到特征图。
[0008]在一实施例中，递归单元层含有多个特征跨度块；对待重建图像进行特征提取，得到特征图，包括：对待重建图像进行特征提取得到初始特征图；基于每个特征跨度块分别对初始特征图分别进行跨度卷积，得到多个中间特征图；其中，每个特征跨度块的跨度卷积采用不同的空间尺度信息；拼接多个中间特征图，得到特征图。
[0009]在一实施例中，基于递归单元层迭代调用后输出的融合图像得到重建图像，包括：
获取递归单元层在每次迭代调用得到的融合图像，得到递归单元层对应的输出集合；将输出集合中的每个融合图像进行融合，得到重建图像。
[0010]在一实施例中，将输出集合中的每个融合图像进行融合，得到重建图像，包括：获取输出集合中的每个融合图像对应的权重参数；基于权重参数将输出集合中的每个融合图像进行加权融合，得到重建图像。
[0011]在一实施例中，分辨率重建模型含有多个依次连接的递归单元层；基于递归单元层迭代调用后输出的融合图像得到重建图像，重建图像分辨率高于待重建图像，包括：若检测到当前迭代调用的递归单元层满足预设迭代结束条件，则将当前迭代调用的递归单元层输出的融合图像输入至下一迭代调用的递归单元层进行图像重建；遍历每个递归单元层，基于每个递归单元层迭代调用后输出的融合图像得到重建图像。
[0012]本申请第二方面提供了一种图像分辨率重建装置，包括：输入模块，用于将待重建图像输入至训练完成的分辨率重建模型的递归单元层中；融合模块，用于利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像；递归模块，用于迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入；结果获取模块，用于基于递归单元层迭代调用后输出的融合图像得到重建图像，重建图像分辨率高于待重建图像。
[0013]本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述图像分辨率重建方法。
[0014]本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述图像分辨率重建方法。
[0015]上述方案，通过将待重建图像输入至训练完成的分辨率重建模型的递归单元层中，利用递归单元层对待重建图像进行特征提取得到特征图，并对特征图和待重建图像进行融合输出融合图像，再迭代调用递归单元层，在迭代调用过程中将递归单元层当前迭代输出的融合图像作为递归单元层下一次迭代的输入，从而实现对图像细节的逐步恢复，基于递归单元层迭代调用后输出的融合图像得到重建图像，通过增加递归次数来实现更高的重建图像分辨率，而不需要增加网络的深度和参数量，从而更好地控制模型的复杂度，且通过多次递归来逐步增加图像的分辨率，而不是一次性地将低分辨率图像直接映射到高分辨率图像，这有助于生成更准确的高分辨率图像。
[0016]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
[0018]图1是本申请的图像分辨率重建方法的一示例性实施例的实施环境示意图；
[0019]图2是本申请的图像分辨率重建方法的一示例性实施例的流程图；
[0020]图3是本申请的一示例性实施例示出的训练分辨率重建模型的流程图；
[0021]图4是本申请的一示例性实施例示出的图像分辨率重建装置的框图；
[0022]图5是本申请的一示例性实施例示出的电子设备的结构示意图；
[0023]图6是本申请的一示例性实施例示出的计算机可读存储介质的结构示意图。
具体实施方式
[0024]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0025]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0026]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
[0027]请参考图1，其示出了本申请一个实施例提供的图像分辨率重建方法的运行环境的示意图。该运行环境可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分辨率重建方法，其特征在于，所述方法包括：将待重建图像输入至训练完成的分辨率重建模型的递归单元层中；利用所述递归单元层对所述待重建图像进行特征提取得到特征图，并对所述特征图和所述待重建图像进行融合输出融合图像；迭代调用所述递归单元层，在所述迭代调用过程中将所述递归单元层当前迭代输出的融合图像作为所述递归单元层下一次迭代的输入；基于所述递归单元层迭代调用后输出的融合图像得到重建图像，所述重建图像分辨率高于所述待重建图像。2.根据权利要求1所述的方法，其特征在于，所述利用所述递归单元层对所述待重建图像进行特征提取得到特征图，并对所述特征图和所述待重建图像进行融合输出融合图像，包括：对所述待重建图像进行特征提取，得到特征图；将所述特征图与所述待重建图像进行差分处理，得到残差图；基于注意力机制对所述残差图进行加权处理，得到加权残差图；将所述加权残差图与所述特征图进行融合处理，得到融合图像。3.根据权利要求2所述的方法，其特征在于，所述对所述待重建图像进行特征提取，得到特征图，包括：对所述待重建图像进行下采样，得到下采样特征图；对所述下采样特征图进行卷积操作，得到卷积特征图；基于注意力机制对所述卷积特征图进行加权处理，得到加权特征图；对所述加权特征图进行上采样，得到特征图。4.根据权利要求2所述的方法，其特征在于，所述递归单元层含有多个特征跨度块；所述对所述待重建图像进行特征提取，得到特征图，包括：对所述待重建图像进行特征提取得到初始特征图；基于每个特征跨度块分别对所述初始特征图分别进行跨度卷积，得到多个中间特征图；其中，所述每个特征跨度块的跨度卷积采用不同的空间尺度信息；拼接所述多个中间特征图，得到特征图。5.根据权利要求1所述的方法，其特征在于，所述基于所述递归单元层迭代调用后输出的融合图像得到重建图像，包括：获取所述递归单...

【专利技术属性】
技术研发人员：吕少卿，俞鸣园，王克彦，曹亚曦，孙俊伟，
申请(专利权)人：浙江华创视讯科技有限公司，
类型：发明
国别省市：