图像重建装置制造方法及图纸

本公开提供了一种图像重建装置

【技术实现步骤摘要】
图像重建装置、方法、电子设备及可读存储介质


[0001]本公开涉及图像处理
，特别涉及一种图像重建装置
、
方法
、
电子设备及可读存储介质
。

技术介绍

[0002]分辨率是一种用于评估图像质量的重要指标，其决定了图像的精细程度
。
在现有技术中，可以通过生成对抗网络对图像进行超分辨率重建，生成具有更高精度的超分辨率图像
。
但由于图像存在多种不同的纹理区域，而生成对抗网络无法针对不同纹理区域进行单独处理，导致生成的超分辨率图像的规律纹理区会出现伪影，破坏了图像的整体观感
。

技术实现思路

[0003]本公开提供了一种图像重建装置
、
方法
、
电子设备及可读存储介质
。
将原始图像拆分成多个区域，然后对每个区域进行特征判断：如果判断为复杂纹理区，则加大生成对抗网络进行超分辨率处理的力度，以生成更多的细节；如果判断为规则纹理区，则减轻使用生成对抗网络进行超分辨率处理的力度；本公开使得生成对抗网络仅在复杂纹理区域生成更多超分辨率细节，减轻了伪影，提升重建图像的视觉感知质量
。
[0004]第一方面，本公开提供了一种图像重建装置，包括：
[0005]处理模块，用于将目标图像划分为多个子图像，并提取每个子图像中包含的目标区域特征；
[0006]全局判别模块，用于针对每个子图像，将所述目标区域特征与预设规则区域特征进行相似度比较；根据比较结果确定所述子图像的图像类型，并根据所述图像类型设置与所述子图像对应的第一损失权重；其中，所述第一损失权重用于表征子图像的全局特征损失；
[0007]局部判别模块，用于针对每个子图像，对所述目标区域特征执行区域特征判别处理，得到与所述子图像对应的区域概率图；根据所述区域概率图，设置与子图像对应的第二损失权重；其中，所述第二损失权重用于表征子图像的局部特征损失；
[0008]重建模块，用于根据与每个子图像分别对应的第一损失权重以及第二损失权重，生成与每个子图像对应的子重建图像；根据所述与每个子图像对应的子重建图像，生成与所述待处理图像对应的重建图像
。
[0009]第二方面，本公开提供了一种图像重建方法，包括：
[0010]将目标图像划分为多个子图像，并提取每个子图像中包含的目标区域特征；
[0011]针对每个子图像，将所述目标区域特征与预设规则区域特征进行相似度比较；根据比较结果确定所述子图像的图像类型，并根据所述图像类型设置与所述子图像对应的第一损失权重；其中，所述第一损失权重用于表征子图像的全局特征损失；
[0012]针对每个子图像，对所述目标区域特征执行区域特征判别处理，得到与所述子图像对应的区域概率图；根据所述区域概率图，设置与子图像对应的第二损失权重；其中，所
述第二损失权重用于表征子图像的局部特征损失；
[0013]根据与每个子图像分别对应的第一损失权重以及第二损失权重，生成与每个子图像对应的子重建图像；根据所述与每个子图像对应的子重建图像，生成与所述待处理图像对应的重建图像
。
[0014]第三方面，本公开提供了一种电子设备，该电子设备包括上述图像重建装置；
[0015]第四方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法
。
[0016]第五方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器
/
处理核执行时实现上述方法
。
[0017]在本公开所提供的实施例中，首先，处理模块将目标图像划分为多个子图像，并提取每个子图像的目标区域特征；然后，全局判别模块针对每个子图像的目标区域特征，将其与预设的规则区域特征进行相似度比较，并根据比较结果确定子图像的图像类型，进而确定与子图像对应的第一损失权重；接着，局部判别模块针对每个子图像执行区域特征判别处理，得到与子图像对应的区域概率图，进而得到与子图像对应的第二损失权重；最后，重建模块根据每个子图像的第一损失权重以及第二损失权重，生成与每个子图像对应的子重建图像，再根据与每个子图像对应的子重建图像生成与待处理图像对应的重建图像
。
由此可见，一方面，本申请对目标图像划分后得到的子图像进行全局判别，以判断该子图像的图像类型，并生成代表全局特征损失的权重；另一方面，本申请对子图像进行区域特征判别，通过概率图的形式计算得到代表局部特征损失的权重
。
与未进行目标图像划分以及双重判断的图像重建装置相比，通过划分目标图像后对每个子图像分别使用全局判断和局部判断并生成对应的权重，可以有效区分出不同的纹理区域，进而根据不同的纹理区域进行不同的生成处理
。
总之，将原始图像拆分成多个区域，然后对每个区域进行特征判断的方式，使得生成对抗网络仅在复杂纹理区域生成更多超分辨率细节，而在规则纹理区
(
例如包含物体边缘的区域
、
规则图形区域以及简单纹理区域等
)
不生成任何细节，这样可以减轻伪影，提升重建图像的视觉感知质量
。
[0018]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0019]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制
。
通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0020]图1为本公开一个实施例提供的一种图像重建装置的框图；
[0021]图2示出了本公开一个示例所提供的图像重建装置的具体结构组成示意图；
[0022]图3为本公开又一个实施例提供的一种图像重建方法的流程图；
[0023]图4为本公开实施例提供的一种电子设备的框图
。
具体实施方式
[0024]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的
。
因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神
。
同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述
。
[0025]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像重建装置，其特征在于，包括：处理模块，用于将目标图像划分为多个子图像，并提取每个子图像中包含的目标区域特征；全局判别模块，用于针对每个子图像，将所述目标区域特征与预设规则区域特征进行相似度比较；根据比较结果确定所述子图像的图像类型，并根据所述图像类型设置与所述子图像对应的第一损失权重；其中，所述第一损失权重用于表征子图像的全局特征损失；局部判别模块，用于针对每个子图像，对所述目标区域特征执行区域特征判别处理，得到与所述子图像对应的区域概率图；根据所述区域概率图，设置与子图像对应的第二损失权重；其中，所述第二损失权重用于表征子图像的局部特征损失；重建模块，用于根据与每个子图像分别对应的第一损失权重以及第二损失权重，生成与每个子图像对应的子重建图像；根据所述与每个子图像对应的子重建图像，生成与所述待处理图像对应的重建图像
。2.
根据权利要求1所述的装置，其特征在于，所述相似度比较用于获取与子图像对应的区域特征相似度；所述全局判别模块具体用于：根据所述区域特征相似度以及预设区域特征相似度阈值，确定所述子图像的图像类型；基于所述区域特征相似度以及所述图像类型，确定所述第一损失权重；其中，所述子图像的图像类型包括：规则类型以及非规则类型，且规则类型的子图像的第一损失权重大于非规则类型的第一损失权重
。3.
根据权利要求1或2所述的装置，其特征在于，所述局部判别模块具体用于：将所述子图像划分为多个局部区块；其中，任一局部区块的面积小于所述子图像的面积，且提取出的所有局部区块能够组合为所述子图像；针对每个局部区块，获取与所述局部区块对应的目标局部区域特征；并针对所述目标局部区域特征以及预设局部区域特征进行相似度比较，生成与局部区块对应的局部区域特征相似度；其中，使用概率数值表征所述局部区域特征相似度；获取所有局部区块的局部区域特征相似度，执行概率图转换处理，得到与所述子图像对应的区域概率图
。4.
根据权利要求3所述的装置，其特征在于，所述局部判别模块进一步用于：针对所有局部区块的局部区域特征相似度，构建与所述子图像对应的初始概率矩阵；对所述初始概率矩阵进行平滑处理，得到与所述初始概率矩阵对应的平滑概率矩阵；根据所述平滑概率矩阵，确定与所述子图像对应的区域概率图；所述区域概率图通过所述平滑概率矩阵进行表征
。5.
根据权利要求1或
2、4
所述的装置，其特征在于，所述重建模块进一步用于：对每个子图像以及与每个子图像对应的子重建图像进行处理，生成所述第一损失权重对应的第一损失，以及生成所述第二损失权重对应的第二损失；根据所述第一损失权重以及所述第一损失权重对应的第一损失
、
第二损失权重以及所述第二损失权重对应的第二损失，生成每个子重建图像的重建损失...

【专利技术属性】
技术研发人员：田广，洪星智，
申请(专利权)人：北京奕斯伟计算技术股份有限公司，
类型：发明
国别省市：