一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备制造方法及图纸

本发明专利技术实施例涉及一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备。所述方法将输入的低分辨率图像重建为目标分辨率放大倍数S的高分辨率图像，包括确定分辨率放大倍数S′＝2

【技术实现步骤摘要】
一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备
本专利技术属于图像处理
，具体涉及一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备。
技术介绍
图像超分辨率技术(Super-Resolution)是指从低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。图像超分辨率技术可分为两类，一类是从从多张低分辨率图像重建出高分辨率图像，另一类是从单张低分辨率图像重建出高分辨率图像。对于低分辨率图像，可能存在许多不同的高分辨率图像与之对应，通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统方法中，所述先验信息可以通过若干成对出现的低-高分辨率图像学习得到，基于深度学习的超分辨率技术是以端对端的方式直接学习低分辨率图像到高分辨率图像的映射。现有技术中，基于深度学习的图像超分辨率方法包括超分辨率卷积神经网络SRCNN(Super-ResolutionConvolutionalNeuralNetwork)、快速超分辨率卷积神经网络FSRCNN、有效亚像素卷积神经网络ESPCN(EfficientSub-PixelConvolutionalNeuralNetwork)LaplacianSR等。这些方法中，存在的主要缺陷在于：对图像中存在的不同尺度的目标，超分辨率的锐化效果不一致，即不同尺度目标的效果兼容性差；由于卷积特征图惯用的上采样反卷积造成图像中呈现格子状纹理，即上采样带来的棋格效应。
技术实现思路
为了解决上述不同尺度目标的效果兼容性差及图像的棋格效应的技术问题，本专利技术实施例提出了一种超分辨率图像重建方法，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括如下步骤：超分辨率卷积神经网络的确定步骤：确定分辨率放大倍数S′＝2a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层；超分辨率卷积神经网络的输入层图像的确定步骤：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；高分辨率图像生成步骤：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。进一步，在所述超分辨率卷积神经网络的输入层图像的确定步骤中，如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。进一步，采用超分辨率卷积神经网络的重采样卷积上采样或下采样输入的低分辨率图像，对输入的低分辨率图像进行规整化，重采样卷积的采样倍数为S/S′。进一步，所述方法还包括超分辨率卷积神经网络分辨率放大倍数S′确定步骤，其中，根据目标分辨率放大倍数S确定超分辨率卷积神经网络分辨率放大倍数S′＝2a；随后，在超分辨率卷积神经网络的确定步骤中，根据所确定的超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络。进一步，所述超分辨率卷积神经网络分辨率放大倍数S′为与目标分辨率放大倍数S相等或与目标分辨率放大倍数S邻近的两个2的a次幂整数中的一个。进一步，在超分辨率卷积神经网络分辨率放大倍数S′确定步骤中，当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值相等时，选取数值较大的作为超分辨率卷积神经网络分辨率放大倍数S′；当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值不相等时，在与目标分辨率放大倍数S邻近的两个2的a次幂整数中，选取与目标分辨率放大倍数S的距离差值较小的一个作为超分辨率卷积神经网络分辨率放大倍数S′。进一步，超分辨率卷积神经网络的第L反卷积层还对反卷积后的图像进行膨胀卷积。进一步，所述方法还包括超分辨率卷积神经网络训练步骤，根据确定的超分辨率卷积神经网络，构建对照训练样本集，使用对照训练样本集对构建的超分辨率卷积神经网络结构进行训练。进一步，所述超分辨率卷积神经网络训练步骤包括：对照训练样本集构建步骤：建立超分辨率卷积神经网络输入层的低分辨率图像与各反卷积层的高分辨率图像的对照训练样本集，其中，所述超分辨率卷积神经网络第L个反卷积层的高分辨率图像的分辨率与其对应的输入层的低分辨率图像的分辨率的比值等于超分辨率卷积神经网络分辨率放大倍数S′，在所述对照训练样本集中，一张低分辨率图像具有与其对应的超分辨率卷积神经网络的L个反卷积层的高分辨率图像；超分辨率卷积神经网络学习步骤：使用构建的对照训练样本集训练超分辨率卷积神经网络。进一步，使用最小化损失Loss函数：训练超分辨率卷积神经网络，其中：表示由低分辨率图像估计得到的超分辨率卷积神经网络各层的高分辨率图像；y表示对照训练样本集中与低分辨率图像对应的各层的高分辨率HR图像；θ表示超分辨率网络的参数，如超分辨率卷积神经网络的卷积核；表示超分辨率卷积神经网络的s层的估计得到的高分辨率图像，s∈[1,L]；表示超分辨率卷积神经网络的s层的在对照训练样本集中与相应低分辨率图像对应的高分辨率图像；N：表示训练样本总数，N为自然数；L：表示超分辨率卷积神经网络的反卷积层数，L为自然数。本专利技术实施例还提供一种超分辨率图像重建装置，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括：超分辨率卷积神经网络的确定部件：确定分辨率放大倍数S′＝2a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层；超分辨率卷积神经网络的输入层图像的确定部件：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；高分辨率图像生成部件：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。进一步，在所述超分辨率卷积神经网络的输入层图像的确定部件中，如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。进一步，采用超分辨率卷积神经网络的重采样卷积上采样或下采样输入的低分辨率图像，对输入的低分辨率图像进行规整化，重采样卷积的采样倍数为S/S′。进一步，所述装置还包括超分辨率卷积神经网络分辨率放大倍数S′确定部件，其根据目标分辨率放大倍数S确定超分辨率卷积神经网络分辨率放大倍数S′＝2a；超分辨率卷积神经网络的确定部件根据超分辨率卷积神经网络分辨率放大倍数S′确定部件所确定的超分辨率卷积神经网络本文档来自技高网...

【技术保护点】
1.一种超分辨率图像重建方法，其特征在于，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括如下步骤：超分辨率卷积神经网络的确定步骤：确定分辨率放大倍数S′＝2a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层；超分辨率卷积神经网络的输入层图像的确定步骤：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；高分辨率图像生成步骤：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。

【技术特征摘要】
1.一种超分辨率图像重建方法，其特征在于，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括如下步骤：超分辨率卷积神经网络的确定步骤：确定分辨率放大倍数S′＝2a的超分辨率卷积神经网络，a为自然数，超分辨率卷积神经网络的反卷积层数L＝a，在所述超分辨率卷积神经网络的输入层与第1反卷积层之间以及相邻两个反卷积层之间分别设置有一个或多个卷积层；超分辨率卷积神经网络的输入层图像的确定步骤：根据输入的低分辨率图像，基于目标分辨率放大倍数S和超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络的输入层的图像；高分辨率图像生成步骤：使用确定的超分辨率卷积神经网络对其输入层的低分辨率图像进行重建，在超分辨率卷积神经网络的第L反卷积层输出高分辨率图像。2.如权利要求1所述的方法，其特征在于，在所述超分辨率卷积神经网络的输入层图像的确定步骤中，如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′相等，则将输入的低分辨率图像作为超分辨率卷积神经网络的输入层的图像；如果目标分辨率放大倍数S与超分辨率卷积神经网络分辨率放大倍数S′不相等，则对输入的低分辨率图像进行规整化，将规整化后的低分辨率图像作为超分辨率卷积神经网络的输入层的图像。3.如权利要求2所述的方法，其特征在于，采用超分辨率卷积神经网络的重采样卷积上采样或下采样输入的低分辨率图像，对输入的低分辨率图像进行规整化，重采样卷积的采样倍数为S/S′。4.如权利要求1所述的方法，其特征在于，所述方法还包括超分辨率卷积神经网络分辨率放大倍数S′确定步骤，其中，根据目标分辨率放大倍数S确定超分辨率卷积神经网络分辨率放大倍数S′＝2a；随后，在超分辨率卷积神经网络的确定步骤中，根据所确定的超分辨率卷积神经网络分辨率放大倍数S′，确定超分辨率卷积神经网络。5.如权利要求4所述的方法，其特征在于，所述超分辨率卷积神经网络分辨率放大倍数S′为与目标分辨率放大倍数S相等或与目标分辨率放大倍数S邻近的两个2的a次幂整数中的一个。6.如权利要求5所述的方法，其特征在于，在超分辨率卷积神经网络分辨率放大倍数S′确定步骤中，当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值相等时，选取数值较大的作为超分辨率卷积神经网络分辨率放大倍数S′；当目标分辨率放大倍数S与邻近的两个2的a次幂整数的距离差值不相等时，在与目标分辨率放大倍数S邻近的两个2的a次幂整数中，选取与目标分辨率放大倍数S的距离差值较小的一个作为超分辨率卷积神经网络分辨率放大倍数S′。7.如权利要求1所述的方法，其特征在于，超分辨率卷积神经网络的第L反卷积层还对反卷积后的图像进行膨胀卷积。8.如权利要求1-7之一所述的方法，其特征在于，所述方法还包括超分辨率卷积神经网络训练步骤，根据确定的超分辨率卷积神经网络，构建对照训练样本集，使用对照训练样本集对构建的超分辨率卷积神经网络结构进行训练。9.如权利要求8所述的方法，其特征在于，所述超分辨率卷积神经网络训练步骤包括：对照训练样本集构建步骤：建立超分辨率卷积神经网络输入层的低分辨率图像与各反卷积层的高分辨率图像的对照训练样本集，其中，所述超分辨率卷积神经网络第L个反卷积层的高分辨率图像的分辨率与其对应的输入层的低分辨率图像的分辨率的比值等于超分辨率卷积神经网络分辨率放大倍数S′，在所述对照训练样本集中，一张低分辨率图像具有与其对应的超分辨率卷积神经网络的L个反卷积层的高分辨率图像；超分辨率卷积神经网络学习步骤：使用构建的对照训练样本集训练超分辨率卷积神经网络。10.如权利要求9所述的方法，其特征在于，使用最小化损失Loss函数：训练超分辨率卷积神经网络，其中：表示由低分辨率图像估计得到的超分辨率卷积神经网络各层的高分辨率图像；y表示对照训练样本集中与低分辨率图像对应的各层的高分辨率HR图像；θ表示超分辨率网络的参数，如超分辨率卷积神经网络的卷积核；表示超分辨率卷积神经网络的s层的估计得到的高分辨率图像，s∈[1,L]；表示超分辨率卷积神经网络的s层的在对照训练样本集中与相应低分辨率图像对应的高分辨率图像；N：表示训练样本总数，N为自然数；L：表示超分辨率卷积神经网络的反卷积层数，L为自然数。11.一种超分辨率图像重建装置，其特征在于，将输入的低分辨率图像重建为目标分辨率放大倍数为S的高分辨率图像，包括：超分辨率卷积神经网络的确定部件：确定分辨率放大倍数S′＝2a...

【专利技术属性】
技术研发人员：邹超洋，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东,44