一种基于卷积神经网络的图像超分辨率重建方法技术

本发明专利技术涉及一种基于卷积神经网络的图像超分辨率重建方法，包括：获取第一分辨率图像；对所述第一分辨率图像进行上采样处理得到第二分辨率图像；将所述第二分辨率图像输入特征增强层得到第三分辨率图像；将所述第三分辨率图像输入卷积神经网络得到第四分辨率图像。本发明专利技术利用最近邻插值算法对图像进行上采样操作，并在输入至卷积神经网络之前使用单输入单输出的特征增强层对图像进行处理，从而避免了图像信息的损失，获取了更适用于卷积神经网络处理的特征输入，得到了更优的重建结果。

【技术实现步骤摘要】
一种基于卷积神经网络的图像超分辨率重建方法
本专利技术属于图像处理
，具体涉及一种基于卷积神经网络的图像超分辨率重建方法。
技术介绍
随着数字成像技术在卫星遥感、生物医疗、公共安全等领域的广泛应用，人们对数字图像质量的要求也越来越高，现有成像设备的分辨率往往不能满足实际需求。图像超分辨率重建技术能够在不改变现有成像设备的前提下，只采用合适的数字信号处理方法，即可提升图像的分辨率，在成本和易用性上具有很大的优势，因此近年来受到了广泛的关注。如今，卷积神经网络技术的应用范围不断扩大，使用卷积神经网络技术进行超分辨率重建具有较为重大的理论意义。卷积神经网络算法可以将大量图像作为输入，将大量与输入图像对应的标签或其他图像作为标准输出，使用卷积神经网络模型对输入图像进行处理得到输出结果，再将输出结果与标准输出进行比较得到二者的误差，使用随机梯度下降和误差反向传播等算法最小化误差，从而对模型中的权重进行更新，迭代得到最终的模型参数。但是，现有的利用卷积神经网络对图像进行超分辨率重建的方法在一定程度上损失了图像的信息，而损失掉的图像信息使得重建效果受到限制，影响了重建效果。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种基于卷积神经网络的图像超分辨率重建方法。本专利技术的一个实施例提供了一种基于卷积神经网络的图像超分辨率重建方法，包括：获取第一分辨率图像；对第一分辨率图像进行上采样处理得到第二分辨率图像；将所述第二分辨率图像输入特征增强层得到第三分辨率图像；将所述第三分辨率图像输入卷积神经网络得到第四分辨率图像。在本专利技术的一个实施例中，所述特征增强层包括一个卷积核。在本专利技术的一个实施例中，在获取第一分辨率图像之后，还包括：对所述第一分辨率图像进行转置处理。在本专利技术的一个实施例中，在对所述第一分辨率图像进行上采样处理得到第二分辨率图像之前，还包括：根据双三次插值算法对所述第一分辨率图像进行降采样处理得到降采样图像。在本专利技术的一个实施例中，根据双三次插值算法对所述第一分辨率图像进行降采样处理得到降采样图像，包括：对所述第一分辨率图像均进行缩小处理得到第一目标图像；查找所述第一目标图像的像素点在所述第一分辨率图像上对应像素点的位置；选取所述第一分辨率图像上对应像素点预设区域的m个采样像素点；根据所述双三次插值算法计算每个所述采样像素点对应的权重值；根据所述m个采样像素点的权重值和所述m个采样点的像素值进行加权求和处理得到所述降采样图像。在本专利技术的一个实施例中，对所述第一分辨率图像进行上采样处理得到第二分辨率图像，包括：根据最近邻插值算法对所述第一分辨率图像进行上采样处理得到第二分辨率图像。在本专利技术的一个实施例中，根据最近邻插值算法对所述第一分辨率图像进行上采样处理得到第二分辨率图像，包括：对所述第一分辨率图像进行放大处理得到第二目标图像；根据最近邻插值算法计算所述第二目标图像的像素点的像素值得到第二分辨率图像。在本专利技术的一个实施例中，将所述第三分辨率图像输入至卷积神经网络得到第四分辨率图像，包括：将所述第三分辨率图像输入至所述卷积神经网络的特征提取层进行卷积操作得到第一特征图集；将所述第一特征图集输入至所述卷积神经网络的非线性映射层进行卷积操作得到第二特征图集；将所述第二特征图集输入至所述卷积神经网络的重建层进行卷积操作得到所述第四分辨率图像。与现有技术相比，本专利技术的有益效果：本专利技术利用最近邻插值算法对图像进行上采样操作，并在输入至卷积神经网络之前使用单输入单输出的特征增强层对图像进行处理，从而避免了图像信息的损失，获取了更适用于卷积神经网络处理的特征输入，得到了更优的重建结果。附图说明图1为本专利技术实施例提供的一种基于卷积神经网络的图像超分辨率重建方法的流程示意图；图2为本专利技术实施例提供的一种图像转置方法的示意图；图3a-图3d为本专利技术实施例提供的一种预设区域的示意图；图4为本专利技术实施例提供的一种特征增强层的滤波器的可视化结果示意图；图5为现有技术提供的一种基于卷积神经网络的双三次插值算法的滤波器示意图；图6为本专利技术实施例提供的一种基于卷积神经网络的图像超分辨率重建方法的图像处理效果示意图；图7为现有技术提供的一种基于卷积神经网络的图像超分辨率重建方法的图像处理效果示意图。具体实施方式下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此。实施例一请参见图1，图1为本专利技术实施例提供的一种基于卷积神经网络的图像超分辨率重建方法的流程示意图。本专利技术实施例提供的一种基于卷积神经网络的图像超分辨率重建方法，包括：获取第一分辨率图像；对第一分辨率图像进行上采样处理得到第二分辨率图像；将所述第二分辨率图像输入特征增强层得到第三分辨率图像；将所述第三分辨率图像输入卷积神经网络得到第四分辨率图像。本专利技术实施例对图像上采样操作之后，增加了一层单输入单输出的特征增强层对图像进行处理，从而避免了输入至卷积神经网络的图像信息的损失，获取了更适用于卷积神经网络处理的特征输入，从而得到了更优的重建结果。实施例二本专利技术实施例在上述实施例的基础上，对本专利技术实施例提供的图像超分辨率重建方法进行具体介绍，该重建方法具体包括：步骤一、获取第一分辨率图像；具体地，建立分辨率图像集，分辨率图像集包括N幅第一分辨率图像，其中，N为大于0的自然数。步骤二、处理第一分辨率图像；请参见图2，图2为本专利技术实施例提供的一种图像转置方法的示意图。具体地，当分辨率图像集的数量不大的情况下，对第一分辨率图像进行转置操作，将第一分辨率图像的原始图像和经转置处理的第一分辨率图像的集合组成分辨率图像集，以提升分辨率图像集数据的丰富程度；在分辨率图像集内的第一分辨率图像得数量较少时，通过将第一分辨率图像进行转置操作后重新加入分辨率图像集，有利于充分利用分辨率图像集中的数据，得到更好的重建效果。步骤三、对第一分辨率图像降采样处理得到降采样图像；步骤3.1、根据双三次插值算法对第一分辨率图像进行降采样处理，得到降采样图像；步骤3.1.1、将第一分辨率图像缩小至原来的a倍，将缩小之后的第一分辨率图像作为第一目标图像；步骤3.1.2、查找第一目标图像的像素点在第一分辨率图像上对应像素点的位置；具体地，假设第一分辨率图像的大小为m*n，第一目标图像的大小为M*N，第一目标图像的某个像素点的位置为B(X1,Y1)，该像素点B(X1,Y1)在第一分辨率图像上对应像素点的位置为A(x1,y1)，根据缩小比例得到像素点B(X1,Y1)在第一分辨率图像上对应像素点A(x1,y1)的坐标为：A(x1,y1)＝A(X1*(m/M),Y1*(n/N))；步骤3.1.3、选取第一分辨率图像上对应像素点预设区域的m个采样像素点；具体地，在第一分辨率图像上对应像素点A(x1,y1)预设区域选取m个采样像素点，将m个采样像素点作为像素点B(X1,Y1)的像素值的参数；优选地，m为16；请参见图3a-图3d，图3a-图3d为本专利技术实施例提供的一种预设区域的示意图。其中，黑色方框代表对应像素点A(x1,y1)，方框内填充为斜杠的区域代表采样像素点。步骤3.1.4、根据双三次插值算法计算每个采样像素点对应的权重值；具体地，利用双三次插值算法的权值函数计算每个采样点对应的权重值；权值函本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的图像超分辨率重建方法，其特征在于，包括：获取第一分辨率图像；对所述第一分辨率图像进行上采样处理得到第二分辨率图像；将所述第二分辨率图像输入特征增强层得到第三分辨率图像；将所述第三分辨率图像输入卷积神经网络得到第四分辨率图像。

【技术特征摘要】
1.一种基于卷积神经网络的图像超分辨率重建方法，其特征在于，包括：获取第一分辨率图像；对所述第一分辨率图像进行上采样处理得到第二分辨率图像；将所述第二分辨率图像输入特征增强层得到第三分辨率图像；将所述第三分辨率图像输入卷积神经网络得到第四分辨率图像。2.如权利要求1所述的重建方法，其特征在于，所述特征增强层包括一个卷积核。3.如权利要求1所述的重建方法，其特征在于，在获取第一分辨率图像之后，还包括：对所述第一分辨率图像进行转置处理。4.如权利要求1所述的重建方法，其特征在于，在对所述第一分辨率图像进行上采样处理得到第二分辨率图像之前，还包括：根据双三次插值算法对所述第一分辨率图像进行降采样处理得到降采样图像。5.如权利要求4所述的重建方法，其特征在于，根据双三次插值算法对所述第一分辨率图像进行降采样处理得到降采样图像，包括：对所述第一分辨率图像均进行缩小处理得到第一目标图像；查找所述第一目标图像的像素点在所述第一分辨率图像上对应像素点的位置；选取所述第一分辨率图像上对应像素点预设区域的m个采样像素点；根据所述...

【专利技术属性】
技术研发人员：邵晓鹏，刘飞，王锦涛，周俊，徐卓，陈浩，赵小明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61