一种基于深度学习的超分辨率图像重建方法及系统技术方案

本发明专利技术公开了一种基于深度学习的超分辨率图像重建方法及系统，图像重建方法包括步骤：获取待重建图片和训练数据；将训练数据输入基于残差结构的多层卷积神经网络进行学习；将待重建图片输入学习得到的最优模型进行重建，得到超分辨率图片。采用基于残差结构的多层卷积进行深度学习，使获得的最优模型具有较强的超分辨率图像重建能力；采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。图像重建系统，包括：目标获取单元、训练单元以及图像重建单元，实现了图像重建方法相同的有益效果。

【技术实现步骤摘要】
一种基于深度学习的超分辨率图像重建方法及系统
本专利技术涉及超分辨率图像重建领域，具体涉及一种基于深度学习的超分辨率图像重建方法及系统。
技术介绍
随着数码科技的发展，摄像技术也随之取得长足的发展，人们对图片像素的要求也越来越高。传统的做法是选择高像素的相机拍摄得到高分辨率的照片，然而此举并不能解决将低分辨率的图片转换为高分辨率的图片，因此，图像超分辨率的方法应运而生。现有技术中的图像超分辨率的方法有：基于插值法的重建方法、基于学习的重建方法以及频率域重建方法。插值法如最近元法、双线性内插法和三次内插法等，上述方法针对图像上每个像素点的值是用其周围几个点进行计算逼近得到的，缺点为得到的图像过于平滑，丢失了许多高频细节。基于学习的方法：采用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节；缺点为仅使用图像的表层特征。频率域方法：其为图像超分辨率重建中一类重要方法，其中最主要的是消混叠重建方法；消混叠重建方法是通过解混叠而改善图像的空间分辨率实现超分辨率复原；缺点为频域数据缺少相关性。
技术实现思路
本专利技术的目的是提供一种基于深度学习的超分辨率图像重建方法及系统，以解决上述缺点。为了实现上述目的，本专利技术提供如下技术方案：本专利技术提供了一种基于深度学习的超分辨率图像重建方法，包括以下步骤：获取待重建图片和训练数据；将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。上述超分辨率图像重建方法，所述训练数据的获取包括以下步骤：通过matlab中的resize函数对选取的高分辨率图片进行下采样，得到与其相对应的一组低分辨率图片；对上述高、低分辨率图片进行裁剪，得到所述训练数据。上述超分辨率图像重建方法，所述残差结构为在所述多层卷积神经网络中上一级的输出对象和输入对象均输入下一级。上述超分辨率图像重建方法，得到超分辨率图片后还包括：通过超像素结构对输出的所述超分辨率图片进行尺寸放大。上述超分辨率图像重建方法，所述多层卷积神经网络为九层结构。上述超分辨率图像重建方法，所述最优模型的获取包括以下步骤：通过优化目标函数计算所述训练数据中对应的三个低分辨率图片和一个高分辨率图片的均方误差，如下所示：其中，ISR表示经过网络重建出来的图片，IHR表示原始的高分辨率图片，C代表图片的通道数；根据所述均方误差调整得到最终的优化目标，Loss＝s1LMSE1+s2LMSE2+s3LMSE3其中，Loss表示最终的优化目标，使用三个MSE赋予不同的权重组合；通过对所述训练数据的训练迭代得到所述最优模型。上述超分辨率图像重建方法，进行超分辨率图像重建包括以下步骤：选择所述待重建图片的分辨率等级，并通过所述最优模型按照所述分辨率等级进行图像重建；将重建得到的多个图片中的最后输出的图片作为所述超分辨率图片。上述技术方案中，本专利技术提供的基于深度学习的超分辨率图像重建方法，实现了以下有益效果：1)采用多层卷积进行深度学习，并且基于残差结构，使获得的最优模型具有较强的超分辨率图像重建能力；2)采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；3)采用深度学习的方法重建图片以提高分辨率，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。本专利技术还提供了一种基于深度学习的超分辨率图像重建系统，包括：目标获取单元，用以获取待重建图片和训练数据；训练单元，用以将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；图像重建单元，用以输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。上述超分辨率图像重建系统，还包括：用户单元，用以将所述待重建图片和高分辨率图片输入所述目标获取单元，以及选择所述待重建图片的分辨率等级。上述超分辨率图像重建系统，还包括超像素单元，用以对输出的所述超分辨率图片进行尺寸放大。本专利技术提供的基于深度学习的超分辨率图像重建系统，实现了以下有益效果：1)采用多层卷积进行深度学习，并且基于残差结构，使获得的最优模型具有较强的超分辨率图像重建能力；2)采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；3)采用深度学习的方法重建图片以提高分辨率，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的分辨率图像重建系统的流程示意图；图2为本专利技术一优选实施例提供的分辨率图像重建方法的结构示意图；图3为本专利技术一优选实施例提供的分辨率图像重建方法的结构示意图；图4为本专利技术一优选实施例提供的分辨率图像重建方法的结构示意图；图5为本专利技术一优选实施例提供的分辨率图像重建方法的结构示意图；图6为本专利技术一优选实施例提供的分辨率图像重建方法的结构示意图；图7为本专利技术一优选实施例提供的分辨率图像重建方法的结构示意图；图8为本专利技术实施例提供的分辨率图像重建系统的结构示意图；图9为本专利技术一优选实施例提供的分辨率图像重建系统的结构示意图；图10为本专利技术一优选实施例提供的分辨率图像重建系统的结构示意图；图11为本专利技术实施例提供的分辨率图像重建方法及系统的结构示意图。具体实施方式为了使本领域的技术人员更好地理解本专利技术的技术方案，下面将结合附图对本专利技术作进一步的详细介绍。如图1所示，为本专利技术实施例提供的一种基于深度学习的超分辨率图像重建方法，包括以下步骤：S101、获取待重建图片和训练数据；待重建图片是指需要通过多层卷积神经网络重新构建后得到超分辨率的图片；训练数据是指深度学习需要的各种分辨率的图片；每一张图片对应一个图片组，该图片组内包括一高分辨率图片及与其对应的至少一低分辨率图片。如图2所示，在步骤S101中，所述训练数据的获取包括以下步骤：S201、通过matlab中的resize函数对选取的高分辨率图片进行下采样，得到与其相对应的一组低分辨率图片；S202、对上述高、低分辨率图片进行裁剪，得到所述训练数据。具体的，选取多张高分辨率图片作为标签；这些高分辨率图片的分辨率在1000x2000左右，然后使用matlab中的resize函数，将这些高分辨率图片分别的下采样到相应的1/2，1/3，1/4，1/5……的分辨率。作为本实施例中优选的，下采样到相应的1/2，1/3，1/4分辨率，则一张1000x2000的图片，相对应的低分率图片分别为500x1000，667x1667，250x500。经过下采样就得到一对低分辨率图片和其相对应的高分辨率图片，将其归为相关联的一图片组；再对选取的其他高分辨率图片进行下采样操作，得本文档来自技高网...

【技术保护点】
一种基于深度学习的超分辨率图像重建方法，其特征在于，包括以下步骤：获取待重建图片和训练数据；将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。

【技术特征摘要】
1.一种基于深度学习的超分辨率图像重建方法，其特征在于，包括以下步骤：获取待重建图片和训练数据；将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。2.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述训练数据的获取包括以下步骤：通过matlab中的resize函数对选取的高分辨率图片进行下采样，得到与其相对应的一组低分辨率图片；对上述高、低分辨率图片进行裁剪，得到所述训练数据。3.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述残差结构为在所述多层卷积神经网络中上一级的输出对象和输入对象均输入下一级。4.根据权利要求1所述的超分辨率图像重建方法，其特征在于，得到超分辨率图片后还包括：通过超像素结构对输出的所述超分辨率图片进行尺寸放大。5.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述多层卷积神经网络为九层结构。6.根据权利要求5所述的超分辨率图像重建方法，其特征在于，所述最优模型的获取包括以下步骤：通过优化目标函数计算所述训练数据中对应的三个低分辨率图片和一个高分辨率图片的均方误差，如下所示：其中，ISR表示经过网络重建出来的图片...

【专利技术属性】
技术研发人员：许靳昌，董远，白洪亮，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11