一种基于上下文相关多任务深度学习的图像超分辨算法制造技术

本发明专利技术提供一种基于上下文相关多任务深度学习的图像超分辨算法，该算法设计了三个深度神经网络，分别用于捕捉图像的基本信息、主要边缘信息和微小细节信息，然后在一个多任务学习的框架中对这些神经网络进行上下文相关连接与统一训练。给定输入的低分辨率图像，训练好的神经网络将分别输出基本图像、主要边缘图像和微小细节图像，最终的高分辨率图像由基本图像和微小细节图像融合而成；该算法可以仅用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。并且，所恢复出来的HR图像的结构得到了很好的保持，能尽可能多地恢复出理想HR图像中的结构信息。

【技术实现步骤摘要】
一种基于上下文相关多任务深度学习的图像超分辨算法
本专利技术涉及数字图像处理领域，更具体地，涉及一种基于上下文相关多任务深度学习的图像超分辨算法。
技术介绍
图像超分辨是一种通过计算的方式让图像的分辨率得到提升的技术，可以广泛用于视频监控和医学影像分析等领域。单幅图像超分辨算法要解决的问题是，当输入只有单幅图像时，如何提升图像的分辨率。这个问题是图像处理领域中的一个基本问题，也是一个病态问题。传统的解决方案可以划分为基于重建的算法、基于样例的方法和基于插值的方法。基于重建的方法是把高分辨率(HR)图像和低分辨率(LR)图像之间的关系用一个作用于全图的卷积核进行建模，在给的卷积核估计值的情况下通过求解逆问题得到清晰的HR图像。然而，这些方法通常会由于卷积核估计的不准确而造成HR图像中的环状瑕疵。基于样例的方法想通过引入图像自身或者外部图像中的图国际像块作为样例，实现了在高放大倍数情况下的图像超分辨。此类方法在图像恢复时需要利用图像块之间的相似信息，当LR图像中不存在足够的相似图像块时，极有可能会由于图像块的不相似而引入一些不必要的虚假细节。基于插值的方法通过精细设计的插值核函数来提升图像的分辨率。然而，无论是预先定义的核函数(例如双线性插值)还是自适应的核函数，都难以应对图像内容的多种变化。当图像的结构与核函数的定义不一致的时候，会造成图像结构的模糊。近年来，由于深度学习在各种计算机视觉任务重的巨大成功，人们开始将深度神经网络用于图像超分辨问题中。一种常见的做法就是利用全卷积网络建立LR图像和HR图像之间的映射关系，以最小化网络输出图像和真实的HR图像之间的均方误差为目标来训练神经网络。此类方法虽然在图像超分辨的质量上获得了较大的提升，但是也会产生一些结构不一致的瑕疵。其主要原因是以均方误差最小化为代价函数的神经网络难以捕捉人类视觉系统中更敏感的结构变化。近期的图像超分辨算法试图通过引入基于特征的感知误差函数来缓解这一问题，然而此类方法虽然在超分辨图像上得到了更高的视觉感知质量，但是也会引入一些不真实的图像细节。
技术实现思路
本专利技术提供一种基于上下文相关多任务深度学习的图像超分辨算法，该算法可实现用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。为了达到上述技术效果，本专利技术的技术方案如下：一种基于上下文相关多任务深度学习的图像超分辨算法，包括以下步骤：S1：收集图像数据；S2：建立神经网络模型；S3：利用收集图像数据对所建立的神经网络模型进行训练；S4：将训练好的神经网络处理静态低分辨率图像即得到高分辨率的图像。进一步地，所述步骤S1中收集的图像数据训练数据包括高分辨率的图像、该高分辨率的图像对应的边缘图像和其对应的静态低分辨率图像；其中，高分辨率的图像对应的边缘图像是二值图像，由边缘检测算法给出或由人工标记给出；边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘。进一步地，所述步骤S2的神经网络模型包括三个部分组成；第一个部分由4个卷积层组成，其滤波器数量逐层底层，用于提取图像的多尺度特征；第二部分由一个第一反卷积层和两个第一卷积层组成，其中第一反卷积层用于将特征图进行自适应的插值，第一卷积层用于输出期望的特征图和初步的高分辨率的图像；第三部分是由一个第二反卷积层和两个第二卷积层组成，其中第二反卷积层用于将特征图进行自适应的插值，第二卷积层用于输出残差图。进一步地，所述步骤S3的过程如下：S31：从图像数据中筛选出低分辨率图像，高分辨率图像，边缘图像；S32：将低分辨率图像输入基本图像估计网络和边缘估计网络，得到对应的超分辨后的图像结果和边缘图像；S33：将网络输出的结果和高分辨率图像与手工标注边缘图像进行计算，并利用计算结果更新网络的参数；S34：当基本图像估计网络和边缘估计网络收敛以后，将参数固定；S35：利用基本图像估计网络估计残差图，并作为残差估计网络的目标更新残差估计网络参数；S36：当残差估计网络收敛以后，将参数固定；S37：将残差网络输出与基本图像估计网络输出融合，得到高分辨率图像。进一步地，所述步骤S4中将训练好的神经网络用于处理新的输入静态低分辨率图像时，输入的静态低分辨率图像先经过图像裁剪或者下采样预处理操作，使得输入的静态低分辨率图像的分辨率与网络训练时所采用的LR图像分辨率一致；新输入的静态低分辨率图像输入训练好的神经网络之后，经过卷积和加权平均等各种操作，会输出高分辨率的边缘图、初步的高分辨率的图像和高分辨率的图像的残差图，其中初步的高分辨率的图像和高分辨率的图像的残差图通过线性叠加的方式进行融合，得到最终的高分辨率的图像。与现有技术相比，本专利技术技术方案的有益效果是：本专利技术设计了三个深度神经网络，分别用于捕捉图像的基本信息、主要边缘信息和微小细节信息，然后在一个多任务学习的框架中对这些神经网络进行上下文相关连接与统一训练。给定输入的低分辨率图像，训练好的神经网络将分别输出基本图像、主要边缘图像和微小细节图像，最终的高分辨率图像由基本图像和微小细节图像融合而成；该算法可以仅用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。并且，所恢复出来的HR图像的结构得到了很好的保持，能尽可能多地恢复出理想HR图像中的结构信息。附图说明图1为本专利技术实施例中神经网络结构示意图；图2为本专利技术和SRCNN、SCN、ShCNN方法在“蝴蝶”图像上的超分辨视觉效果对比；其中，图2(a)位SRCNN算法的效果图，图2(b)为SCN算法的效果图，图2(c)为ShCNN算法的效果图，图2(d)为本专利技术算法的效果图，图2(e)为理想效果图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。实施例1一种用于静态图像超分辨的上下文相关多任务深度学习方法，包括以下步骤：S1：收集图像数据；S2：建立神经网络模型；S3：利用收集图像数据对所建立的神经网络模型进行训练；S4：将训练好的神经网络处理静态低分辨率图像即得到高分辨率的图像。步骤S1中，训练数据由三部分组成，即HR图像、HR图像对应的边缘图像和HR图像对应的LR图像。其中，HR图像对应的边缘图像是二值图像，可以由边缘检测算法给出，也可以由人工标记给出。边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘。假设LR图像的分辨率是h×w，HR图像的分辨率是H×W，则训练好的网络只可用于将分辨率为h×w的输入LR图像的分辨率提升至H×W。进一步地，所述步骤S2中，神经网络模型的总体结构如附图1所示，主要由三个部分组成。第一个部分由4个卷积层组成，其滤波器数量逐层底层，主要用于提取图像的多尺度特征；第二部分由一个反卷积层和两个卷积层组成，其中反卷积层用于将特征图进行自适应的插值，卷积层用于输出期望的特征图和初步的HR图；第三部分也是由一个反卷积层和两个卷积层组成，其中反卷积层用于将特征图进行自适应的插值，卷积层用于输出残差图。第二部分的网络同时输出边缘图和初步的HR图，这样的设计可以在初步的HR图加入上下文相关的边本文档来自技高网...

【技术保护点】
1.一种基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，包括以下步骤：S1：收集图像数据；S2：建立神经网络模型；S3：利用收集图像数据对所建立的神经网络模型进行训练；S4：将训练好的神经网络处理静态低分辨率图像即得到高分辨率的图像。

【技术特征摘要】
1.一种基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，包括以下步骤：S1：收集图像数据；S2：建立神经网络模型；S3：利用收集图像数据对所建立的神经网络模型进行训练；S4：将训练好的神经网络处理静态低分辨率图像即得到高分辨率的图像。2.根据权利要求1所述的基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，所述步骤S1中收集的图像数据训练数据包括高分辨率的图像、该高分辨率的图像对应的边缘图像和其对应的静态低分辨率图像；其中，高分辨率的图像对应的边缘图像是二值图像，由边缘检测算法给出或由人工标记给出；边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘。3.根据权利要求2所述的基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，所述步骤S2的神经网络模型包括三个部分组成；第一个部分由4个卷积层组成，其滤波器数量逐层提高，用于提取图像的多尺度特征；第二部分由一个第一反卷积层和两个第一卷积层组成，其中第一反卷积层用于将特征图进行自适应的插值，第一卷积层用于输出期望的特征图和初步的高分辨率的图像；第三部分是由一个第二反卷积层和两个第二卷积层组成，其中第二反卷积层用于将特征图进行自适应的插值，第二卷积层用于输出残差图。4.根据权利要求3所述的基于上下文相关多任务深度学习的...

【专利技术属性】
技术研发人员：林倞，施煜锴，陈崇雨，王可泽，成慧，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44