一种图像超分辨率重建方法及装置制造方法及图纸

本发明专利技术实施例提供一种图像超分辨率重建方法及装置。该方法包括：将第一分辨率图像输入图像重建模型，输出第二分辨率图像；图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率，所述图像重建模型包括若干层残差结构和一层超像素结构，所述残差结构包括若干卷积层和若干级联非线性激活函数层。本发明专利技术实施例提供的图像超分辨率重建方法，图像重建模型的残差结构使用级联的非线性激活函数CReLU代替部分卷积层，减少了图像重建模型的参数，提高了图像超分辨率重建的速度。

【技术实现步骤摘要】
一种图像超分辨率重建方法及装置
本专利技术实施例涉及图像重建领域，尤其涉及一种图像超分辨率重建方法及装置。
技术介绍
在电子图像应用领域，人们经常期望得到高分辨率图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。因此，寻找一种增强当前分辨率水平的方法是非常必须的。图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前，图像超分辨率研究可分为3个主要范畴：基于插值的重建方法、基于学习的方法以及频率域方法。基于插值的方法是针对图像上每个像素点的值是用其周围几个点进行计算逼近得到的，得到的图像过于平滑，丢失了许多高频细节。参数频率域方法是图像超分辨率重建中一类重要方法，其中最主要的是消混叠重建方法。消混叠重建方法是通过解混叠而改善图像的空间分辨率实现超分辨率复原，它的缺点是频域数据缺少相关性。目前，也有一些基于卷积神经网络的超分辨率重建算法，采用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节。然而基于学习的方法仅使用图像表层特征。而且，卷积神经网络的卷积核尺寸较大，影响了卷积神经网络的运行速度。
技术实现思路
针对传统图像超分辨率重建方法的上述缺陷。本专利技术实施例提供一种图像超分辨率重建方法。第一方面，本专利技术实施例提供一种图像超分辨率重建方法，包括：将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率，图像重建模型包括若干层残差结构和一层超像素结构，残差结构包括若干卷积层和若干级联非线性激活函数层。第二方面，本专利技术实施例提供一种图像超分辨率重建装置，包括：图像重建模块，用于将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率，图像重建模型包括若干层残差结构和一层超像素结构，残差结构包括若干卷积层和若干级联非线性激活函数层。第三方面，本专利技术实施例提供了一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的图像超分辨率重建方法。第四方面，本专利技术实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的图像超分辨率重建方法。本专利技术实施例提供的图像超分辨率重建方法，将第一分辨率图像输入图像重建模型，输出第二分辨率图像。图像重建模型包括若干层残差结构和一层超像素结构，残差结构由若干卷积层和若干级联非线性激活函数层构成。本专利技术实施例提供的图像超分辨率重建方法，图像重建模型的残差结构使用级联的非线性激活函数CReLU代替部分卷积层，减少了图像重建模型的参数，提高了图像超分辨率重建的速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例提供的图像超分辨率重建方法的流程示意图；图2为根据本专利技术实施例提供的图像重建模型的结构示意图；图3为根据本专利技术实施例提供的图像超分辨率重建装置的结构框图；图4为根据本专利技术实施例提供的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。并且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。图1为根据本专利技术实施例提供的图像超分辨率重建方法的流程示意图。图2为根据本专利技术实施例提供的图像重建模型的结构示意图。参照图1和图2，本专利技术实施例提供一种图像超分辨率重建方法，包括：将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率，所述图像重建模型包括若干层残差结构和一层超像素结构，所述残差结构包括若干卷积层和若干级联非线性激活函数层。其中，图像分辨率(ImageResolution)指图像中存储的信息量。这种分辨率有多种衡量方法，典型的是以每英寸的像素数来衡量。当然也有以每厘米的像素数来衡量的。图像分辨率决定了图像输出的质量。图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。本实施例利用基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的图像重建模型，将第一分辨率图像输入图像重建模型，输出第二分辨率图像。从而使第一分辨率图像超分辨率重建。图像重建模型的获取步骤具体包括：通过优化目标函数计算第一分辨率样本图像重建后的图像与第二分辨率样本图像各点的像素差绝对值的平均值；优化目标函数为：式中，ISR表示第一分辨率样本图像经过神经网络重建得到的图像的像素，IHR表示第二分辨率样本图像的像素，C代表图像的通道数，L1表示优化目标函数，n表示图像的数目，k表示通道数从1到C，j表示宽度的像素点，H表示图像的高度，W表示图像的宽度，L1的值越小，说明重建的图像与原始图像相似度更高；根据优化目标函数的值，调整神经网络的参数，并利用调整参数后的神经网络对第一分辨率样本图像及其对应的第二分辨率样本图像进行训练，得到图像重建模型。参照图2，图像重建模型包括若干层残差结构和一层超像素结构，残差结构包括若干卷积层和若干级联非线性激活函数(CReLU)层。需要说明的是，残差结构层与普通的堆叠卷积相比，能够更好的学习图像的边缘信息与纹理信息，这有益于图像超分辨率重建。下一层残差结构的输入对象包括上一层残本文档来自技高网...

【技术保护点】
1.一种图像超分辨率重建方法，其特征在于，包括：将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率，所述图像重建模型包括若干层残差结构和一层超像素结构，所述残差结构包括若干卷积层和若干级联非线性激活函数层。

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括：将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率，所述图像重建模型包括若干层残差结构和一层超像素结构，所述残差结构包括若干卷积层和若干级联非线性激活函数层。2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述第一分辨率样本图像及其对应的第二分辨率样本图像的获取步骤包括：使用matlab中的resize函数对选取的第二图像进行下采样，获得第一图像；截取所述第一图像的中心区域，获得第一分辨率样本图像；截取所述第二图像的中心区域，获得第二分辨率样本图像。3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述图像重建模型依次包括四层残差结构和一层超像素结构，所述超像素结构用于扩大残差结构输出图像的尺寸。4.根据权利要求1或3所述的图像超分辨率重建方法，其特征在于，所述残差结构依次包括第一卷积层、第一级联非线性激活函数层、第二卷积层和第二级联非线性激活函数层。5.根据权利要求1所述的图像超分辨率重建方法，其特征在于，下一层残差结构的输入对象包括上一层残差结构的输出对象，以及所述上一层残差结构的输入对象。6.根据权利要求5所述的图像超分辨率重建方法，其特征在于，所述超像素结构依次包括第三卷积层、超像素层和第四卷积层。7.根据权利要求6所述的图像超分辨率重建方法，其特征在于，所述图像重建模型的获取步骤包...

【专利技术属性】
技术研发人员：许靳昌，董远，白洪亮，熊风烨，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11