【技术实现步骤摘要】
一种基于图像特征快速拼接的图像超分辨率方法及其系统
本专利技术涉及计算机视觉领域、图像处理领域和深度学习领域，尤其涉及一种基于图像特征快速拼接的图像超分辨率方法及其系统。
技术介绍
近年来，随着计算机硬件性能的飞速发展和并行计算的广泛普及，深度学习和计算机视觉成为了越来越热门的研究方向。一些本来计算量很庞大的智能算法被业界学者广泛研究，并正被许多企业应用到产品中去。神经网络的方法，尤其是特别适合应用于图像处理与计算机视觉的卷积神经网络方法，被应用于处理画面防抖、去雾、分割、识别等丰富多样的产品中。逐年增加的图像数据集更进一步地提升了这些只能算法的准确率和表现效果，使传统非深度学习的处理方法正逐渐被取代。图像的超分辨率重建算法一直是一个热门的研究领域。它的主要目标是将给定不清晰、小尺寸的低分辨率图像重建为细节清晰、大尺寸的高分辨率图像。尽管从信息论的角度上看，我们不可能确定地补全缺失的图像信息，但我们仍可以预测一个看起来清晰的图片来提升大尺寸图片的预测效果。传统的超分辨率方法主要是通过简单的计算来补全缺失的像素，如经典...
【技术保护点】
1.一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，包括以下步骤：/nS1、构造超分辨率重建模型；/nS2、结合欧几里得距离和预训练VGG卷积神经网络得到超分辨率重建模型的损失，用于超分辨率重建算法模型的参数训练；/nS3、将所述超分辨率重建模型的损失通过反向传播算法，更新算法模型所有的可训练参数，再向该模型输入不同的训练集图片组，得到最优化的超分辨率重建模型；/nS4、输入任意低分辨率图像至最优化的超分辨率重建模型得到相应的超分辨率重建图像。/n
【技术特征摘要】
1.一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，包括以下步骤：
S1、构造超分辨率重建模型；
S2、结合欧几里得距离和预训练VGG卷积神经网络得到超分辨率重建模型的损失，用于超分辨率重建算法模型的参数训练；
S3、将所述超分辨率重建模型的损失通过反向传播算法，更新算法模型所有的可训练参数，再向该模型输入不同的训练集图片组，得到最优化的超分辨率重建模型；
S4、输入任意低分辨率图像至最优化的超分辨率重建模型得到相应的超分辨率重建图像。
2.根据权利要求1所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，所述超分辨率重建模型包括低分辨率图像特征初步提取模块、级联的快速的大视野图像信息提取模块以及图像拼接重建模块。
3.根据权利要求2所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，所述低分辨率图像特征初步提取模块包括单个卷积神经网络层，所述单个卷积神经网络层使用权值共享的卷积核对输入的低分辨率图像进行特征初步提取，得到原始特征；
所述低分辨率图像为RGB图像，通过量化像素读取图片文件并将图片量化为三通道的低分辨率图像张量ILR；
所述单个卷积神经网络层包使用可训练参数的卷积核，对输入的低分辨率图像进行初步的特征提取，得到初步提取的图像原始特征x0，其数学表达形式如下：
x0＝fconv0(ILR)＝tanh(W0*ILR+b0)
其中，W0和b0分别为初步特征提取卷积层可训练的卷积核权重和偏移值，低分辨率图像张量ILR在与卷积核权重进行二维卷积之后，输出张量的各个通道再加上偏移值，最后经过tanh函数激活，得到图像的原始特征输出。
4.根据权利要求3所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，所述级联的快速的大视野图像信息提取模块从原始特征中提取出多级高层特征；每一级的大视野图像信息提取模块对输入的特征进行尺寸压缩，提取图像信息产生高层特征；多个提取模块级联，产生不同级别的高层特征。
5.根据权利要求4所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，所述大视野图像信息提取模块提取图像信息包括如下步骤：
S201、通过最小尺寸填充，将图像原始特征x0的空间尺寸填充至能够降采样的最小值；
S202、将最小尺寸填充处理后的原始特征x0输入到带步长的卷积层，使用可学习参数的卷积核进行d倍的降采样，随后使用多个残差块对降采样的特征进行非线性映射，得到大视野的层级特征输出x1，其等效的数学表达形式如下：
降采样部分的计算公式：
x′0＝fconv1(pad(x0),d)
其中，pad(·)为降采样前的最小尺寸填充，fconv1(·)为可训练参数的带步长卷积层下采样运算，d为本次下采样的尺寸缩小系数；
多个残差块运算的计算公式：
其中，fi(·),1≤i≤n为单个残差块对输入特征的非线性映射，代表多个残差块级联的非线性映射总运算；
S203、将步骤S202的降采样和非线性映射定义为一级的快速的大视野图像信息提取块，则将若干个快速的大视野图像信息提取块级联，对输入特征进行处理，从而得到多级高层特征输出x2,x3,Kxn。
6.根据权利要求5所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，所述图像拼接重建模块包括图像特征快速拼接模块和图像上采样重建模块；
所述图像特征快速拼接模块对多级高层特征和原始特征进行尺寸调整和快速拼接，得到融合特征张量；
所述图像上采样重建模块接收所述融合特征张量进行特征映射和亚像素卷积上采样，从融合特征重建中预测的重建图像ISR，完成超分辨率重建的预测。
7.根据权利要求6所述的一种基于图像特征快速拼接的图像超分辨率方法，其特征在于，所述图像特征快速拼接模块获取融合特征张量，具体包括如下步骤：
S301、使用亚像素卷积将多级高层特征x2,x3,Kxn分别进行d倍的上采样，并根据最小尺寸填充所填充的量对上采样的多级高层特征进行尺寸裁剪，使尺寸与步骤S102所述的原始特征x0的尺寸相等；
S302、使用特征拼接将原始特征x0以及上采样多级高层特征x1,x2,Kxn沿通道维拼接，得到拼接特征X，其数学表达形式如下：
X＝[x0,fsub(x1),L,fsub(xn)]
其中，fsub(·)代表步骤S301所述的亚像素卷积和尺寸裁剪，[·]代表不同张量沿通道维的拼接；
所述图像上采样重建模块预测重建图像I...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。