一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法技术

本发明专利技术涉及一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，利用深度残差网络直接从低分辨率的真实低清图像执行卷积神经网络的卷积计算阶段，卷积神经网络的卷积残差块组计算阶段，可变形卷积残差块组计算阶段，逐步利用反卷积和卷积运算的方式重建出高分辨率图像，对于RealSR数据集这类采用不同焦距所采取的真实低清高清图像对中，由于镜头畸变，图像对之间存在变形问题，通过使用可变形卷积能够减轻不同焦距镜头拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。

Image distortion correction and enhancement method based on convolution neural network with deformable convolution

【技术实现步骤摘要】
一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法
本专利技术涉及图像超分辨率领域，特别是一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法。
技术介绍
单帧超分辨率成像(Singleimagesuper-resolution,SISR)技术旨在基于低分辨率图像重建出其对应的高分辨率图像。单帧超分辨率成像技术作为计算机视觉领域的经典技术，近几十年以来都是热门的研究主题。与一般的图像锐化或清晰度调整不同，单帧超分辨率成像技术能根据图像整体的语义信息增强欠缺的图像细节，勾勒出图像纹理。因此，该技术具有很高的实用价值并具有广泛的研究前景。近年来，许多学者通过设计新颖的神经卷积网络架构和改进损失函数来提高生成的高分辨率图像质量。目前基于深度学习的单帧超分辨率成像有以下较具代表性的方法：Dong等人提出SRCNN结构，首先使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸，接着通过基于深度学习的三层卷积网络拟合非线性映射，最后重建出其对应的一张高分辨率图像。Kim等人提出VDSR结构，该结构通过学习高分辨率和低分辨率图像之间的高频部分残差产生高分辨率图像。Ledig等人将生成对抗网络(GenerativeAdversarialNetwork,GAN)应用到超分辨率问题上，提出以SRResNet作为生成网络部分的SRGAN生成对抗网络。该生成对抗网络利用感知损失和对抗损失提高生成的超分辨率图像的真实感，并使生成图片和原始的低分辨率图片在语义和风格上更为接近。然而，现在大多的是SISR技术是基于从高分辨率图像下采样得到的低分辨率图像数据集进行训练，通过这种训练集得到的结果不太具有实用价值，因为真实场景往往更为复杂，而上述训练过程和实际应用场景相差甚远。为了解决这个问题，一些学者将研究重心放在收集和创建更接近于真实场景的训练数据集。Cai等人提出用不同焦距的镜头拍摄同一场景制作RealSR数据集，并使用三种主流超分算法在RealSR数据集和传统超分数据集上进行比对，发现通过RealSR数据集产生的超分辨率图像效果更好。Zhang等人提出使用单反相机拍摄的真实的原始传感数据进行超分辨率训练，从而产生具有更高保真度的超分辨率图像。Chen等人在前人的基础上，提出使用R-V降质(R-Vdegradation)图像对来产生超分辨率图像。其中R和V分别代表分辨率(Resolution)和视野域(field-of-view),研究人员从视野域小的图像中提取出高分辨率图像，从视野域大的图像中提取出低分辨率图像并制作成City100数据集。研究人员在该数据集基础上提出CameraSR模型并验证了这是一种提高现有SR方法性能的实用解决方案。虽然相关研究已经取得了较好的单帧超分辨率成像效果，但由于不同的照相机间的配置不同问题，从真实场景拍摄采集得到的数据集存在镜头畸变，即所采集到的真实图像对之间存在图像变形问题。
技术实现思路
有鉴于此，本专利技术的目的是提供一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，能够减小不同焦距拍摄下的真实图像对之间的图像变形问题对超分辨率重建效果的影响，提高图像的超分辨率重建效果。本专利技术采用以下方案实现：一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，包括以下步骤：步骤S1：将长焦距镜头所拍摄的低分辨图像Il作为基于可变形卷积的卷积神经网络的输入，而短焦距镜头所拍摄的高分辨率图像Ih作为基于可变形卷积的卷积神经网络所学习的目标；步骤S2：所述基于可变形卷积的卷积神经网络包括卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段；将低分辨图像Il分别执行卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段，最终得到一幅其对应的高分辨率图像Isr；步骤S3：利用重建的高分辨率图像Isr与步骤S1的短焦镜头所拍摄得到的高分辨率图像Ih图像进行比较，计算两幅图像之间的L1损失，即计算两幅图像各个像素值的绝对值之差的和,公式如下；其中i为图片像素点下标，m为图片的像素点总数；步骤S4：基于步骤S3所得到的L1损失值，利用该损失值，采用Adam优化算法，进行梯度反向传播，不断更新并优化获得新的卷积权值参数和偏置参数；新的卷积权值参数和偏置参数再通过基于可变形卷积的卷积神经网络生成新的重建高分辨率图像，不断重复反向传播更新，即不断重复步骤S2；当完成预设的重复次数后，则停止反向传播，获取出训练过程中的最优的卷积权值参数和偏置参数，利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，用以实现图像畸变矫正增强的目的。进一步地，所述步骤S2具体包括以下步骤：步骤S21：卷积神经网络的卷积计算阶段：输入的低分辨率图像Il进行卷积神经网络的卷积运算和激活函数运算得到其对应的第一层输出结果F1，其计算公式为：F1＝LR(W1*Il+B1)(2)其中，W1、B1、LR分别是第一层的卷积权值参数，第一层的偏置参数和RELU激活函数；步骤S22：卷积神经网络的卷积残差块组计算阶段：所述卷积神经网络的卷积残差块组由3个卷积神经网络的卷积残差运算块组成，其中每个卷积神经网络的卷积残差运算块是由2次卷积神经网络的卷积运算、2次激活函数运算和1次相加运算组成，其中一个卷积神经网络的卷积残差运算块的计算公式为：其中Wl1和Wl2分别是是第l层的第1个和第2个卷积权值参数；和分别是是第l层的第1个和第2个偏置参数；Fl和Fl-1分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果Fl；步骤S23：可变形卷积残差块组计算阶段：所述可变形卷积残差块组由13个可变形卷积残差运算块组成，每个可变形卷积残差运算块是由2次可变形卷积运算、1次激活函数运算和1次相加运算组成，其中可变形卷积描述如下：所述可变形卷积为在卷积神经网络的卷积中通过增加一个偏移量，从而进行扩张，同样的位置P0变为：其中P0为卷积神经网络中的卷积的中心坐标，Pn为卷积神经网络中的卷积的规则坐标偏移量，P0+Pn即为卷积神经网络的卷积的位置表达，Δpn为基于可变性卷积的卷积神经网络的自适应学习偏移量，采样的位置从而变成了不规则位置，P0+Pn+Δpn即为可变形卷积的位置表达；此处引入可变形卷积后，在输入层Fl将会增加一个额外的卷积层来学习偏移量，该偏移量的特征图宽高将与输入层的特征图一样，但通道数为2N2的自适应学习偏移层，其中2N2代表N2个二维偏移量，即X，Y两个方向上的偏移量，因此偏移层的每一位置就代表了卷积神经网络的卷积核在输入特征图上对应位置的偏移量，此处所说的偏移量即为公式(4)中的Δpn；一个可变形卷积残差运算块计算公式为：...

【技术保护点】
1.一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，其特征在于：包括以下步骤：/n步骤S1：将长焦距镜头所拍摄的低分辨图像I

【技术特征摘要】
1.一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法，其特征在于：包括以下步骤：
步骤S1：将长焦距镜头所拍摄的低分辨图像Il作为基于可变形卷积的卷积神经网络的输入，而短焦距镜头所拍摄的高分辨率图像Ih作为基于可变形卷积的卷积神经网络所学习的目标；
步骤S2：所述基于可变形卷积的卷积神经网络包括卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段；将低分辨图像Il分别执行卷积神经网络的卷积计算阶段、卷积神经网络的卷积残差块组计算阶段、可变形卷积残差块组计算阶段和反卷积计算阶段，最终得到一幅其对应的高分辨率图像Isr；
步骤S3：利用重建的高分辨率图像Isr与步骤S1的短焦镜头所拍摄得到的高分辨率图像Ih图像进行比较，计算两幅图像之间的L1损失，即计算两幅图像各个像素值的绝对值之差的和,公式如下；



其中i为图片像素点下标，m为图片的像素点总数；
步骤S4：基于步骤S3所得到的L1损失值，利用该损失值，采用Adam优化算法，进行梯度反向传播，不断更新并优化获得新的卷积权值参数和偏置参数；新的卷积权值参数和偏置参数再通过基于可变形卷积的卷积神经网络生成新的重建高分辨率图像，不断重复反向传播更新，即不断重复步骤S2；当完成预设的重复次数后，则停止反向传播，获取出训练过程中的最优的卷积权值参数和偏置参数，利用该最优的参数加载进基于可变形卷积的卷积神经网络中，当新的低分辨率图像通过该网络后就能够得到重建后的带图像畸变矫正增强的高分辨率图像，用以实现图像畸变矫正增强的目的。


2.根据权利要求1所述的一种基于可变形卷积的神经网络的图像畸变矫正增强方法，其特征在于：所述步骤S2具体包括以下步骤：
步骤S21：卷积神经网络的卷积计算阶段：输入的低分辨率图像Il进行卷积神经网络的卷积运算和激活函数运算得到其对应的第一层输出结果F1，其计算公式为：
F1＝LR(W1*Il+B1)(2)
其中，W1、B1、LR分别是第一层的卷积权值参数，第一层的偏置参数和RELU激活函数；
步骤S22：卷积神经网络的卷积残差块组计算阶段：所述卷积神经网络的卷积残差块组由3个卷积神经网络的卷积残差运算块组成，其中每个卷积神经网络的卷积残差运算块是由2次卷积神经网络的卷积运算、2次激活函数运算和1次相加运算组成，其中一个卷积神经网络的卷积残差运算块的计算公式为：



其中Wl1和Wl2分别是是第l层的第1个和第2个卷积权值参数；和分别是是第l层的第1个和第2个偏置参数；Fl和Fl-1分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1是通过跳跃连接的方式与第l层的两次卷积后的结果相加，从而得到第l层的输出结果Fl；
步骤S23：可变形卷积残差块组计算阶段：所述可变形卷积残差块组由13个可变形卷积残差运算块组成，每个可变形卷积残差运算块是由2次可变形卷积运算、1次激活函数运算和1次相加运算组成，其中可变形卷积描述如下：
所述可变形卷积为在卷积神经网络的卷积中通过增加一个偏移量，从而进行扩张，同样的位置P0变为：



其中P0为卷积神经网络中的卷积的中心坐标，Pn为卷积神经网...

【专利技术属性】
技术研发人员：张乾，李根，张辰晟，童同，罗鸣，高钦泉，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：福建;35