基于深度卷积神经网络与深度信息的全景图像融合方法技术

本发明专利技术公开了基于深度卷积神经网络与深度信息的全景图像融合方法，包括如下步骤：S1：构建深度学习训练数据集；选取作为训练使用的两幅待融合鱼眼图像的重叠区域x

【技术实现步骤摘要】
基于深度卷积神经网络与深度信息的全景图像融合方法
本专利技术属于图像通信
，涉及图像拼接
，尤其涉及基于深度卷积神经网络与深度信息的全景图像融合方法。
技术介绍
图像拼接技术就是将数张有部分重叠的图像拼接成一幅大型的无缝高分辨率图像的技术。使用普通相机获取宽视野的场景图像，因为相机的分辨率一定，拍摄的场景越大，得到的图像分辨率越低；而全景相机、广角镜头等不仅非常昂贵，且失真严重。为了在不降低图像分辨率的条件下获取超宽视野，甚至360度的全景图，出现了利用计算机进行图像拼接方法。图像拼接是图像处理中的关键技术之一，是其他一些图像处理，如全景视频、智能视频监控、视频压缩和传输、虚拟现实技术、医学图像分析以及超分辨率重构等的基础，如何实现高速度高质量的图像拼接，对于整个系统而言都是至关重要的。图像拼接技术中两个至关重要的步骤就是图像配准和图像融合。目前常用的图像融合方法有两大类，一类是采用采用直接融合的方法(例如：平均值法、加权平均法、中值滤波法)，会导致生成的全景图像因为重叠区域的细节差异而出现明显的拼接缝；另一类是采用动态规划和graph-cut的方法来查找最优融合中心线，具体来说就是利用两幅图像重叠区域内像素之间的灰度差异和颜色差异，在重叠区域中找到一条灰度和颜色差异最小的线，然后在这条最优融合中心线左右两侧选取一个缝合宽度进行线性融合，它会导致图像融合区域中拼接的重影和缝隙；因此本领域迫切需要一种能克服上述缺陷的全景图像拼接方法。
技术实现思路
本专利技术为克服上述情况不足，提出了一种基于深度卷积神经网络与深度信息的全景图像融合方法，包括如下步骤：S1：构建深度学习训练数据集；选取作为训练使用的两幅待融合鱼眼图像的重叠区域xe1和xe2以及由这两幅鱼眼图像融合之后形成的全景图像的理想融合区域ye，构建待融合图像与全景图像块对的训练集{xe1，xe2，ye}；S2：构建卷积神经网络模型；S3：基于测试数据集和训练好的深度卷积神经网络模型，得到测试数据集的融合区域；所述S1包括S101、S102、S103、S104；S101：生成图像金字塔：对给定的两幅待融合鱼眼图像以及全景图像进行高斯函数平滑、下采样操作生成一系列具有不同分辨率的图像集合，即图像高斯金字塔；获取层级为Gn+1层的高斯金字塔图像的具体实现如下：第一步：对输入图像I进行高斯内核卷积；第二步：将第一步得到的图像中所有偶数行和列去除，得到的图像即为Gn+1层的图像，计算公式如下：其中，w(m,n)＝w(m)*w(n)，并且a是常量；第三步：通过对输入图像Gn层，不停迭代以上第一步和第二步就会得到整个高斯金字塔图像；S102：得到给定的两幅待融合鱼眼图像重叠区域的立体信息；S103：根据深度图中深度值计算重叠区域内两幅图像上每对对应像素之间的视差；S104：生成训练数据集；所述S2包括S201、S202、S203；S201：构建一个深度卷积神经网络模型；S202：设置卷积采样层参数；S203：利用训练数据集训练深度卷积神经网络。进一步的，所述S102步是通过深度摄像机直接获取所述重叠区域的深度图，所述深度摄像机通过物理方法直接测量景物距离深度摄像机的距离。进一步的，其特征在于，所述S103具体为：计算两幅图像中的视差；视差p和深度zp的关系如下：其中XL-XR为视差，D表示摄像机的焦距，xB表示摄像机之间的距离，当深度较小时，则视差p和深度zp的关系等价于进一步的，其特征在于，所述S104具体为：从两幅待融合鱼眼图像中生成的两个图像金字塔的每一层提取重叠区域其中l表示金字塔的第l层，判定计算出的视差是否超出预定的范围，这个预定的误差范围最好是0～1像素之间，如果超出预定的视差范围，将这两个图像金字塔中第I层的重叠区域像素值进行线性加权平均组合，得到初始融合区域并将这个区域内的像素进行最大最小归一化处理，使每一个像素取值范围在[0,1]之间，将这两个图像金字塔中所有层的初始融合区域级联起来形成训练样本其中c表示金字塔的层数；从全景图像中生成的图像金字塔的每一层提取理想融合区域并将这个区域内的像素进行最大最小归一化处理，使每一个像素取值范围在[0,1]之间，将该金子塔中所有层的融合区域串联起来得到训练样本从初始融合区域xe和理想融合区域ye中分别抽取像素大小一直的多分辨融合块其中i＝1,2,…,N，得到N对像素位置一致的多分辨融合块对的训练数据集合进一步的，所述S201具体为：构建一个深度卷积神经网络模型：以步骤S1生成的训练数据集中的客观评价参数X为输入，构建一个卷积神经网络模型，该卷积神经网络采用5层的神经网络，分别是输入层，第一卷积采样层，第二卷积采样层，全链接层，输出层，其中，在第一卷积采样层首先将输入与该层设定的不同卷积核和可加偏置进行卷积，卷积后产生若干个特征，然后对特征按照设定的池化尺度大小进行特征值求和，加权值，加偏置，最后通过一个Sigmoid函数得到该层的输出，第二卷积采样层进行与第一卷积采样层相同的操作，区别在于两层所使用到的卷积核、池化尺度大小以及偏置不同，两次卷积采样层的输出是特征映射图，全链接层将第二卷积采样层的特征正向传播输出特征向量，同时也可以进行反向传播操作，在输出层中将输入的特征向量按输出标签的大小指定输出。进一步的，所述S202具体为：在一个卷积层I，输入层的输入或者是上一层的第i个特征被一个可学习的卷积核进行卷积，然后通过一个激活函数，就可以得到输出的第j个特征每一个输出可能是组合卷积多个输入的值，具体计算方法如下：其中，i，j分别表示上一层和当前层上特征映射编号，Mj表示选取的输入特征集合的一个子集，表示第l层的第j个特征与第l-1层的第i个特征之间相关的卷积核，表示第l层的第j个特征对应的附加的偏置，*表示卷积操作，激活函数f(.)采用sigmoid函数将输出压缩到[0,1]；卷积之后会紧跟着一个子采样，计算公式如下：其中，down(.)表示一个下采样函数，优选Max-Pooling池化模式，池化核大小为2*2，步长为2。进一步的，其特征在于，所述S203的训练方法可以分为如下两个阶段：第一阶段：前向传播阶段对给定的训练数据集将所有的训练数据集中的输入到深度卷积神经网络的输入层，经过逐层的变换(第一卷积采样层，第二卷积采样层，全链接层1，全链接层2)，传送到输出层，计算出与所有相对应的实际输出计算实际输出与理想输出之间的误差，这里采用平方误差代价函数，第n个训练数据的误差表示为：其中，K表示输出数据的维数，表示第n个训练数据对应的理想输出数据的第k维，表示第n个训练数据对应的网络输出的第k个输出；第二阶段：后向传播阶段后向传播阶段是按照上述计算前向平方误差方法反向传播调整网络每一层的权重矩阵；反向传播回来的误差可以看做是每个神经元的偏置的灵敏度δ，卷积层逆向误差传播公式为：其中，°表示每个元素相乘，l表示层数，m，n分别表示上一层和当前层上特征的映射编号，表示第l层上的第n个神经节点的灵敏度，表示下采样层的权值，为可训练的常数，up()表示上采样操作，’表示转置，和表示第l层第n个特征对应的权值和偏置，表示第l-1层的第n个特征；池化层的逆向误差传播公式计算如下：其中，M表示输入特征的集合，本文档来自技高网...

【技术保护点】
基于深度卷积神经网络与深度信息的全景图像融合方法，其特征在于，包括如下步骤：S1：构建深度学习训练数据集；选取作为训练使用的两幅待融合鱼眼图像的重叠区域x

【技术特征摘要】
1.基于深度卷积神经网络与深度信息的全景图像融合方法，其特征在于，包括如下步骤：S1：构建深度学习训练数据集；选取作为训练使用的两幅待融合鱼眼图像的重叠区域xe1和xe2以及由这两幅鱼眼图像融合之后形成的全景图像的理想融合区域ye，构建待融合图像与全景图像块对的训练集{xe1，xe2，ye}；S2：构建卷积神经网络模型；S3：基于测试数据集和训练好的深度卷积神经网络模型，得到测试数据集的融合区域；所述S1包括S101、S102、S103、S104；S101：生成图像金字塔：对给定的两幅待融合鱼眼图像以及全景图像进行高斯函数平滑、下采样操作生成一系列具有不同分辨率的图像集合，即图像高斯金字塔；获取层级为Gn+1层的高斯金字塔图像的具体实现如下：第一步：对输入图像I进行高斯内核卷积；第二步：将第一步得到的图像中所有偶数行和列去除，得到的图像即为Gn+1层的图像，计算公式如下：其中，w(m,n)＝w(m)*w(n)，并且a是常量；第三步：通过对输入图像Gn层，不停迭代以上第一步和第二步就会得到整个高斯金字塔图像；S102：得到给定的两幅待融合鱼眼图像重叠区域的立体信息；S103：根据深度图中深度值计算重叠区域内两幅图像上每对对应像素之间的视差；S104：生成训练数据集；所述S2包括S201、S202、S203；S201：构建一个深度卷积神经网络模型；S202：设置卷积采样层参数；S203：利用训练数据集训练深度卷积神经网络。2.根据权利要求1所述的基于深度卷积神经网络与深度信息的全景图像融合方法，其特征在于，所述S102步是通过深度摄像机直接获取所述重叠区域的深度图，所述深度摄像机通过物理方法直接测量景物距离深度摄像机的距离。3.根据权利要求1所述的基于深度卷积神经网络与深度信息的全景图像融合方法，其特征在于，所述S103具体为：计算两幅图像中的视差；视差p和深度zp的关系如下：其中XL-XR为视差，D表示摄像机的焦距，xB表示摄像机之间的距离，当深度较小时，则视差p和深度zp的关系等价于4.根据权利要求1所述的基于深度卷积神经网络与深度信息的全景图像融合方法，其特征在于，所述S104具体为：从两幅待融合鱼眼图像中生成的两个图像金字塔的每一层提取重叠区域其中l表示金字塔的第l层，判定计算出的视差是否超出预定的范围，这个预定的误差范围最好是0～1像素之间，如果超出预定的视差范围，将这两个图像金字塔中第I层的重叠区域像素值进行线性加权平均组合，得到初始融合区域并将这个区域内的像素进行最大最小归一化处理，使每一个像素取值范围在[0,1]之间，将这两个图像金字塔中所有层的初始融合区域级联起来形成训练样本其中c表示金字塔的层数；从全景图像中生成的图像金字塔的每一层提取理想融合区域并将这个区域内的像素进行最大最小归一化处理，使每一个像素取值范围在[0,1]之间，将该金子塔中所有层的融合区域串联起来得到训练样本从初始融合区域xe和理想融合区域ye中分别抽取像素大小一直的多分辨融合块其中i＝1,2,…,N，得到N对像素位置一致的多分辨融合块对的训练数据集合5.根据权利要求1所述的基于深度卷积神经网络与深度信息的全景图像融合方法，其特征在于，所述S201具体为：构建一个深度卷积神经网络模型：以步骤S1生成的训练数据集中的客观评价参数X为输入，构建一个卷积神经网络模型，该卷积神经网络采用5层的神经网络，分别是输入层，第一卷积采样层，第二卷积采样层，全链接层，输出层，其中，在第一卷积采样层首先将输入与该层设定的不同卷积核和可加偏置进行卷积，卷积后产生若干个特征，然后对特征按照设定的池化尺度大小进行特征值求和，加权值，加偏...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南,43