一种全景图像配准效果的检测方法技术

本发明专利技术公开了一种全景图像配准效果检测方法，属于图像拼接和图像质量评价技术领域，涉及计算机视觉领域，包括以下步骤：S1：生成训练数据集和测试数据集。S2：生成卷积神经网络模型。S3：基于训练的卷积神经网络测试测试数据集。根据卷积神经网络输出的每块的输出标签，计算每一幅待评价拼接合成图像所有块的输出标签的平均值，然后计算同一拼接算法下所有拼接合成图像输出标签的平均值作为该拼接算法效果好坏的评价等级。利用卷积神经网络，可以代替繁琐的，大量的人为统计评分，并且可以准确地判断图像拼接中配准效果的好坏，克服单因素评价指标所带来的局限性，有利于全自动自适应图像拼接系统的实现，具有非常重要的应用价值。

Method for detecting registration effect of panoramic image

The invention discloses a detection method of panoramic image registration effect, which belongs to the technical field of image stitching and image quality evaluation, relates to the field of computer vision, which comprises the following steps: S1: the generation of the training data set and test data set. S2: generating a convolutional neural network model. S3: test data sets based on trained convolutional neural networks. According to the output of each label output convolutional neural network, calculate the average of each piece to be evaluated concatenative synthesis image output label all the block value, then calculate the mean value of the same algorithm all concatenative synthesis image output label as evaluation of the effect and the level of mosaic algorithm. The use of convolutional neural network, can replace the cumbersome, artificial statistical score plenty, and can accurately judge the effect of registration in image mosaic has overcome the limitations of single factor evaluation index brings, is beneficial to the realization of automatic adaptive image mosaic system, has very important application value.

【技术实现步骤摘要】
一种全景图像配准效果的检测方法
本专利技术属于图像拼接和图像质量评价
，涉及计算机视觉领域，尤其涉及一种全景图像配准效果检测方法。
技术介绍
随着电子信息产业的发展和技术进步，能够获取、记录视频信息的设备日益普及，但与人眼的视场范围相比，普通摄像机的视场要小得多，如何有效的利用计算机技术扩大摄像机拍摄图像和视频的视场范围，引起了研究者的广泛注意。图像拼接技术可以解决由于摄像机等成像仪器的视角和大小的限制，不能生成宽视场图片的问题，现有的图像拼接技术主要有两种方案：第一种方案是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后采用2D图像配准技术对校正后的图像元进行2D配准，最后对配准的两幅图像进行融合。第二种方案是把图像的径向畸变校正参数和图像元的位姿参数作为一体，整体用最优化技术进行参数估计，生成一个参数映射表，然后利用参数映射表将原始图片逐张映射到全景图像中，处理完所有的图像后，将两两相邻的处理之后的图像在重叠区域做一次融合过渡。从上述过程可以看出，图像拼接算法性能的好坏受图像配准和图像融合两大步骤的共同影响。针对拼接合成图像进行算法评价是不可或缺的，但对于图像拼接算法的定量评价分析，目前尚无统一的标准。已有的评价方法都是通过人眼观测拼接缝的方法来评估拼接质量的好坏，而人眼观测的方法误差较大，无法准确评估图像拼接算法的拼接质量。
技术实现思路
本专利技术为克服上述情况不足，旨在提供一种可以准确判断图像拼接中融合效果的方法。一种全景图像配准效果检测方法，包括以下步骤：S1：生成训练数据集和测试数据集；S2：生成卷积神经网络模型；S3：基于训练的卷积神经网络测试测试数据集；所述S1包括S101、S102、S103、S104；S101:获取拼接合成图像；S102：计算拼接合成图像的客观评价参数；选取了配准误差作为客观评价参数；该评价参数用于体现图像拼接算法的配准性能，本专利技术中采用特征位置平均误差来反映配准误差，可由下式计算：其中其中，Q是评价的拼接序列图像数量，K是每相邻图像间的特征匹配对数，H是它们与参考平面IR之间的变换矩阵，xjk，xik表示图像的第k个特征对，这里的特征可以是区域特征、线特征或点特征，对待特征匹配对(xi，xj)中的xi而言，投影到参考平面再投影到其相邻图像后变成坐标x′i，xj与x′i之间的几何距离误差可以体现配准的准确性；特征位置平均误差εn是指每幅图像Ii和其相邻图像Ij上的特征匹配对经过参考平面IR变换后的几何距离误差值的平均值，CL是拼接序列图像的匹配误差；S103：生成训练数据集；根根据S101步得到的拼接合成图像以及S102步设置的客观评价参数，计算卷积神经网络的训练数据集；对训练样本集中所有的拼接合成图像以及相对应的原始图像序列，使用图像配准技术，将拼接合成图像与原始图像序列进行配准，得到二者的重合区域，将重合区域按行均匀分割成M块，对每一块进行处理，依据上述两种评价参数的计算方法，对每个块计算它们的客观评价参数，作为卷积神经网络的训练数据集X＝{CG1，CL1，CG2，CL2，...，CGM，CLM}；基于每个块都会得到一个配准误差，设置一个阈值τ，将每个块的配准误差与τ进行比较，得到对应于每个块的理想输出yi，计算公式如下：将所有块的理想输出组合成训练数据集Y＝{y1，y2，...，yM}，{X，Y}一起构成了卷积神经网络的训练数据集合；S104：获取测试数据集；所述S2步骤包括S201、S202、S203；S201：构建卷积神经网络模型；S202：设置输入层与卷积采样层参数；S203：利用训练数据集训练卷积神经网络。进一步的，所述步骤S102中还选取了标准差作为客观评价参数，拼接合成图像的标准差SD定义为：进一步的，所述步骤S2中采用非全连接的深层神经网络模型，且同一层中某些神经元之间的连接权重是共享的。进一步的，所述S201具体为：以步骤S1生成的训练数据集中的客观评价参数X为输入，构建一个卷积神经网络模型，该卷积神经网络采用5层的神经网络，分别是输入层，第一卷积采样层，第二卷积采样层，全链接层，输出层，其中，在第一卷积采样层首先将输入与该层设定的不同卷积核和可加偏置进行卷积，卷积后产生若干个特征，然后对特征按照设定的池化尺度大小进行特征值求和，加权值，加偏置，最后通过一个Sigmoid函数得到该层的输出，第二卷积采样层进行与第一卷积采样层相同的操作，区别在于两层所使用到的卷积核、池化尺度大小以及偏置不同，两次卷积采样层的输出是特征映射图，全链接层将第二卷积采样层的特征正向传播输出特征向量，同时也可以进行反向传播操作，在输出层中将输入的特征向量按输出标签的大小指定输出。进一步的，所述步骤202具体为：输入层：X＝{CG1，CL1，CG2，CL2，...，CGM，CLM}是卷积神经网络的输入，为了将各项不同的评价参数综合起来，需要对各个评价指标进行归一化处理；卷积采样层：在一个卷积层l，输入层的输入或者是上一层的第i个特征被一个可学习的卷积核进行卷积，然后通过一个激活函数，就可以得到输出的第j个特征每一个输出可能是组合卷积多个输入的值，具体计算方法如下：其中，i，j分别表示上一层和当前层上特征映射编号，Mj表示选取的输入特征集合的一个子集，表示第l层的第j个特征与第l-1层的第i个特征之间相关的卷积核，表示第l层的第j个特征对应的附加的偏置，*表示卷积操作，激活函数f(.)采用sigmoid函数将输出压缩到[0,1]；卷积之后会紧跟着一个子采样，对于子采样来说，有N个输入特征，就有N个输出特征，只是每个输出特征在大小上变小了，计算公式如下：其中，down(.)表示一个下采样函数，优选Max-Pooling池化模式，池化核大小为2*2，步长为2。进一步的，所述步骤S203具体分为如下两个阶段：第一阶段：前向传播阶段对给定的训练数据集{X，Y}，将训练数据集中的X输入到卷积神经网络的输入层，经过逐层的变换，传送到输出层，计算出与X相对应的实际输出O；计算实际输出O与理想输出Y之间的误差，这里采用平方误差代价函数，第n个训练数据的误差表示为：其中，K表示输出数据的维数，表示第n个训练数据对应的理想输出数据的第k维，表示第n个训练数据对应的网络输出的第k个输出；第二阶段：后向传播阶段后向传播阶段是按照上述计算前向平方误差方法反向传播调整网络每一层的权重矩阵；反向传播回来的误差可以看做是每个神经元的偏置的灵敏度δ，卷积层逆向误差传播公式为：其中，°表示每个元素相乘，l表示层数，m，n分别表示上一层和当前层上特征的映射编号，表示第l层上的第n个神经节点的灵敏度，表示下采样层的权值，为可训练的常数，up()表示上采样操作，’表示转置，和表示第l层第n个特征对应的权值和偏置，表示第l-1层的第n个特征；池化层的逆向误差传播公式计算如下：其中，M表示输入特征的集合，表示l+1层的第n个特征与第l层的第m个特征之间相关的卷积核，表示第l+1层的第n个神经节点的灵敏度，表示第l层的第m个神经节点的灵敏度；最后，对每个神经元运用δ规则进行权值更新；即对一个给定的神经元，得到它的输入，然后用这个神经元的δ来本文档来自技高网...

【技术保护点】
一种全景图像配准效果检测方法，其特征在于，包括以下步骤：S1：生成训练数据集和测试数据集；S2：生成卷积神经网络模型；S3：基于训练的卷积神经网络测试测试数据集；所述S1包括S101、S102、S103、S104；S101:获取拼接合成图像；S102：计算拼接合成图像的客观评价参数；选取了配准误差作为客观评价参数；该评价参数用于体现图像拼接算法的配准性能，本专利技术中采用特征位置平均误差来反映配准误差，可由下式计算：

【技术特征摘要】
1.一种全景图像配准效果检测方法，其特征在于，包括以下步骤：S1：生成训练数据集和测试数据集；S2：生成卷积神经网络模型；S3：基于训练的卷积神经网络测试测试数据集；所述S1包括S101、S102、S103、S104；S101:获取拼接合成图像；S102：计算拼接合成图像的客观评价参数；选取了配准误差作为客观评价参数；该评价参数用于体现图像拼接算法的配准性能，本发明中采用特征位置平均误差来反映配准误差，可由下式计算：其中其中，Q是评价的拼接序列图像数量，K是每相邻图像间的特征匹配对数，H是它们与参考平面IR之间的变换矩阵，xjk，xik表示图像的第k个特征对，这里的特征可以是区域特征、线特征或点特征，对待特征匹配对(xi，xj)中的xi而言，投影到参考平面再投影到其相邻图像后变成坐标x′i，xj与x′i之间的几何距离误差可以体现配准的准确性；特征位置平均误差εn是指每幅图像Ii和其相邻图像Ij上的特征匹配对经过参考平面IR变换后的几何距离误差值的平均值，CL是拼接序列图像的匹配误差；S103：生成训练数据集；根根据S101步得到的拼接合成图像以及S102步设置的客观评价参数，计算卷积神经网络的训练数据集；对训练样本集中所有的拼接合成图像以及相对应的原始图像序列，使用图像配准技术，将拼接合成图像与原始图像序列进行配准，得到二者的重合区域，将重合区域按行均匀分割成M块，对每一块进行处理，依据上述两种评价参数的计算方法，对每个块计算它们的客观评价参数，作为卷积神经网络的训练数据集X＝{CG1，CL1，CG2，CL2，...，CGM，CLM}；基于每个块都会得到一个配准误差，设置一个阈值τ，将每个块的配准误差与τ进行比较，得到对应于每个块的理想输出yi，计算公式如下：将所有块的理想输出组合成训练数据集Y＝{y1，y2，...，yM}，{X，Y}一起构成了卷积神经网络的训练数据集合；S104：获取测试数据集；所述S2步骤包括S201、S202、S203；S201：构建卷积神经网络模型；S202：设置输入层与卷积采样层参数；S203：利用训练数据集训练卷积神经网络。2.根据权利要求1所述的全景图像配准效果检测方法，其特征在于，所述步骤S102中还选取了标准差作为客观评价参数，拼接合成图像的标准差SD定义为：3.根据权利要求1所述的全景图像配准效果检测方法，其特征在于，所述步骤S2中采用非全连接的深层神经网络模型，且同一层中某些神经元之间的连接权重是共享的。4.根据权利要求1所述的全景图像配准效果检测方法，其特征在于，所述S201具体为：以步骤S1生成的训练数据集中的客观评价参数X为输入，构建一个卷积神经网络模型，该卷积神经网络采用5层的神经网络，分别是输入层，第一卷积采样层，第二卷积采样层，全链接层，输出层，其中，在第一卷积采样层首先将输入与该层设定的不同卷积核和可加偏置进行卷积，卷积后产生若干个特征，然后对特征按照设定的池化尺度大小进行特征值求和，加权值，加偏置，最后通过一个Sigmoid函数得到该层的输出，第二卷积采样层进行与第一卷积采样层相同的操作，区别在于两层所使用到的卷积核、池化尺度大小以及偏置不同，两次卷积采样层的输出是特征映射图，全链接层将第二卷积采样层的特征正向传播输出特征向量，同时也可以进行反向传播操作，在输出层中将输入的特征向量按输出标签的大小指定输出。5.根据权利要求1所述的全景图像配准效果检测方法，其特征在于，所述步骤202具体为：输入层：X＝{CG1，CL1，CG2，CL2，...，...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南,43