一种基于卷积神经网络的图像融合效果评估方法技术

本发明专利技术公开了一种基于卷积神经网络的图像融合效果评估方法，属于图像拼接和图像质量评价技术领域，涉及计算机视觉领域，包括以下步骤：S1：生成训练数据集和测试数据集。S2：生成卷积神经网络模型。S3：基于训练的卷积神经网络测试测试数据集。本发明专利技术利用卷积神经网络，可以代替繁琐的，大量的人为统计评分，并且可以准确地判断图像拼接中融合效果的好坏，克服单因素评价指标所带来的局限性，有利于全自动自适应图像拼接系统的实现，具有非常重要的应用价值。

【技术实现步骤摘要】
一种基于卷积神经网络的图像融合效果评估方法
本专利技术属于图像拼接和图像质量评价
，涉及计算机视觉领域，尤其涉及一种基于卷积神经网络的图像融合效果评估方法。
技术介绍
随着电子信息产业的发展和技术进步，能够获取、记录视频信息的设备日益普及，但与人眼的视场范围相比，普通摄像机的视场要小得多，如何有效的利用计算机技术扩大摄像机拍摄图像和视频的视场范围，引起了研究者的广泛注意。图像拼接技术可以解决由于摄像机等成像仪器的视角和大小的限制，不能生成宽视场图片的问题，现有的图像拼接技术主要有两种方案：第一种方案是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后采用2D图像配准技术对校正后的图像元进行2D配准，最后对配准的两幅图像进行融合。第二种方案是把图像的径向畸变校正参数和图像元的位姿参数作为一体，整体用最优化技术进行参数估计，生成一个参数映射表，然后利用参数映射表将原始图片逐张映射到全景图像中，处理完所有的图像后，将两两相邻的处理之后的图像在重叠区域做一次融合过渡。从上述过程可以看出，图像拼接算法性能的好坏受图像配准和图像融合两大步骤的共同影响。针对拼接合成图像进行算法评价是不可或缺的，但对于图像拼接算法的定量评价分析，目前尚无统一的标准。已有的评价方法都是通过人眼观测拼接缝的方法来评估拼接质量的好坏，而人眼观测的方法误差较大，无法准确评估图像拼接算法的拼接质量。
技术实现思路
本专利技术为克服上述情况不足，旨在提供一种可以准确判断图像拼接中融合效果的方法。一种基于卷积神经网络的图像融合效果评估方法，包括以下步骤：S1：生成训练数据集和测试数据集；S2：生成卷积神经网络模型；S3：基于训练的卷积神经网络测试测试数据集；所述S1包括S101、S102、S103、S104；S101:获取拼接合成图像；S102：计算拼接合成图像的客观评价参数；选取了偏差指数作为客观评价参数；所述偏差指数计算公式如下：其中，D表示偏差指数，F(i，j)表示拼接合成图像中像素灰度值，A(i，j)表示拼接合成图像中像素灰度值与原始图像序列相对应像素灰度值，M，N分别表示拼接合成图像的宽度和高度；S103：生成训练数据集；根据S101步得到的拼接合成图像以及S102步设置的客观评价参数，计算卷积神经网络的训练数据集；对训练样本集中所有的拼接合成图像以及相对应的原始图像序列，使用图像配准技术，将拼接合成图像与原始图像序列进行配准，得到二者的重合区域，将重合区域按行均匀分割成M块，对每一块进行处理，依据上述两种评价参数的计算方法，对每个块计算它们的客观评价参数，作为卷积神经网络的训练数据集X＝{D1，SD1，D2，SD2，...，DM，SDM}；计算每一个块内的每个像素和每个拼接图像对应的原始图像的每个像素的差的平方值Avg；将0～Avg构成的闭区间均匀的分成五等分，按值的大小从小到大将区间依次标记为E1、E2、E3、E4、E5，如果某一块的像素差的平方值落在E1这个区间，表明该块的拼接效果好，如果某一块的像素差的平方值落在E5这个区间，则标定该块的拼接效果差；将所有训练样本集进行上述操作，获得与原始图像序列相对应的理想输出Y＝{y1，y2，...，yM}，其中，yi∈{E1，E2，E3，E4，E5}，并且{X，Y}一起构成了卷积神经网络的训练数据集合；S104：获取测试数据集；所述S2步骤包括S201、S202、S203；S201：构建卷积神经网络模型；S202：设置输入层与卷积采样层参数；S203：利用训练数据集训练卷积神经网络。进一步的，所述步骤S102中选取了标准差作为客观评价参数，标准差是由均值间接求得的，反映了图像灰度值I(i，j)相对于图像灰度均值的离散程度，即图像像素值的分布情况；拼接合成图像的标准差SD定义为：进一步的，所述步骤S2中采用非全连接的深层神经网络模型，且同一层中某些神经元之间的连接权重是共享的。进一步的，所述S201具体为：以步骤S1生成的训练数据集中的客观评价参数X为输入，构建一个卷积神经网络模型，该卷积神经网络采用5层的神经网络，分别是输入层，第一卷积采样层，第二卷积采样层，全链接层，输出层，其中，在第一卷积采样层首先将输入与该层设定的不同卷积核和可加偏置进行卷积，卷积后产生若干个特征，然后对特征按照设定的池化尺度大小进行特征值求和，加权值，加偏置，最后通过一个Sigmoid函数得到该层的输出，第二卷积采样层进行与第一卷积采样层相同的操作，区别在于两层所使用到的卷积核、池化尺度大小以及偏置不同，两次卷积采样层的输出是特征映射图，全链接层将第二卷积采样层的特征正向传播输出特征向量，同时也可以进行反向传播操作，在输出层中将输入的特征向量按输出标签的大小指定输出。进一步的，所述步骤202具体为：输入层：X＝{D1，SD1，D2，SD2，...，DM，SDM}是卷积神经网络的输入，为了将各项不同的评价参数综合起来，需要对各个评价指标进行归一化处理；卷积采样层：在一个卷积层l，输入层的输入或者是上一层的第i个特征被一个可学习的卷积核进行卷积，然后通过一个激活函数，就可以得到输出的第j个特征每一个输出可能是组合卷积多个输入的值，具体计算方法如下：其中，i，j分别表示上一层和当前层上特征映射编号，Mj表示选取的输入特征集合的一个子集，表示第l层的第j个特征与第l-1层的第i个特征之间相关的卷积核，表示第l层的第j个特征对应的附加的偏置，*表示卷积操作，激活函数f(.)采用sigmoid函数将输出压缩到[0,1]；卷积之后会紧跟着一个子采样，对于子采样来说，有N个输入特征，就有N个输出特征，只是每个输出特征在大小上变小了，计算公式如下：其中，down(.)表示一个下采样函数，优选Max-Pooling池化模式，池化核大小为2*2，步长为2。进一步的，所述步骤S203具体分为如下两个阶段：第一阶段：前向传播阶段对给定的训练数据集{X，Y}，将训练数据集中的X输入到卷积神经网络的输入层，经过逐层的变换，传送到输出层，计算出与X相对应的实际输出O；计算实际输出O与理想输出Y之间的误差，这里采用平方误差代价函数，第n个训练数据的误差表示为：其中，K表示输出数据的维数，表示第n个训练数据对应的理想输出数据的第k维，表示第n个训练数据对应的网络输出的第k个输出；第二阶段：后向传播阶段后向传播阶段是按照上述计算前向平方误差方法反向传播调整网络每一层的权重矩阵；反向传播回来的误差可以看做是每个神经元的偏置的灵敏度δ，卷积层逆向误差传播公式为：其中，o表示每个元素相乘，l表示层数，m，n分别表示上一层和当前层上特征的映射编号，表示第l层上的第n个神经节点的灵敏度，表示下采样层的权值，为可训练的常数，up()表示上采样操作，’表示转置，和表示第l层第n个特征对应的权值和偏置，表示第l-1层的第n个特征；池化层的逆向误差传播公式计算如下：其中，M表示输入特征的集合，表示l+1层的第n个特征与第l层的第m个特征之间相关的卷积核，表示第l+1层的第n个神经节点的灵敏度，表示第l层的第m个神经节点的灵敏度；最后，对每个神经元运用δ规则进行权值更新；即对一个给定的神经元，得本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的图像融合效果评估方法，其特征在于，包括以下步骤：S1：生成训练数据集和测试数据集；S2：生成卷积神经网络模型；S3：基于训练的卷积神经网络测试测试数据集；所述S1包括S101、S102、S103、S104；S101:获取拼接合成图像；S102：计算拼接合成图像的客观评价参数；选取了偏差指数作为客观评价参数；所述偏差指数计算公式如下：

【技术特征摘要】
1.一种基于卷积神经网络的图像融合效果评估方法，其特征在于，包括以下步骤：S1：生成训练数据集和测试数据集；S2：生成卷积神经网络模型；S3：基于训练的卷积神经网络测试测试数据集；所述S1包括S101、S102、S103、S104；S101:获取拼接合成图像；S102：计算拼接合成图像的客观评价参数；选取了偏差指数作为客观评价参数；所述偏差指数计算公式如下：其中，D表示偏差指数，F(i，j)表示拼接合成图像中像素灰度值，A(i，j)表示拼接合成图像中像素灰度值与原始图像序列相对应像素灰度值，M，N分别表示拼接合成图像的宽度和高度；S103：生成训练数据集；根据S101步得到的拼接合成图像以及S102步设置的客观评价参数，计算卷积神经网络的训练数据集；对训练样本集中所有的拼接合成图像以及相对应的原始图像序列，使用图像配准技术，将拼接合成图像与原始图像序列进行配准，得到二者的重合区域，将重合区域按行均匀分割成M块，对每一块进行处理，依据上述两种评价参数的计算方法，对每个块计算它们的客观评价参数，作为卷积神经网络的训练数据集X＝{D1，SD1，D2，SD2，...，DM，SDM}；计算每一个块内的每个像素和每个拼接图像对应的原始图像的每个像素的差的平方值Avg；将0～Avg构成的闭区间均匀的分成五等分，按值的大小从小到大将区间依次标记为E1、E2、E3、E4、E5，如果某一块的像素差的平方值落在E1这个区间，表明该块的拼接效果好，如果某一块的像素差的平方值落在E5这个区间，则标定该块的拼接效果差；将所有训练样本集进行上述操作，获得与原始图像序列相对应的理想输出Y＝{y1，y2，...，yM}，其中，yi∈{E1，E2，E3，E4，E5}，并且{X，Y}一起构成了卷积神经网络的训练数据集合；S104：获取测试数据集；所述S2步骤包括S201、S202、S203；S201：构建卷积神经网络模型；S202：设置输入层与卷积采样层参数；S203：利用训练数据集训练卷积神经网络。2.根据权利要求1所述的基于卷积神经网络的图像融合效果评估方法，其特征在于，所述步骤S102中选取了标准差作为客观评价参数，标准差是由均值间接求得的，反映了图像灰度值I(i，j)相对于图像灰度均值的离散程度，即图像像素值的分布情况；拼接合成图像的标准差SD定义为：3.根据权利要求1所述的基于卷积神经网络的图像融合效果评估方法，其特征在于，所述步骤S2中采用非全连接的深层神经网络模型，且同一层中某些神经元之间的连接权重是共享的。4.根据权利要求1所述的基于卷积神经网络的图像融合效果评估方法，其特征在于，所述S201具体为：以步骤S1生成的训练数据集中的客观评价参数X为输入，构建一个卷积神经网络模型，该卷积神经网络采用5层的神经网络，分别是输入层，第一卷积采样层，第二卷积采样层，全链接层，输出层，其中，在第一卷积采样层首先将输入与该层设定的不同卷积核和可加偏置进行卷积，卷积后产生若干个特征，然后对特征按照设定的池化尺度大小进行特征值求和，加权值，加偏置，最后通过一个Sigmoid函数得到该层的输出，第二卷积采样层进行与第一卷积采样层相同的操作，区别在于两层所使用到的卷积核、池化尺度大小以及偏置不同，两次卷积采样层的输出是特征映射图，全链接层将第二卷积采样层的特征正向传播输出特征向量，同时也可以进行反向传播操作，在输出层中将输入的特征向量按输出标签的大小指定输出。5.根据权利要求1所述的基于卷积神经网络的图像融合效果评估方法，其特征在于，所述步骤202具体为：输入层：X＝{D1，SD1，D2，SD2，...，DM，...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南,43