基于旋转不变LBP-SURF特征相似度的图像拼接评价方法技术

本发明专利技术公开了，基于旋转不变LBP‑SURF特征相似度的图像拼接评价方法，针对图像拼接产生的图像特征点丢失等现象，提出一种新的图像拼接评价方法，先使用SURF算法提取出粗匹配特征点，之后将旋转不变LBP特征与SURF特征进行融合以提升特征点的匹配精度，再使用双向匹配与Ransac算法去除误匹配，之后利用获得的匹配点对拼接图像进行评价。

Image mosaic evaluation method based on rotation invariant lbp-surf feature similarity

The invention discloses an image stitching evaluation method based on the similarity of rotation invariant LBP \u2011 surf features. Aiming at the phenomenon of loss of image feature points caused by image stitching, a new image stitching evaluation method is proposed. First, rough matching feature points are extracted by surf algorithm, then the rotation invariant LBP features and surf features are fused to improve the matching accuracy of feature points, and then the method is used The two-way matching and RANSAC algorithm remove the mismatches, and then use the matching points to evaluate the mosaic image.

【技术实现步骤摘要】
基于旋转不变LBP-SURF特征相似度的图像拼接评价方法
本专利技术属于图像处理
，具体涉及一种基于旋转不变LBP-SURF特征相似度的图像拼接评价方法。
技术介绍
随着科学技术的进步与社会生产力的发展，摄像头成为人们获取外界信息的重要的手段，特别是智能汽车等依赖摄像头的行业近年来发展迅猛，摄像头的需求量逐年提高。为了能够从摄像头获取到更多的外部信息，除了提高摄像头的清晰度之外，还可以增加摄像头的广度。常用的增加摄像头广度的方法有采用广角摄像头、使用图像拼接技术。第一种方法的虽然能够达到较好的视觉效果但是其成本较高、焦距较短、范围有限。第二种方法使用图像处理技术将多幅图像进行拼接，此种方法具有成本较低、视角范围广等优点得到了广泛的研究与应用。然而图像拼接会产生亮度突变、重影、结构变化等问题，所以需要方法对图像拼接质量进行评价。
技术实现思路
本专利技术的目的在于提供一种基于旋转不变LBP-SURF特征相似度的图像拼接评价方法，以实现对拼接图像的拼接质量进行评价。本专利技术采用提取图像的SURF特征，将旋转不变LBP特征与SURF特征融合，使用Ransac算法去除误匹配，之后通过比较拼接前后匹配特征点的数量与拼接前图像之间匹配特征点的数量来达到图像拼接的评价。为达到上述目的，本专利技术采用如下技术方案：基于旋转不变LBP-SURF特征相似度的图像拼接评价方法，包括以下步骤：步骤1：读入拼接前的两幅图像与拼接后的图像，分别记为矩阵I1、I2和I3；步骤2：根据步骤1获取的矩阵I1、I2和I3分别构建尺度空间；步骤3：使用构建Hessian矩阵的方法对步骤2构建的尺度空间进行处理；步骤4：利用步骤3获取的处理后的尺度空间进行特征点定位；步骤5：对步骤4定位的特征点进行主方向分配；步骤6：沿着步骤5确立的特征点主方向生成特征点描述子；步骤7：利用旋转不变LBP算法对步骤1获取的矩阵I1、I2和I3提取旋转不变LBP特征，并将其合并到步骤6的特征点描述子，得到合并后的特征点描述子；步骤8：利用步骤7得到的合并后的特征点描述子进行双向匹配得到粗匹配的特征点，即匹配点对；步骤9：随机从步骤8中确立的匹配点对中随机抽出至少四对样本数据，且抽取的样本之间不共线，计算出变换矩阵H；步骤10：利用步骤9获得的变换矩阵H将一幅图像中的匹配点投影到另一幅图像中，计算匹配点之间的欧氏距离，若欧氏距离小于距离阈值则将匹配点加入内点集，否则该匹配点不加入内点集；计算完所有匹配点对之间的欧式距离后，比较此次投影计算得到的内点数量与上一次计算的内点数量，若大于则将此次得到的内点集保存，删除之前计算得到的内点集，小于等于时本次得到的内点集不保存；重复步骤9、步骤10达到设定次数；步骤11：利用步骤10获得的内点集即最终匹配点对图像拼接质量进行评价。进一步地，步骤2中构建的尺度空间由若干组图像构成，每一组中包含若干层，不同组间图像的尺寸一致，但不同组间使用的盒式滤波器的模板尺寸逐渐增大，模板的尺寸计算公式如下：FilterSize＝3×(2octave×interval+1)其中，FilterSize为滤波器的模板尺寸，octave为组数，interval为层数；同一组间不同层间使用相同模板尺寸的滤波器，但是滤波器的模糊系数逐渐增大，其计算公式如下：σ＝(2octave+1(interval+1)+1)/3其中σ为滤波器的模糊系数。进一步地，步骤3对步骤2中每一组的每一层图像使用Hession矩阵进行处理，通过特定核间的卷积计算二阶偏导数，进而计算出Hessian矩阵的三个矩阵元素Lxx,Lxy,Lyy，从而计算出Hessian矩阵，其公式为：其中，σ是标准差，Lxx为x方向的二阶偏导，Lxy为先对x方向求二阶偏导，再对y方向求二阶偏导，Lyy为对y方向求二阶偏导；由于使用的是盒式滤波器，所以Lxx简化为Dxx、Lxy简化为Dxy、Lyy简化为Dyy，每一个像素点得出Hession矩阵，将Hession矩阵的行列式的值作为该点在经过Hession矩阵处理后的值，其公式如下：det(Hession)＝Dxx*Dyy-(0.9*Dxy)2其中，det(Hession)为Hession矩阵行列式的值，Dxx、Dxy、Dyy分别为Dxx、Dxy、Dyy经盒式滤波器简化而来。进一步地，步骤4中特征点定位具体为：在经过步骤3处理后的每一组图像中选取相邻的三层矩阵，对于中间层的每一个值都作为待比较的点，在空间中选取该点周围的26个点进行比较大小，若该点大于其他26个点，则该点为初步特征点，否则跳过该点，同时设置阈值a，若初步特征点的值小于阈值a的值，则将该点剔除，否则将该点保留，筛选出最终的稳定的特征点。进一步地，步骤5具体为：对以特征点为中心的6倍特征尺度为半径的圆形区域内的Harr小波响应做统计运算，在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直Harr小波特征总和，然后扇形以相同间隔进行旋转并再次统计该区域内Harr小波特征值，最后将Harr小波特征值最大的扇形的方向作为该特征点的主方向。进一步地，步骤6中生成特征点描述子具体为：在特征点周围取一个4×4的矩形区域块，且所取的矩形区域块方向沿着特征点的主方向，每个矩形区域块包含16个小矩形区域块，针对每个小矩形区域块统计25个像素的水平方向和垂直方向的Harr小波特征，所述水平和垂直方向均是相对主方向而言，所述Harr小波特征为水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和4个方向。进一步地，步骤7具体为：统计以图像中每个点为中心的圆形邻域内LBP特征点的分布情况，不断旋转该圆形邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的旋转不变LBP值，之后将获取到的旋转不变LBP值合并到步骤6得到的特征描述子中。进一步地，步骤8通过双向匹配实现特征点的匹配，其中，双向匹配即先利用两点之间的欧氏距离求出某个点的匹配点，再将求得的匹配点作为基准点求其匹配点，若第二次求得的匹配点与第一次求得的匹配点相同，则认为是匹配点对，若不同，则认为不是匹配点对。进一步地，步骤9从步骤8中确立的匹配点对中随机获取四对样本数据，即四对匹配点且满足四对匹配点不共面，根据四对匹配点计算出变换矩阵H，即根据四对匹配点建立两幅图像的仿射关系，表示仿射关系的矩阵即为变换矩阵H。进一步地，步骤11具体为：通过步骤10获得拼接前两幅图像之间、第一幅待拼接图像与拼接完成图像之间、第二幅待拼接图像与拼接完成图像之间的内点集数量即最终匹配点的数量，分别记为a、b、c，计算评价值的公式为：S的值越高，则代表拼接图像与原图像的旋转不变LBP-SURF特征相似度越高，拼接效果越好。与现有技术相比，本专利技术具有以下有益的技术效果：本专利技术提出的基于旋转不变LBP-本文档来自技高网...

【技术保护点】
1.基于旋转不变LBP-SURF特征相似度的图像拼接评价方法，其特征在于，包括以下步骤：/n步骤1：读入拼接前的两幅图像与拼接后的图像，分别记为矩阵I

【技术特征摘要】
1.基于旋转不变LBP-SURF特征相似度的图像拼接评价方法，其特征在于，包括以下步骤：
步骤1：读入拼接前的两幅图像与拼接后的图像，分别记为矩阵I1、I2和I3；
步骤2：根据步骤1获取的矩阵I1、I2和I3分别构建尺度空间；
步骤3：使用构建Hessian矩阵的方法对步骤2构建的尺度空间进行处理；
步骤4：利用步骤3获取的处理后的尺度空间进行特征点定位；
步骤5：对步骤4定位的特征点进行主方向分配；
步骤6：沿着步骤5确立的特征点主方向生成特征点描述子；
步骤7：利用旋转不变LBP算法对步骤1获取的矩阵I1、I2和I3提取旋转不变LBP特征，并将其合并到步骤6的特征点描述子，得到合并后的特征点描述子；
步骤8：利用步骤7得到的合并后的特征点描述子进行双向匹配得到粗匹配的特征点，即匹配点对；
步骤9：随机从步骤8中确立的匹配点对中随机抽出至少四对样本数据，且抽取的样本之间不共线，计算出变换矩阵H；
步骤10：利用步骤9获得的变换矩阵H将一幅图像中的匹配点投影到另一幅图像中，计算匹配点之间的欧氏距离，若欧氏距离小于距离阈值则将匹配点加入内点集，否则该匹配点不加入内点集；计算完所有匹配点对之间的欧式距离后，比较此次投影计算得到的内点数量与上一次计算的内点数量，若大于则将此次得到的内点集保存，删除之前计算得到的内点集，小于等于时本次得到的内点集不保存；重复步骤9、步骤10达到设定次数；
步骤11：利用步骤10获得的内点集即最终匹配点对图像拼接质量进行评价。


2.根据权利要求1所述的基于旋转不变LBP-SURF特征相似度的图像拼接评价方法，其特征在于，步骤2中构建的尺度空间由若干组图像构成，每一组中包含若干层，不同组间图像的尺寸一致，但不同组间使用的盒式滤波器的模板尺寸逐渐增大，模板的尺寸计算公式如下：
FilterSize＝3×(2octave×interval+1)
其中，FilterSize为滤波器的模板尺寸，octave为组数，interval为层数；
同一组间不同层间使用相同模板尺寸的滤波器，但是滤波器的模糊系数逐渐增大，其计算公式如下：
σ＝(2octave+1(interval+1)+1)/3
其中σ为滤波器的模糊系数。


3.根据权利要求2所述的基于旋转不变LBP-SURF特征相似度的图像拼接评价方法，其特征在于，步骤3对步骤2中每一组的每一层图像使用Hession矩阵进行处理，通过特定核间的卷积计算二阶偏导数，进而计算出Hessian矩阵的三个矩阵元素Lxx,Lxy,Lyy，从而计算出Hessian矩阵，其公式为：



其中，σ是标准差，Lxx为x方向的二阶偏导，Lxy为先对x方向求二阶偏导，再对y方向求二阶偏导，Lyy为对y方向求二阶偏导；
由于使用的是盒式滤波器，所以Lxx简化为Dxx、Lxy简化为Dxy、Lyy简化为Dyy，每一个像素点得出Hession矩阵，将Hession矩阵的行列式的值作为该点在经过Hession矩阵处理后的值，其公式如下：
det(Hession)＝Dxx*Dyy-(0.9*Dxy)2
其中，det(Hession)为Hession矩阵行列式的值，Dxx、Dxy...

【专利技术属性】
技术研发人员：黄鹤，平振东，郭璐，茹锋，王会峰，许哲，黄莺，汪贵平，惠晓滨，李战一，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西;61