一种基于直线段的异源图像匹配方法组成比例

本发明专利技术涉及图像处理技术领域，提供了一种基于直线段的异源图像匹配方法，对参考图像和感知图像中的线特征分别进行提取，作为异源图像匹配的基元；分别构建线段端点与端点以及端点与线段之间的邻域关系，并将具有邻域关系的端点和线段连接起来，得到稳定性更好的直线段，构造出准确表示场景结构的线段集；在参考图像线段集和感知图像线段集之间构造线段对，计算可能的变换参数；选取使感知图像与参考图像具有最高相似性的变换参数，实现所述感知图像和所述参考图像的匹配。本发明专利技术可有效避免从航空图像中提取道路直线时产生的双边现象，极大降低了参与匹配的线段数量，且能够用尽量少的线段表示场景的几何结构；实现简单、计算速度快、可定量分析。

A new image matching method based on line segment

The present invention relates to the field of image processing, and provides a method of image matching based on the line segment. It extracts the line features in the reference image and the perceived image as the base element of the heterogeneous image matching, and constructs the neighborhood relation between the end points and endpoints and the end points and the line segments respectively. The endpoint and line segment of the domain relationship are connected to get a better line segment, construct a line set that accurately represents the scene structure, construct a line segment between the reference image line set and the perceptual image line set, and calculate the possible transformation parameters, and select the transformation parameter that has the highest similarity between the perceptual image and the reference image. The matching between the perceptual image and the reference image is realized. The invention can effectively avoid the bilateral phenomenon of extracting road lines from the aerial images, greatly reduce the number of line segments involved in matching, and can use as few line segments as possible to express the geometric structure of the scene; it is simple, fast and quantitative analysis.

【技术实现步骤摘要】
一种基于直线段的异源图像匹配方法
本专利技术涉及图像处理
，特别涉及一种基于直线段的异源图像匹配方法。
技术介绍
景象匹配技术在无人机自主导航领域具有重要应用。为实现无人机的全天候自主导航，一种可行的技术是利用红外相机或SAR雷达对地面成像，然后将拍摄的实时图与预先制备好的卫片基准图进行匹配，从而获得无人机的位置和朝向信息。由于拍摄时间、角度以及成像传感器的差异，实时图与基准图上的同名点在灰度值上不具有简单一致的函数关系，因此面向同源图像的匹配方法一般不适用于异源图像。当前典型的异源图像匹配方法主要分为两大类：一种是基于区域的匹配方法，主要利用互相关、互信息以及图像矩等技术；另一种是基于特征的匹配方法，主要利用点特征和线特征进行图像匹配。基于区域的异源图像匹配方法在医学图像处理领域应用较多，具有匹配精度高的优点，但是时间效率低，且往往只能估计平移参数，而不能估计旋转参数。景物的线特征在不同传感器上的成像往往比较稳定，在人工建筑比较密集的区域，景物的线特征数量丰富、分布广泛，非常适合作为匹配基元参与异源图像匹配。
技术实现思路
本专利技术的目的就是克服现有技术的不足，提供一种基于直线段的异源图像匹配方法，主要解决无人机视觉导航领域红外图像和可见光图像等异源图像之间的实时匹配问题；主要包括以下三个方面：(1)从图像中提取直线段的后处理；(2)两个线段集之间匹配关系的估计；(3)两个线段集之间相似性的度量。本专利技术在现有的线段提取技术基础上，首先通过分别构建线段端点与端点以及端点与线段之间的邻域关系，并利用最优化方法将具有邻域关系的端点和线段连接起来，从而得到稳定性更好的直线段；然后构造候选的线段对去计算可能的变换参数；最后选取使实时图经过变换后与基准图具有最高相似性的变换参数作为最终的变换参数，从而实现实时图与基准图的匹配。本专利技术所提方法可以获取实时图相对于参考图的欧氏变换参数，具有实时性好、鲁棒性高的优点，应用前景良好。本专利技术的具体技术方案为：一种基于直线段的异源图像匹配方法，参考图像和感知图像之间仅存在欧氏变换，即所述参考图像和所述感知图像之间仅存在旋转和平移关系，该方法对所述参考图像和所述感知图像中的线特征进行提取，所提取的直线段作为异源图像匹配的基元；通过分别构建线段端点与端点以及端点与线段之间的邻域关系，并利用优化方法将具有邻域关系的端点和线段连接起来，从而得到稳定性更好的直线段，构造出能够准确表示场景结构的线段集；在参考图像线段集和感知图像线段集之间构造线段对，计算可能的变换参数；选取使所述感知图像与所述参考图像具有最高相似性的变换参数作为最终的变换参数，实现所述感知图像和所述参考图像的匹配。进一步的，所述感知图像为实时图，利用红外相机或SAR雷达对地面拍摄成像；所述参考图像为卫星照片。进一步的，具体包括如下步骤：步骤一、线段优化：通过为线段的端点设置邻域，构造出“点-点”和“点-线”匹配关系，并利用LM算法对匹配关系进行优化，将断裂的线段连接起来，并将彼此靠近的双边线段合并成一条线段，最终构造出能够准确表示场景结构的线段集；步骤二、线段匹配：分别从感知图像线段集和参考图像线段集中各取出一条线段构成线段对，基于该线段对构造4种几何配置，每一种所述几何配置对应一组变换参数；依此求出所有的变换参数；步骤三、线段集相似性度量：利用相似性度量算法计算变换参数的相似性度量值，选择具有最大相似性度量值的变换参数作为图像匹配算法的变换参数。进一步的，步骤一中，线段优化具体包括：步骤1.1、构造“点-点”匹配关系：如果线段li的端点p与线段lj的端点q满足dist(p,q)<t1，则构造点-点目标函数：f1＝dist(p,q)2(1)；步骤1.2、构造“点-线”匹配关系：如果线段li的端点p与线段lj满足abs(dist(p,lj))<t2，则构造点-线目标函数：f2＝dist(p,lj)2(2)；假设v0和v1分别为lj的两个端点，[abc]为lj的直线方程参数，dist(p,lj)可写成:其中参数a,b与v0和v1的关系为：c的计算公式为：c＝-[ab]v0(5)步骤1.3、构造目标端点集：“点-点”匹配关系涉及到的两个端点(p,q)以及“点-线”匹配关系涉及到的三个端点(p,v0,v1)由于在优化过程中其位置都会出现微小变化，因此将它们定义为目标端点；为每个目标端点构造目标函数：f3＝dist(p,p′)2(6)其中p表示目标端点，p′表示p的初始位置；步骤1.4、LM优化：假设有N1个“点-点”匹配关系，N2个“点-线”匹配关系，N3个目标端点，需要优化的全局目标函数为：其中λi(i＝1,2,3)表示三种目标函数的权值；优化的目标是通过微调端点的位置实现端点与端点以及端点与线段的合并，需要优化的变量为目标端点的x,y坐标，因此构造雅克比矩阵如下：其中P表示目标端点序列的x,y坐标构成的行向量；通过多次LM迭代进行优化；步骤1.5、线段集精化：经过LM优化后，具有邻域关系的“点-点”以及“点-线”均被捏合在一起，被优化之后的几条近邻线段从外观上看几乎是一条线段，需要将这些线段执行合并操作，即线段集精化；本申请采用图论中图的思想，将线段看做图的顶点，如果两条线段满足合并规则，那么它们对应的图中两个顶点之间便生成一条连通的边。基于图提取连通的顶点集，从而得到可以被合并的线段簇，利用最小二乘算法生成新的线段去取代原来的线段簇。进一步的，步骤1.4中，LM优化的迭代次数设置为15，λi(i＝1,2,3)的值分别设置为1000、1000和0.001。进一步的，步骤1.5中，所述线段合并规则，具体为：对线段li和lj，如果它们可以被合并，需同时满足以下三个条件：(1)夹角小于5°；(2)线段包围盒相交；(3)li两个端点到lj支撑直线的最小距离不超过3个像素。进一步的，步骤二中，所述线段匹配，具体为：设表示参考图像中的线段集，表示感知图像中的线段集；在线段匹配阶段，通过从P和Q中分别选取一条线段组成假设匹配的线段对，而每个线段对都会生成四种几何配置，从而对应四组变换参数；所有的MN组假设匹配的线段对可以生成4MN组变换参数，选取相似性度量最好的变换参数作为最终的变换参数；所述变换参数的计算方法具体为：令为的端点，为的端点，几何配置为:(1)与对应；(2)与对应；该几何配置导致的变换效果是：将平移到使得与重合，再将绕着顺时针旋转θ变换到位置处；具体步骤如下：步骤2.1、利用式(9)计算平移向量t，利用式(10)和(11)将移动到处；步骤2.2、计算与的夹角θ，如果和为顺时针排列，则利用式(12)计算旋转矩阵R；否则利用式(13)计算旋转矩阵R，其中R的计算假设x轴水平向右，y轴竖直向下；步骤2.3、利用式(14)计算变换矩阵T，其中I为2阶单位矩阵：进一步的，步骤三中，所述线段集相似性度量，具体为：计算经过变换参数T变换的感知图像线段集QT与参考图像线段集P的相似程度，首先计算QT中每条线段到P的距离，然后将这些距离累加起来作为QT相对于P的距离同理计算P相对于QT的距离从而得到两个线段集在变换T下的相似性度量值:进一步的，某一线段l到线段集S的距离计算方法具体为：步骤3.1、遍历S本文档来自技高网...

【技术保护点】
1.一种基于直线段的异源图像匹配方法，参考图像和感知图像之间仅存在欧氏变换，即所述参考图像和所述感知图像之间仅存在旋转和平移关系，其特征在于，该方法对所述参考图像和所述感知图像中的线特征进行提取，所提取的直线段作为异源图像匹配的基元；通过分别构建线段端点与端点以及端点与线段之间的邻域关系，并利用优化方法将具有邻域关系的端点和线段连接起来，从而得到稳定性更好的直线段，构造出能够准确表示场景结构的线段集；在参考图像线段集和感知图像线段集之间构造线段对，计算可能的变换参数；选取使所述感知图像与所述参考图像具有最高相似性的变换参数作为最终的变换参数，实现所述感知图像和所述参考图像的匹配。

【技术特征摘要】
1.一种基于直线段的异源图像匹配方法，参考图像和感知图像之间仅存在欧氏变换，即所述参考图像和所述感知图像之间仅存在旋转和平移关系，其特征在于，该方法对所述参考图像和所述感知图像中的线特征进行提取，所提取的直线段作为异源图像匹配的基元；通过分别构建线段端点与端点以及端点与线段之间的邻域关系，并利用优化方法将具有邻域关系的端点和线段连接起来，从而得到稳定性更好的直线段，构造出能够准确表示场景结构的线段集；在参考图像线段集和感知图像线段集之间构造线段对，计算可能的变换参数；选取使所述感知图像与所述参考图像具有最高相似性的变换参数作为最终的变换参数，实现所述感知图像和所述参考图像的匹配。2.如权利要求1所述的基于直线段的异源图像匹配方法，其特征在于，所述感知图像为实时图，利用红外相机或SAR雷达对地面拍摄成像；所述参考图像为卫星照片。3.如权利要求1所述的基于直线段的异源图像匹配方法，其特征在于，具体包括如下步骤：步骤一、线段优化：通过为线段的端点设置邻域，构造出“点-点”和“点-线”匹配关系，并利用LM算法对匹配关系进行优化，将断裂的线段连接起来，并将彼此靠近的双边线段合并成一条线段，最终构造出能够准确表示场景结构的线段集；步骤二、线段匹配：分别从感知图像线段集和参考图像线段集中各取出一条线段构成线段对，基于该线段对构造4种几何配置，每一种所述几何配置对应一组变换参数；依此求出所有的变换参数；步骤三、线段集相似性度量：利用相似性度量算法计算变换参数的相似性度量值，选择具有最大相似性度量值的变换参数作为图像匹配算法的变换参数。4.如权利要求3所述的基于直线段的异源图像匹配方法，其特征在于，步骤一中，线段优化具体包括：步骤1.1、构造“点-点”匹配关系：如果线段li的端点p与线段lj的端点q满足dist(p,q)<t1，t1＝10像素单位，则构造点-点目标函数：f1＝dist(p,q)2(1)；步骤1.2、构造“点-线”匹配关系：如果线段li的端点p与线段lj满足abs(dist(p,lj))<t2，t2＝10像素单位，则构造点-线目标函数：f2＝dist(p,lj)2(2)；假设v0和v1分别为lj的两个端点，[abc]为lj的直线方程参数，dist(p,lj)可写成:其中参数a,b与v0和v1的关系为：c的计算公式为：c＝-[ab]v0(5)步骤1.3、构造目标端点集：“点-点”匹配关系涉及到的两个端点(p,q)以及“点-线”匹配关系涉及到的三个端点(p,v0,v1)由于在优化过程中其位置都会出现微小变化，因此将它们定义为目标端点；为每个目标端点构造目标函数：f3＝dist(p,p′)2(6)其中p为目标端点，p′表示p的初始位置；步骤1.4、LM优化：假设有N1个“点-点”匹配关系，N2个“点-线”匹配关系，N3个目标端点，需要优化的全局目标函数为：其中λi(i＝1,2,3)表示三种目标函数的权值；优化的目标是通过微调端点的位置实现端点与端点以及端点与线段的合并，需要优化的变量为目标端点的x,y坐标，因此构造雅克比矩阵如下：其中P表示目标端点序列的x,y坐标构成的行向量；通过多次LM迭代进行优化；步骤1.5、线段集精化：经过LM优化后，具有邻域关系的“点-点”以及“点-线”均被捏合在一起，被优化之后的几条近邻线段从外观上看几乎是一条线段，为准确表达场景的几何结构需要将这些线段执行合并操作，即线段集精化；将线段看做图结构的顶点，如果两条线段满足线段合并规则，那么它们对应的图中两个顶点之间便生成一条连通的边；接下来在图结构中提取连通的顶点集，从而得到图像中可以被合并的线...

【专利技术属性】
技术研发人员：冷晓旭，孙浩惠，吴国强，高伟，张秀红，
申请(专利权)人：中国航天电子技术研究院，
类型：发明
国别省市：北京,11