一种基于图像金字塔距离度量的近邻传播立体匹配方法组成比例

本发明专利技术公开了一种基于图像金字塔距离度量的近邻传播立体匹配方法，包括：对由左图I1和右图I2组成的立体图像对进行特征提取，利用距离度量的方式对左右图中特征进行配对，获取匹配点对；对左右图进行连续二倍下采样，直至尺寸为一个像素，获得一系列不同尺寸的左右图，以图像金字塔的形式表示不同尺寸的图片；对于左右原图中每个像素点，在每个尺寸的左右图中找到其对应的像素点；计算左右图原图中像素点的匹配正确性；根据获取的匹配点对，以匹配点对为传播起点，以比较匹配正确性的方式为传播条件，向相邻像素点传播匹配结果。本发明专利技术通过使用特征匹配寻找定位点建立的全局约束，大量减少计算成本，提高匹配速度，适合用于实时立体匹配。

A Nearest Neighbor Propagation Stereo Matching Method Based on Image Pyramid Distance Measurement

The invention discloses a near-neighbor propagation stereo matching method based on image pyramid distance measurement, which includes: extracting feature from stereo image pairs composed of left image I1 and right image I2, matching feature pairs between left and right images by distance measurement, obtaining matching point pairs; sampling left and right images continuously twice until the size is one pixel, and obtaining a series of different images. The left and right diagrams of size represent different sizes of images in the form of image pyramids; for each pixel in the left and right original diagrams, the corresponding pixels are found in the left and right diagrams of each size; the matching correctness of the pixels in the left and right original diagrams is calculated; according to the matching point pairs obtained, the matching point pairs are taken as the starting point of propagation, and the transmission condition is the way of comparative matching correctness. The matching results are propagated by adjacent pixels. By using feature matching to find the global constraints of locating points, the method greatly reduces the calculation cost and improves the matching speed, and is suitable for real-time stereo matching.

【技术实现步骤摘要】
一种基于图像金字塔距离度量的近邻传播立体匹配方法
本专利技术涉及计算机视觉和数字图象处理
，具体涉及一种基于图像金字塔距离度量的近邻传播立体匹配方法。
技术介绍
立体匹配作为三维重建、立体导航、非接触测距等技术的关键步骤通过匹配两幅或者多幅图像来获取深度信息，并且广泛应用于工业生产自动化、流水线控制、无人驾驶汽车、遥感图像分析等方面。但是立体匹配仍然有许多尚未解决的技术难题，因此该技术成为了近年来计算机视觉领域广泛关注的难点和热点。在立体匹配的计算过程中，通常能够通过特征提取获取图像的先验信息，并且希望通过这些先验信息去实现快速且准确的立体匹配结果，因此基于图像特征和近邻传播的立体匹配算法旨在维持立体匹配的精度的前提下，降低立体匹配结果的计算时间。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于图像金字塔距离度量的近邻传播立体匹配方法，快速且精确的实现立体图像对的稠密立体匹配，得到两张图像中大量且正确的匹配点对，从而能够用于建立三维模型。本专利技术的目的可以通过采取如下技术方案达到：一种基于图像金字塔距离度量的近邻传播立体匹配方法，该方法包括：特征提取步骤，立体图像对由左图I1和右图I2组成，对立体图像对进行特征提取，利用距离度量的方式对左图I1和右图I2中特征进行配对，获取匹配点对；特征匹配步骤，利用距离度量的匹配方法为左图I1对应特征集中的每一个特征在右图I2对应特征集中寻找匹配特征，获取特征对，设置距离匹配阈值选取有效匹配的特征对作为匹配点对，匹配点对存储的值为两张图片中距离最近的两个特征点分别在两张图片中的位置，用二维坐标表示，把通过筛选的匹配点对存储在集合S中，匹配点对中左图I1的特征存储在集合E1中，右图I2的特征存储在集合E2中；生成左右图金字塔步骤，对左图I1和右图I2进行连续二倍下采样，直至尺寸为一个像素，获得一系列不同尺寸的左右下采样图(此处左右下采样图即为进行连续二倍下采样后的左图I1和右图I2)，左右下采样图构成金字塔形式的立体图像对，记为和l表示下采样的层数，和表示原尺寸的左右图，和表示由和高斯下采样获得的左右图；以金字塔形式表示不同尺寸的图片，从下往上，越往上，层数越高，图片尺寸越小，下采样的次数越多。存储对应像素点步骤，对于左右原图中每个像素点，在每层图片中找到其对应的像素点，存储到对应的集合中；初始化步骤，设置左图I1存储矩阵，尺寸与立体图像对中左图I1大小相同，矩阵中每个位置最终用来存储左图I1相应位置上的像素点在右图I2中的匹配像素点坐标；对矩阵每个位置设置初值：左图I1中在该位置上的像素点如果属于E1，则在集合S中找到该像素点的匹配点对，把该位置的初值设置为找到的匹配点对中右图特征的坐标；否则该位置的初值设置为一个随机坐标值；传播步骤，根据获取的匹配点对，以匹配点对为传播起点，以比较匹配正确性的方式为传播条件，向相邻像素点传播匹配结果。进一步地，所述的传播步骤中，在计算左右原图中像素点的匹配正确性时，根据两个像素点的对应像素点集合，分别对两个集合中同一层的像素点，获取以它们为中心，尺寸由实验环境的计算能力决定的矩形区域，然后计算这两个矩形区域之间的距离，并根据计算出的不同层的区域距离进行加权和，以加权和的倒数衡量匹配正确性，倒数越大，匹配正确性越大。进一步地，所述的基于图像金字塔距离度量的近邻传播立体匹配方法中，使用的特征包括：SIFT特征，Harris角点特征等。进一步地，所述的存储对应像素点步骤，过程如下：记和l>0分别表示第l层左图I1和右图I2中坐标为(i,j)的像素点，根据下采样的特性，是由和四个像素点通过窗口函数获得，记为和四个点在第l层的对应像素点，对于左图I1原图中每个像素点每一层都会存在一个对应像素点，把像素点在每层的对应像素点存储在集合中。进一步地，所述的传播步骤中，根据初始化结果，对于左图原图中所有像素点在右图中都有一个初始匹配像素点这两个像素点从图像金字塔中都会有相应的集合和与其对应。在集合中，每一个像素点在集合中都会有一个像素点与其在同一层，记这两个集合中同一层的像素点的距离为则匹配正确性为进一步地，左右图中同一层的两个像素点的距离计算公式如下，其中式中表示以为中心的矩形区域与以为中心的矩形区域之间的距离，m1ij和m2ij分别表示在和中坐标为(i,j)的RGB像素点，其中w(m1ij,m2ij)表示m1ij和m2ij对于计算矩形区域P1和P2之间距离的加权系数，ρ(m1ij,m2ij)表示m1ij和m2ij之间距离，和表示在m1ij和m2ij的梯度。进一步地，所述的传播步骤中，以像素点为单位进行传播。进一步地，所述的传播步骤中，使用的传播方法中传播条件和传递的值具体如下：当图片中的一个像素点与其匹配点的匹配正确性小于左相邻点与左相邻点的匹配点之间的匹配正确性，则把左相邻点的匹配点的右相邻点作为改点的新匹配点，而舍弃该点的匹配结果。同样地，比较的是其它位置的相邻点时，当相邻点匹配结果的正确性大于该点匹配结果的正确性，则把相邻点的匹配点的相应位置上的像素点作为该点的新匹配点。进一步地，所述的传播步骤中，传播过程分为两个步骤，首先是从图像左上顶点开始进行传播，比较图像中每点和它左相邻点和上相邻点的匹配结果正确性，当满足传播条件时，更新当前点的匹配结果，并以扫描顺序依次对图像中的每个点进行相同的处理；然后从图像的右下顶点开始，比较图像中每点和它右相邻点及下相邻点的匹配正确性，当满足传播条件时，更新当前点的匹配结果，并以扫描顺序的相反的顺序一次对图像中的每个点进行相同的处理。进一步地，所述的传播步骤中，矩形区域的尺寸由实验环境计算能力决定，计算能力强，可以设置更大的尺寸进行计算。图像的大小和图像中纹理特征也是设置矩形区域的尺寸和形状的重要参考因素。在相同的实验环境中，对于同一对立体图像对的所有像素点，以它们为中心的矩形区域的大小固定。本专利技术相对于现有技术具有如下的优点及效果：1、本专利技术通过对匹配图像对进行特征匹配获取匹配点对作为传播方法的初始化起点，有效地减少了匹配结果的获取时间；2、本专利技术通过使用近邻传播方法，在提高传播有效性的同时，大幅度减少立体匹配的搜索范围，有效地减少计算成本，提高计算速度；3、本专利技术可以同时使用不同的特征和用于计算匹配的距离函数，减少图像本身的噪声和拍摄条件的影响，提高算法的鲁棒性和有效性。附图说明图1是本专利技术中公开的基于图像金字塔距离度量的近邻传播立体匹配方法的实施流程图；图2是本专利技术中公开的基于图像金字塔距离度量的近邻传播立体匹配方法的传播流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例如图1所示，本实施例公开了一种基于图像金字塔距离度量的近邻传播立体匹配方法，具体按照以下步骤进行：步骤S1、特征提取。立体图像对分为左图I1和右图I2。使用SIFT特征运算符对立体图像对进行特征提取，分别把左图I1和右图本文档来自技高网...

【技术保护点】
1.一种基于图像金字塔距离度量的近邻传播立体匹配方法，其特征在于，该方法包括：特征提取步骤，对立体图像对进行特征提取，其中，立体图像对由左图I1和右图I2组成，对立体图像对进行特征提取，分别把左图I1和右图I2获得的特征存储到相应的集合中；特征匹配步骤，利用距离度量的匹配方法为左图I1对应特征集中的每一个特征在右图I2对应特征集中寻找匹配特征，获取特征对，设置距离匹配阈值选取有效匹配的特征对作为匹配点对，匹配点对存储的值为两张图片中距离最近的两个特征点分别在两张图片中的位置，用二维坐标表示，把通过筛选的匹配点对存储在集合S中，匹配点对中左图I1的特征存储在集合E1中，右图I2的特征存储在集合E2中；生成左右图金字塔步骤，对左图I1和右图I2进行连续下采样，直至尺寸缩小为一个像素，获得一系列不同尺寸的左右下采样图，左右下采样图构成金字塔形式的立体图像对，记为

【技术特征摘要】
1.一种基于图像金字塔距离度量的近邻传播立体匹配方法，其特征在于，该方法包括：特征提取步骤，对立体图像对进行特征提取，其中，立体图像对由左图I1和右图I2组成，对立体图像对进行特征提取，分别把左图I1和右图I2获得的特征存储到相应的集合中；特征匹配步骤，利用距离度量的匹配方法为左图I1对应特征集中的每一个特征在右图I2对应特征集中寻找匹配特征，获取特征对，设置距离匹配阈值选取有效匹配的特征对作为匹配点对，匹配点对存储的值为两张图片中距离最近的两个特征点分别在两张图片中的位置，用二维坐标表示，把通过筛选的匹配点对存储在集合S中，匹配点对中左图I1的特征存储在集合E1中，右图I2的特征存储在集合E2中；生成左右图金字塔步骤，对左图I1和右图I2进行连续下采样，直至尺寸缩小为一个像素，获得一系列不同尺寸的左右下采样图，左右下采样图构成金字塔形式的立体图像对，记为和l表示下采样的层数，和表示原尺寸的左右图，和表示由和下采样获得的左右图；存储对应像素点步骤，对于左右原图中每个像素点，在每层图片中找到其对应的像素点，存储到对应的集合中；初始化步骤，设置左图I1存储矩阵，尺寸与立体图像对中左图I1大小相同，矩阵中每个位置最终用来存储左图I1相应位置上的像素点在右图I2中的匹配像素点坐标；对矩阵每个位置设置初值：左图I1中在该位置上的像素点如果属于E1，则在集合S中找到该像素点的匹配点对，把该位置的初值设置为找到的匹配点对中右图特征的坐标；否则该位置的初值设置为一个随机坐标值；传播步骤，根据获取的匹配点对，以匹配点对为传播起点，以比较匹配正确性的方式为传播条件，向相邻像素点传播匹配结果。2.根据权利要求1所述的一种基于图像金字塔距离度量的近邻传播立体匹配方法，其特征在于，所述的生成左右图金字塔步骤中，对左图I1和右图I2进行连续二倍下采样，采样方式采用高斯下采样。3.根据权利要求1所述的一种基于图像金字塔距离度量的近邻传播立体匹配方法，其特征在于，所述的特征提取步骤中对立体图像对进行特征提取，其中，所述的特征包括SIFT特征和Harris角点特征。4.根据权利要求1所述的一种基于图像金字塔距离度量的近邻传播立体匹配方法，其特征在于，所述的存储对应像素点步骤，过程如下：记和l>0分别表示第l层左图I1和右图I2中坐标为(i,j)的像素点，根据下采样的特性，是由和四个像素点通过窗口函数获得，记为和四个点在第l层的对应像素点，对于左图I1...

【专利技术属性】
技术研发人员：傅予力，周玉龙，陈维翔，赖凯敏，向友君，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44