一种基于双目视觉的立体匹配方法组成比例

本发明专利技术涉及图像处理领域，设计了一种基于双目视觉的立体匹配方法。为了得到鲁棒性强、精度高的立体匹配算法，本发明专利技术包括以下步骤：(1)在左图像取3×3像素大小的窗口，同时取与左图像像素点对应的右图像窗口，剔除邻域窗口内的最值，计算邻域窗口的平均值并设定阈值，确定窗口参考灰度值；(2)根据参考灰度值，生成左右图像窗口的比特串，计算匹配代价，在同一像素行移动右图像窗口，每移动一个像素，重复匹配代价计算步骤，最小匹配代价对应的右图像窗口中心像素点即为匹配点；(3)左图像窗口遍历左图像所有像素点，找到每个像素点的匹配点，生成视差图。本发明专利技术提高了立体匹配算法的鲁棒性，减少了不连续区域和噪声干扰时的误匹配率。

【技术实现步骤摘要】
一种基于双目视觉的立体匹配方法
本专利技术涉及图像处理领域，尤其涉及基于双目视觉的立体匹配方法。
技术介绍
近年来，双目视觉技术被广泛应用于移动终端、虚拟现实、机器人导航等领域。双目视觉系统根据双目摄像机对同一场景不同位置拍摄的两幅图像，采用几何方法获取深度信息。立体匹配技术是双目视觉技术中的重点和难点之一，大多数立体匹配算法都是基于相似性、唯一性、连续性和有序性约束。在众多匹配算法中，局部立体匹配算法如差平方和算法(SSD)和绝对差分之和算法(SAD)虽然计算简单，但对噪声和光照变化特别敏感，不能处理无纹理图像；归一化互相关算法(NCC)采用归一化相关度量公式来计算匹配代价，降低了噪声的影响，但该算法计算量大；而Census算法虽然提高了对噪声和光照变化的鲁棒性，但它依赖于中心像素的灰度值，没有充分考虑相邻像素的连续性信息，在图像中的重复或相似的局部结构会产生错误匹配。因此，本专利技术提出了一种基于双目视觉的立体匹配方法，提高了立体匹配算法的鲁棒性和准确性。
技术实现思路
本专利技术旨在提出一种基于双目视觉的立体匹配方法，提高了Census算法在边缘区域和噪声干扰下的表现，增加了匹配算法的精度和抗干扰能力。为此，本专利技术采取的技术方案是，基于双目视觉的立体匹配方法，对于双目摄像机拍摄的左图像和右图像，以左图像的左上角像素点为中心像素点，取3×3像素大小的窗口，计算左图像窗口的比特串，同时，以右图像的左上角像素点为中心像素点，取3×3像素大小的窗口，计算右图像窗口的比特串，并将左图像窗口的比特串和右图像窗口的比特串进行异或运算，计算的结果为中心像素点的匹配代价；之后再将右图像的3×3像素大小的窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，求一次匹配代价，选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点；按照上述方法，从左至右，从上至下遍历左图像的每个像素点，可以找到左图像每个像素点在右图像中对应的匹配点，最终完成双目视觉的左右图像立体匹配。本专利技术的具体步骤如下：一种基于双目视觉的立体匹配方法，该方法包括如下步骤：(1)对于双目摄像机拍摄的左图像和右图像，分别选择左图像窗口和右图像窗口，并按照空间分布排列邻域窗口内的所有像素点；(2)根据左图像邻域窗口内像素点灰度值，将(1)中顺序排列的邻域窗口像素点从小到大排列；(3)移除(2)中灰度值最大和最小的像素点；(4)计算(3)中剩余像素点灰度值的平均值；(5)设定一个阈值，计算(4)中的平均值和邻域窗口中心像素点灰度值的差值绝对值，确定窗口的最终参考灰度值；(6)计算邻域窗口内每个像素点对应的比特值；(7)以邻域窗口的左上角像素点为参考，顺时针排列(6)中得到的每个像素点的比特值，生成左图像和右图像窗口的比特串，根据左图像和右图像窗口的比特串计算左图像窗口中心像素点对应的匹配代价；(8)将右图像窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，重复(1)至(7)，选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点；(9)从左至右，从上至下遍历左图像的每个像素点，每遍历一个像素点，重复(1)至(8)，找到左图像中除了第一行、第一列以及最后一行、最后一列的每个像素点在右图像中对应的匹配点；(10)计算左图像除了第一行、第一列以及最后一行、最后一列的每个像素点和(9)中获得的右图像对应匹配点的像素列数差，像素列数差即为左图像当前像素点的视差值，将左图像的第一行、第一列以及最后一行、最后一列的每个像素点的视差值设为0，左图像每个位置的像素点的视差值作为对应位置的灰度值生成视差图。进一步的，步骤(1)的具体实现方法如下：双目摄像机拍摄获得左图像和右图像，以左图像的左上角像素点为基准点，取3×3像素大小的窗口；同时，以右图像的左上角像素点为建准点，取3×3像素大小的窗口；窗口内除了中心像素点的其他像素点组成的窗口被称为邻域窗口，按照邻域窗口内像素点的空间分布以左至右、从上至下的顺时针顺序排列所有像素点，排列的公式为：上式中，p0,p1,p2,p3,p4,p5,p6,p7代表3×3邻域窗口内的像素点，代表按照空间分布进行顺序排列。进一步的，步骤(2)的具体实现方法如下：根据邻域窗口内每个像素点的灰度值大小，按照从小到大的顺序排列邻域窗口内的每个像素点，排列公式为：上式中，I(p0),I(p1),I(p2),I(p3),I(p4),I(p5),I(p6),I(p7)代表3×3邻域窗口内像素点的灰度值，代表按照灰度值从小到大的顺序进行排列。进一步的，步骤(3)的具体实现方法如下：移除邻域窗口内像素点灰度值的最大值和最小值，公式为：I(pi)代表3×3邻域窗口内像素点的最大灰度值，I(pj)代表3×3邻域窗口内像素点的最小灰度值。进一步的，步骤(4)的具体实现方法如下：计算移除最大灰度值和最小灰度值之后的邻域窗口内像素点灰度值的平均值，公式为：其中，p代表中心像素点，Iaverage(p)代表移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值。进一步的，步骤(5)的具体实现方法如下：设定一个阈值，计算移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值和窗口中心像素的灰度值的差值绝对值；如果差值绝对值小于等于设定的阈值，选择窗口中心像素的灰度值作为窗口的最终参考灰度值，如果差值绝对值大于等于设定的阈值，选择移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值作为窗口的最终参考灰度值，公式为：其中，p代表中心像素点，Icenter(p)为窗口的最终参考灰度值，I(p)为窗口的中心像素的灰度值，Iaverage(p)为移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值，T1代表设定的阈值。进一步的，步骤(6)的具体实现方法如下：计算3×3邻域窗口内每个像素点的比特值，比特值的计算公式为：其中，p代表中心像素点，Icenter(p)为窗口的最终参考灰度值，I(q)为3×3邻域窗口内每个像素点的灰度值。进一步的，步骤(7)的具体实现方法如下：以左图像的3×3像素大小窗口的左上角像素点为参考，顺时针排列邻域窗口内每个像素点的比特值，生成左图像窗口的比特串；以右图像的3×3像素大小窗口的左上角像素点为参考，顺时针排列邻域窗口内每个像素点的比特值，生成右图像窗口的比特串；根据左图像窗口生成的比特串和右图像窗口生成的比特串计算左图像窗口中心像素点对应的匹配代价，计算公式为：C(p)＝Hanming(Bl(p),Br(p))C(p)代表中心像素点p对应的匹配代价，Bl(p)代表左图像窗口的比特串，Br(p)代表右图像窗口的比特串，Hanming代表汉明距离计算，其是将左图像窗口比特串和右图像窗口比特串的每个比特位进行异或运算本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的立体匹配方法，其特征在于，该方法包括如下步骤：/n(1)对于双目摄像机拍摄的左图像和右图像，分别选择左图像窗口和右图像窗口，并按照空间分布排列邻域窗口内的所有像素点；/n(2)根据左图像邻域窗口内像素点灰度值，将(1)中顺序排列的邻域窗口像素点从小到大排列；/n(3)移除(2)中灰度值最大和最小的像素点；/n(4)计算(3)中剩余像素点灰度值的平均值；/n(5)设定一个阈值，计算(4)中的平均值和邻域窗口中心像素点灰度值的差值绝对值，确定窗口的最终参考灰度值；/n(6)计算邻域窗口内每个像素点对应的比特值；/n(7)以邻域窗口的左上角像素点为参考，顺时针排列(6)中得到的每个像素点的比特值，生成左图像和右图像窗口的比特串，根据左图像和右图像窗口的比特串计算左图像窗口中心像素点对应的匹配代价；/n(8)将右图像窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，重复(1)至(7)，选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点；/n(9)从左至右，从上至下遍历左图像的每个像素点，每遍历一个像素点，重复(1)至(8)，找到左图像中除了第一行、第一列以及最后一行、最后一列的每个像素点在右图像中对应的匹配点；/n(10)计算左图像除了第一行、第一列以及最后一行、最后一列的每个像素点和(9)中获得的右图像对应匹配点的像素列数差，像素列数差即为左图像当前像素点的视差值，将左图像的第一行、第一列以及最后一行、最后一列的每个像素点的视差值设为0，左图像每个位置的像素点的视差值作为对应位置的灰度值生成视差图。/n...

【技术特征摘要】
1.一种基于双目视觉的立体匹配方法，其特征在于，该方法包括如下步骤：
(1)对于双目摄像机拍摄的左图像和右图像，分别选择左图像窗口和右图像窗口，并按照空间分布排列邻域窗口内的所有像素点；
(2)根据左图像邻域窗口内像素点灰度值，将(1)中顺序排列的邻域窗口像素点从小到大排列；
(3)移除(2)中灰度值最大和最小的像素点；
(4)计算(3)中剩余像素点灰度值的平均值；
(5)设定一个阈值，计算(4)中的平均值和邻域窗口中心像素点灰度值的差值绝对值，确定窗口的最终参考灰度值；
(6)计算邻域窗口内每个像素点对应的比特值；
(7)以邻域窗口的左上角像素点为参考，顺时针排列(6)中得到的每个像素点的比特值，生成左图像和右图像窗口的比特串，根据左图像和右图像窗口的比特串计算左图像窗口中心像素点对应的匹配代价；
(8)将右图像窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，重复(1)至(7)，选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点；
(9)从左至右，从上至下遍历左图像的每个像素点，每遍历一个像素点，重复(1)至(8)，找到左图像中除了第一行、第一列以及最后一行、最后一列的每个像素点在右图像中对应的匹配点；
(10)计算左图像除了第一行、第一列以及最后一行、最后一列的每个像素点和(9)中获得的右图像对应匹配点的像素列数差，像素列数差即为左图像当前像素点的视差值，将左图像的第一行、第一列以及最后一行、最后一列的每个像素点的视差值设为0，左图像每个位置的像素点的视差值作为对应位置的灰度值生成视差图。


2.根据权利要求1所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(1)的具体实现方法如下：双目摄像机拍摄获得左图像和右图像，以左图像的左上角像素点为基准点，取3×3像素大小的窗口；同时，以右图像的左上角像素点为建准点，取3×3像素大小的窗口；窗口内除了中心像素点的其他像素点组成的窗口被称为邻域窗口，按照邻域窗口内像素点的空间分布以左至右、从上至下的顺时针顺序排列所有像素点，排列的公式为：



上式中，p0,p1,p2,p3,p4,p5,p6,p7代表3×3邻域窗口内的像素点，代表按照空间分布进行顺序排列。


3.根据权利要求2所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(2)的具体实现方法如下：根据邻域窗口内每个像素点的灰度值大小，按照从小到大的顺序排列邻域窗口内的每个像素点，排列公式为：



上式中，I(p0),I(p1),I(p2),I(p3),I(p4),I(p5),I(p6),I(p7)代表3×3邻域窗口内像素点的灰度值，代表按照灰度值从小到大的顺序进行排列。


4.根据权利要求3所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(3)的具体实现方法如下：
移除邻域窗口内像素点灰度值的最大值和最小值，公式为：

【专利技术属性】
技术研发人员：孙炜，刘乃铭，范诗萌，苑河南，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43