一种双特征融合的半全局立体匹配方法组成比例

本发明专利技术公开了一种双特征融合的半全局立体匹配方法，包括对左右目图像进行灰度化后，进行畸变校正和极线校正，得到符合极线约束的图像；在图像上滑窗，计算窗口内的平均绝对差值和Census变换后，将融合结果作为窗口中心点的双特征融合代价，根据像素点的双特征融合代价构造三维视差空间；在获取近似二维全局能量最优后，在三维视差空间中进行能量聚合；在多路径聚合代价最小的情况下确定图像中每个像素点的初始视差值，组成初始视差图；最后对左初始视差图和右初始视差图进行排异和平滑，得到最终的视差图。本发明专利技术综合了平均绝对差算法对于丰富纹理的敏感性和Census变换对于光照变化的适应性的优点，弥补了单一特征的局限性。

【技术实现步骤摘要】
一种双特征融合的半全局立体匹配方法
本专利技术涉及图像处理
，尤其涉及一种双特征融合的半全局立体匹配方法。
技术介绍
立体匹配是三维重建、自主导航、非接触测距等
的关键，它通过两幅互相匹配的图像来获取深度信息，广泛应用于工业生产自动化、机动车辅助驾驶系统、安防监控、遥感图像分析、机器人自主导航等方面。相较于传统的二维图像，立体匹配能够在长和宽的基础上增加一维深度信息，因而可以帮助我们更好的感知真实世界。目前，传统的半全局立体匹配算法对光照变化较为敏感，仅可用于特定的室内场景，不适用于复杂的外场环境，单一特征适用的使用场景有限；计算量大、耗时长，不能满足实时性需求；综上所述，传统的半全局立体匹配算法不能满足实际产品的要求。
技术实现思路
本专利技术提供了一种双特征融合的半全局立体匹配方法，采用基于平均绝对差算法和Census变换双特征融合的代价计算方法，综合了平均绝对差算法对于丰富纹理的敏感性和Census变换对于光照变化的适应性的优点，弥补了单一特征的局限性，增加了半全局立体匹配算法的适应性；且本算法特别适用于可并行计算的处理平台，在不降低计算准确性的前提下，可大幅度提高计算速度，适合对于实时性要求较高的实际场景的应用。针对现有技术的不足，本专利技术公开了一种双特征融合的半全局立体匹配方法，包括如下步骤：步骤1，采用两个相机组成左右目相机，通过位于左侧的相机获得左目图，通过位于右侧的相机获得右目图，对左右目图像进行灰度化，所述左右目图像即左目图和右目图；步骤2，根据所述左右目相机的内参和外参对左右目图像进行畸变校正和极线校正，得到一组符合极线约束的图像；步骤3，在所述图像上进行滑窗，计算窗口内的平均绝对差值和Census变换后，对结果进行融合，将融合结果作为所述窗口中心点的双特征融合代价，根据所述图像所有像素点的双特征融合代价构造以图像长为x轴，图像宽为y轴，视差区间为z轴的三维坐标系，即三维视差空间，所述三维视差空间包括左三维视差空间和右三维视差空间；步骤4，在所述视差区间内，沿八个方向并行计算能量值的一维动态规划，用于获取近似二维全局能量最优，在所述三维视差空间中进行能量聚合；步骤5，采用赢者通吃的方法，在多路径聚合代价最小的情况下确定所述图像中每个像素点的初始视差值，由所述每个像素点的初始视差值组成初始视差图，其中，在所述左视差空间中计算得到的初始视差值组成的图像作为左初始视差图，在所述右视差空间中计算得到的初始视差值组成的图像作为右初始视差图；步骤6，采用左右一致性检查和中值滤波，对所述左初始视差图和右初始视差图进行排异和平滑，得到最终的视差图。进一步地，在一种实现方式中，所述步骤1包括：步骤1-1，读取所述左右目图像中像素三通道的值，所述三通道包括红色通道、绿色通道和蓝色通道；步骤1-2，按照下式计算所述左右目图像中像素的灰度值Gray：Gray＝(R×30+G×59+B×11+50)/100其中，R为红色通道的值，G为绿色通道的值，B为蓝色通道的值。进一步地，在一种实现方式中，所述步骤2包括：步骤2-1，分别读取所述左右目相机的内参和外参；步骤2-2，使用透镜畸变模型对由于镜头引起的畸变进行畸变校正(Frye，J.G.，andD.C.Brown.Lensdistortionforclose-rangephotogrammetry，PhotogrammetricEngineeringandRemoteSensing，1986,52：51-58)；步骤2-3，利用Bouguet校正原理(Bougeut，J.-Y.PyramidalimplementationoftheLucasKanadefeaturetrackerdescriptionofthealgorithm，http://robots.stanford.edu/cs223b04/algo_tracking.pdf)对所述左右目图像进行极线校正，使所述左右目图像中的每一行像素对齐，得到所述一组符合极线约束的图像。进一步地，在一种实现方式中，所述步骤3包括：步骤3-1，以所述左目图作为基图B，以所述右目图作为匹配图M，计算所述左三维视差空间；以所述右目图作为基图B，以所述左目图作为匹配图M，计算所述右三维视差空间；步骤3-2，选取大小为m*n的矩形滑窗窗口在所述基图B和匹配图M上进行滑窗，其中，m为所述矩形滑窗窗口的长，n为所述矩形滑窗窗口的宽，m＝9，n＝7；步骤3-3，分别计算所述基图B和匹配图M的矩形滑窗窗口的中心点p在视差d下的平均绝对差算法得到MAD特征代价CMAD(p，d)，d∈[-64，64]；步骤3-4，根据Census变换算法计算所述中心点p在视差d下的Census变换算法后的字符串的汉明距离得到Census特征代价CCensus(p，d)；步骤3-5，对所述平均绝对差算法得到的MAD特征代价CMAD(p，d)和Census变换算法得到的Census特征代价CCensus(p，d)进行融合，得到所述融合结果作为基图B窗口中心点p的双特征融合代价C(p，d)，所述双特征融合代价公式定义如下：C(p，d)＝f(CMAD(p，d)，σMAD)+f(CCensus(p，d)，σCensus)其中，σMAD为平均绝对差算法的影响因子，σCensus为Census变换算法的影响因子，CMAD(p，d)为通过平均绝对差算法得到的MAD特征代价，CCensus(p，d)为通过Census变换算法得到的Census特征代价，函数f(C，σ)使MAD特征代价和Census特征代价的值都限定在(0，1)范围内，所述函数f(C，σ)的定义如下：其中，C为MAD特征代价或Census特征代价，σ为影响因子，exp为以自然常数e为底的指数函数；步骤3-6，遍历所述基图B上的所有像素点，每个所述像素点的双特征融合代价构造成以基图B的长、基图B的宽和视差区间为坐标轴的三维坐标系，即所述三维视差空间。进一步地，在一种实现方式中，所述步骤3-3包括：步骤3-3-1，通过平均绝对差算法分别计算所述基图B和匹配图M窗口的平均绝对差值MAD(p)，所述平均绝对差算法的公式如下：其中，p为矩形滑窗窗口m*n的中心点，(xp，yp)为中心点p的坐标，i为距离中心点p横向的像素点个数，i∈(-2/m，2/m)，j为距离中心点p纵向的像素点个数，j∈(-2/n，2/n)，I为基图B或者匹配图M；步骤3-3-2，计算所述基图B和匹配图M的矩形滑窗窗口中心点p的平均绝对差值的差的绝对值作为MAD特征代价，即CMAD(p，d)＝|MAD(Bp)-MAD(Mp+d)|其中，CMAD(p，d)为中心点p在视差为d时的平均绝对差算法的MAD特征代价，MAD(Bp)为基图B在中心点p的平均绝对差值，MAD(Mp+d)为匹配图M在点p+d的平均绝本文档来自技高网...

【技术保护点】
1.一种双特征融合的半全局立体匹配方法，其特征在于，包括：/n步骤1，采用两个相机组成左右目相机，通过位于左侧的相机获得左目图，通过位于右侧的相机获得右目图，对左右目图像进行灰度化，所述左右目图像即左目图和右目图；/n步骤2，根据所述左右目相机的内参和外参对左右目图像进行畸变校正和极线校正，得到一组符合极线约束的图像；/n步骤3，在所述图像上进行滑窗，计算窗口内的平均绝对差值和Census变换后，对结果进行融合，将融合结果作为所述窗口中心点的双特征融合代价，根据所述图像所有像素点的双特征融合代价构造以图像长为x轴，图像宽为y轴，视差区间为z轴的三维坐标系，即三维视差空间，所述三维视差空间包括左三维视差空间和右三维视差空间；/n步骤4，在所述视差区间内，沿八个方向并行计算能量值的一维动态规划，用于获取近似二维全局能量最优，在所述三维视差空间中进行能量聚合；/n步骤5，采用赢者通吃的方法，在多路径聚合代价最小的情况下确定所述图像中每个像素点的初始视差值，由所述每个像素点的初始视差值组成初始视差图，其中，在所述左三维视差空间中计算得到的初始视差值组成的图像作为左初始视差图，在所述右三维视差空间中计算得到的初始视差值组成的图像作为右初始视差图；/n步骤6，采用左右一致性检查和中值滤波，对所述左初始视差图和右初始视差图进行排异和平滑，得到最终的视差图。/n...

【技术特征摘要】
1.一种双特征融合的半全局立体匹配方法，其特征在于，包括：
步骤1，采用两个相机组成左右目相机，通过位于左侧的相机获得左目图，通过位于右侧的相机获得右目图，对左右目图像进行灰度化，所述左右目图像即左目图和右目图；
步骤2，根据所述左右目相机的内参和外参对左右目图像进行畸变校正和极线校正，得到一组符合极线约束的图像；
步骤3，在所述图像上进行滑窗，计算窗口内的平均绝对差值和Census变换后，对结果进行融合，将融合结果作为所述窗口中心点的双特征融合代价，根据所述图像所有像素点的双特征融合代价构造以图像长为x轴，图像宽为y轴，视差区间为z轴的三维坐标系，即三维视差空间，所述三维视差空间包括左三维视差空间和右三维视差空间；
步骤4，在所述视差区间内，沿八个方向并行计算能量值的一维动态规划，用于获取近似二维全局能量最优，在所述三维视差空间中进行能量聚合；
步骤5，采用赢者通吃的方法，在多路径聚合代价最小的情况下确定所述图像中每个像素点的初始视差值，由所述每个像素点的初始视差值组成初始视差图，其中，在所述左三维视差空间中计算得到的初始视差值组成的图像作为左初始视差图，在所述右三维视差空间中计算得到的初始视差值组成的图像作为右初始视差图；
步骤6，采用左右一致性检查和中值滤波，对所述左初始视差图和右初始视差图进行排异和平滑，得到最终的视差图。


2.根据权利要求1所述的一种双特征融合的半全局立体匹配方法，其特征在于，所述步骤1包括：
步骤1-1，读取所述左右目图像中像素三通道的值，所述三通道包括红色通道、绿色通道和蓝色通道；
步骤1-2，按照下式计算所述左右目图像中像素的灰度值Gray：
Gray＝(R×30+G×59+B×11+50)/100
其中，R为红色通道的值，G为绿色通道的值，B为蓝色通道的值。


3.根据权利要求2所述的一种双特征融合的半全局立体匹配方法，其特征在于，所述步骤2包括：
步骤2-1，分别读取所述左右目相机的内参和外参；
步骤2-2，使用透镜畸变模型对由于镜头引起的畸变进行畸变校正；
步骤2-3，利用Bouguet校正原理对所述左右目图像进行极线校正，使所述左右目图像中的每一行像素对齐，得到所述一组符合极线约束的图像。


4.根据权利要求3所述的一种双特征融合的半全局立体匹配方法，其特征在于，所述步骤3包括：
步骤3-1，以所述左目图作为基图B，以所述右目图作为匹配图M，计算所述左三维视差空间；以所述右目图作为基图B，以所述左目图作为匹配图M，计算所述右三维视差空间；
步骤3-2，选取大小为m*n的矩形滑窗窗口在所述基图B和匹配图M上进行滑窗，其中，m为所述矩形滑窗窗口的长，n为所述矩形滑窗窗口的宽，m＝9，n＝7；
步骤3-3，分别计算所述基图B和匹配图M的矩形滑窗窗口的中心点p在视差d下的平均绝对差算法得到MAD特征代价CMAD(p,d)，d∈[-64,64]；
步骤3-4，根据Census变换算法计算所述中心点p在视差d下的Census变换算法后的字符串的汉明距离得到Census特征代价CCensus(p,d)；
步骤3-5，对所述平均绝对差算法得到的MAD特征代价CMAD(p,d)和Census变换算法得到的Census特征代价CCensus(p,d)进行融合，得到所述融合结果作为基图B窗口中心点p的双特征融合代价C(p,d)，所述双特征融合代价公式定义如下：
C(p,d)＝f(CMAD(p,d),σMAD)+f(CCensus(p,d),σCensus)
其中，σMAD为平均绝对差算法的影响因子，σCensus为Census变换算法的影响因子，CMAD(p,d)为通过平均绝对差算法得到的MAD特征代价，CCensus(p,d)为通过Census变换算法得到的Census特征代价，函数f(C,σ)使MAD特征代价和Census特征代价的值都限定在(0，1)范围内，所述函数f(C,σ)的定义如下：



其中，C为MAD特征代价或Census特征代价，σ为影响因子，exp为以自然常数e为底的指数函数；
步骤3-6，遍历所述基图B上的所有像素点，每个所述像素点的双特征融合代价构造成以基图B的长、基...

【专利技术属性】
技术研发人员：石林，白俊奇，刘羽，朱恒，陆园，董小舒，章孝承，
申请(专利权)人：南京莱斯电子设备有限公司，
类型：发明
国别省市：江苏;32