一种基于两级分割单元的面片匹配并行方法技术

本发明专利技术公开了一种基于两级分割单元的面片匹配并行方法，包括：步骤1：获取立体匹配对左、右图像；步骤2：把输入图像看作图结构，构建由分割单元组成的计算层S1和S2；步骤3：为每个像素随机初始化一个标签值；步骤4：在计算层S1中并行实现标签空间传播；步骤5：在计算层S2中并行实现标签平面细化；步骤6：重复步骤4)和步骤5)直到视差图收敛，获得左、右图像亚像素视差图；步骤7：利用左、右视差图检测不满足一致性约束的像素点视差值，并对其进行后处理操作；步骤8：利用双目相机的参数把视差图转化为深度图，得到场景的三维形貌。本发明专利技术实现了降低面片匹配算法计算时间复杂度、可高效并行计算和优化结果快速收敛的目的。算和优化结果快速收敛的目的。算和优化结果快速收敛的目的。

【技术实现步骤摘要】
一种基于两级分割单元的面片匹配并行方法


[0001]本专利技术属于视觉非接触测量
，具体涉及一种基于两级分割单元的面片匹配并行方法。

技术介绍

[0002]立体视觉技术一直是机器视觉和计算机视觉领域研究的热点，广泛应用于无人驾驶、机器人导航、对地观测、虚拟现实、文化遗产保护等方面。其作为一种深度感知技术，具有系统简单、自动化程度高、非接触和点云稠密的特点。立体匹配作为立体视觉最核心的技术，目标是计算不同视角图像中的同名像素点，然后利用不同视角成像坐标差异根据三角几何关系恢复对象的三维形貌。早期的立体匹配算法通常采用前视平面的整数视差空间模型，这种简化模型降低了标签空间的大小，降低了视差优化算法的计算时间。然而前视平面模型和整数视差空间只能得到离散的视差图，需要后期插值算法进一步得到亚像素视差图，这种方法很难保证亚像素视差图的精度。
[0003]为了得到亚像素视差图，平面标签模型得到广泛的使用，立体匹配算法目标是为每个像素计算一个最优的平面标签。平面标签模型不仅能够得到亚像素视差值，同时能够得到像素平面的法向量，有利于后续点云拼接和三维重建。面片匹配算法能够高效的计算每个像素的最近邻场，算法只保留像素的一个和几个标签和代价值，不仅降低了算法的内存占用，同时具有较高的计算效率，使其在双目立体匹配、多视角立体匹配和光流任务中得到广泛的应用。
[0004]Bleyer等人最早把面片匹配算法应用到立体匹配任务(Bleyer M,Rhemann C,Rother C.PatchMatch Stereo/>‑
Stereo Matching with Slanted Support Windows[C].2011Proceedings of the British Machine Vision Conference,2011)。该算法以单个像素作为计算单元只能采用自适应权重进行代价聚集造成计算时间复杂度高；同时相邻像素对相同标签的代价聚集值不能重复利用，造成大量的重复计算。
[0005]Lu等人考虑到图像局部区域像素具有相同的标签值，在面片滤波算法(Lu J,Li Y,Yang H,et al.PatchMatch Filter:Edge
‑
Aware Filtering Meets Randomized Search for Visual Correspondence[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(9):1866
‑
1879.)中对图像进行超像素分割，以分割单元作为计算单元完成标签空间传播和标签细化。以超像素作为计算单元使得代价聚集能够采用线性时间复杂度代价滤波算法，从而降低了代价滤波的计算时间复杂度，同时降低了计算单元的数量以及避免了大量的重复计算。然而，面片滤波算法以超像素单元构造的标签更新区域存在重叠，使得该算法不能实现并行计算；另外，利用代表像素进行分割单元像素的标签细化，该策略降低了标签计算的利用率，造成纹理丰富区域像素的标签收敛速度慢。

技术实现思路

[0006]针对当前面片匹配算法在立体匹配任务中计算复杂度高、不能并行计算等不足，
本专利技术的目的在于提出一种计算复杂度低、算法能够在CPU和GPU上高效并行计算的面片匹配算法。与传统算法类似的是，该方法仍然采用了面片匹配算法的空间传播和平面细化的思想；不同的是，所提算法采用规整形状的分割单元作为计算单元，并构建了两种尺度分割单元的优化层分别完成空间传播和随机搜索的目的，实现了高效的并行计算。同时提出了基于分割单元的平面细化策略，加快了优化过程中标签的收敛速度。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]一种基于两级分割单元的面片匹配并行方法，包括以下步骤：
[0009]步骤1：获取立体视觉匹配对左、右图像，并计算像素视差搜索范围；
[0010]步骤2：把左、右图像看作图结构，构建两级分割单元组成的计算层S1和S2，并以分割单元构建对应的子图；
[0011]步骤3：采用随机初始化方法为每个像素随机生成一个平面标签；
[0012]步骤4：在计算层S1中，以分割单元为计算单元进行像素标签的空间传播；
[0013]步骤5：在计算层S2中，以分割单元为计算单元完成像素标签的平面细化；
[0014]步骤6：重复步骤4)和步骤5)计算到视差图收敛，同样流程得到右图像每个像素的标签；
[0015]步骤7：利用左、右视差图判断视差图中错误视差值，并对错误视差值进行后处理；
[0016]步骤8：利用双目相机的参数把视差图转化为深度图，得到场景的三维形貌。
[0017]本专利技术进一步的改进在于，步骤1)的具体实现方法如下：
[0018]步骤1.1：根据场景特点布置左右相机形成双目系统，并采用张正友棋盘格进行相机内部参数和外部参数的标定；
[0019]步骤1.2：利用标定好的双目系统拍摄场景左、右视角图像，根据系统参数对图像进行极线校正，使得左、右图像同名像素点只有X方向的图像坐标变动。
[0020]本专利技术进一步的改进在于，步骤2的具体实现方法如下：
[0021]步骤2.1：把输入图像看作图，像素表示图中节点；以边长为k1个像素的矩形对图进行分割，整个图被分割成K1个矩形区域；每个分割单元作为一个计算单元，形成计算层S1；对分割单元向外延伸r个像素，构建任意分割单元S1(k)子图，子图大小为(k1+2r)
×
(k1+2r)的矩形区域，其中r表示滤波器窗口半径；
[0022]步骤2.1：以边长为l2个像素的矩形对图进行分割，整个图被分割成K2个矩形区域；每个分割单元作为一个计算单元，形成计算层S2；对所有分割单元向外延伸r个像素，构建任意分割单元S2(k)子图，子图大小为(k2+2r)
×
(k2+2r)的矩形区域，其中r表示滤波器窗口半径。
[0023]本专利技术进一步的改进在于，步骤3的具体实现方法如下：
[0024]为每一个像素在视差范围内随机生成一个视差值d0，同时随机初始化一个单位向量作为平面的法向量，由像素视差值和法向量计算得到像素p的标签l
p
＝(a
p
,b
p
,c
p
)，其中a
p
＝
‑
n
x
/n
y
；b
p
＝
‑
n
y
/n
z
；c
p
＝(n
x
x0+n
y
y0+n
z
d0)/n
z
。
[0025]本专利技术进一步的改进在于，步骤4的具体实现方法如下：
[0026]步骤4.1：计算层S1中任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于两级分割单元的面片匹配并行方法，其特征在于，包括以下步骤：步骤1：获取立体视觉匹配对左、右图像，并计算像素视差搜索范围；步骤2：把左、右图像看作图结构，构建两级分割单元组成的计算层S1和S2，并以分割单元构建对应的子图；步骤3：采用随机初始化方法为每个像素随机生成一个平面标签；步骤4：在计算层S1中，以分割单元为计算单元进行像素标签的空间传播；步骤5：在计算层S2中，以分割单元为计算单元完成像素标签的平面细化；步骤6：重复步骤4)和步骤5)计算到视差图收敛，同样流程得到右图像每个像素的标签；步骤7：利用左右视差图判断视差图中错误视差值，并对错误视差值进行填充处理；步骤8：利用双目相机的参数把视差图转化为深度图，得到场景的三维形貌。2.根据权利要求1所述的一种基于两级分割单元的面片匹配并行方法，其特征在于，步骤1)的具体实现方法如下：步骤1.1：根据场景特点布置左右相机形成双目系统，并采用张正友棋盘格进行相机内部参数和外部参数的标定；步骤1.2：利用标定好的双目系统拍摄场景左、右视角图像，根据系统参数对图像进行极线校正，使得左、右图像同名像素点只有X方向的图像坐标变动。3.根据权利要求2所述的一种基于两级分割单元的面片匹配并行方法，其特征在于，步骤2的具体实现方法如下：步骤2.1：把输入图像看作图，像素表示图中的节点；以边长为k1个像素的矩形对图进行分割，整个图被分割成K1个矩形区域；每个分割单元作为一个计算单元，形成计算层S1；对分割单元向外延伸r个像素，构建任意分割单元S1(k)子图R1(k)，子图大小为(k1+2r)
×
(k1+2r)的矩形区域，其中r表示滤波器窗口半径；步骤2.2：以边长为l2个像素的矩形对图进行分割，整个图被分割成K2个矩形区域；每个分割单元作为一个计算单元，形成计算层S2；对所有分割单元向外延伸r个像素，构建任意分割单元S2(k)子图，子图大小为(k2+2r)
×
(k2+2r)的矩形区域，其中r表示滤波器窗口半径。4.根据权利要求3所述的一种基于两级分割单元的面片匹配并行方法，其特征在于，步骤3的具体实现方法如下：为每一个像素在视差范围内随机生成一个视差值d0，同时随机初始化一个单位向量作为平面的法向量，由像素视差值和法向量计算得到像素p的标签l
p
＝(a
p
,b
p
,c
p
)，其中a
p
＝
‑
n
x
/n
y
；b
p
＝
‑
n
y
/n
z
；c
p
＝(n
x
x0+n
y
y0+n
z
d0)/n
z
。5.根据权利要求4所述的一种基于两级分割单元的面片匹配并行方法，其特征在于，步骤4的具体实现方...

【专利技术属性】
技术研发人员：金雨生，丁建军，刘阳鹏，孙林，赵宏，李常胜，仙丹，刘昕东，白杨，李冠群，孙浩峰，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：