一种双目视差计算方法及装置制造方法及图纸

本发明专利技术提供了一种双目视差计算方法，该方法包括：通过双目相机，获取左视图目标图像和右视图；做下采样处理，获取左视图目标中层图像、左视图目标上层图像、右视图中层图像、右视图上层图像；依次以左视图目标上层图像、左视图目标中层图像、左视图目标图像作为模板，采用滑动窗口匹配法，以获取第三旋转度和第三匹配区域的基准点；进行多元函数拟合，找到精确匹配坐标和精确旋转度，获取右视图精确匹配图像；根据精确旋转度，获取左视图目标匹配图像，对左视图目标匹配图像和右视图精确匹配图像的坐标进行作差，得到双目视差。与现有技术相比，本发明专利技术能快速地计算双目视差，且准确率高。且准确率高。且准确率高。

【技术实现步骤摘要】
一种双目视差计算方法及装置


[0001]本专利技术涉及图像处理、深度信息技术，特别涉及一种双目视差计算方法及装置。

技术介绍

[0002]视差信息数据是双目相机使用中十分重要的数据信息，主要作用在于，可以通过视差信息获取相机视场范围内的路径路面信息、障碍物信息、以及距离信息。这些信息的应用，都完全依赖于视差信息的准确性。
[0003]由于双目视差图包括以下几个步骤：计算代价、代价聚合、计算视差图、提精视差图这几个步骤。其中，难点主要集中在代价匹配与聚合上，常用的计算方法主要是灰度差的平方和灰度差的绝对值等。此类方法的缺点是，对于白噪声等干扰较为敏感，且对于物体部分遮挡、旋转变形会失效。
[0004]综上所述，目前迫切需要提出一种能解决上述问题的双目视差计算方法。

技术实现思路

[0005]有鉴于此，本专利技术的主要目的在于快速实现双目视差计算。
[0006]为达到上述目的，按照本专利技术的第一个方面，提供了一种双目视差计算方法，该方法包括：
[0007]第一步骤，针对目标，通过双目相机，获取含有目标的左视图和右视图；对左视图进行目标检测，获取左视图目标图像；
[0008]第二步骤，分别对左视图目标图像做2倍、4倍的下采样处理，获取左视图目标中层图像、左视图目标上层图像；分别对右视图做2倍、4倍的下采样处理，获取右视图中层图像、右视图上层图像；
[0009]第三步骤，以左视图目标上层图像作为模板，右视图上层图像作为匹配图像，将第一角度作为最小角度，将第二角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第一旋转度，获取最优匹配窗口记为第一匹配区域；
[0010]第四步骤，以右视图中层图像为候选图像，以第一匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标中层图像作为模板，将第一旋转度减去调整角度作为最小角度，将第一旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第二旋转度，获取最优匹配窗口记为第二匹配区域；
[0011]第五步骤，以右视图为候选图像，以第二匹配区域为基础区域，将基础区域的坐标扩大 2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标图像作为模板，将第二旋转度减去调整角度作为最小角度，将第二旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第三旋转度，获取最优匹配窗口记为第三匹配区域，获取第三匹配区域的基准点；
[0012]第六步骤，对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，找到
精确匹配坐标和精确旋转度，获取右视图精确匹配图像；
[0013]第七步骤，按照精确旋转度，对左视图目标图像进行旋转，获取左视图目标匹配图像，对左视图目标匹配图像和右视图精确匹配图像的坐标进行作差，得到双目视差。
[0014]进一步地，所述目标包括以下的一种：车牌、车辆、人脸、行人。
[0015]其中，所述滑动窗口匹配法包括：按照模板的宽度和高度，在匹配图像内建立滑动窗口；从最小角度到最大角度，分别对模板做旋转处理，得到不同角度的旋转模板；滑动窗口按照从上到下、从左到右在匹配图像中进行滑动，依次得到不同基准点的滑动窗口图像；分别计算不同角度的旋转模板与不同基准点的滑动窗口图像的NCC相似度，将最大NCC相似度对应的旋转模板的角度标作为最优旋转角度，将最大NCC相似度的滑动窗口作为最优匹配窗口。
[0016]进一步地，所述NCC相似度的计算公式为其中，S
i,j
(s,t)表示以坐标点(i,j)为起点的滑动窗口中坐标点为(s,t)的灰度值，E(S
i,j
)表示以坐标点(i,j)为起点的滑动窗口的平均灰度值，T(s,t)表示模板中坐标点为(s,t)的灰度值，E(T)表示模板的平均灰度值， M和N分别表示滑动窗口的宽度和高度。
[0017]进一步地，所述第四步骤和第五步骤中获取匹配图像的步骤包括：获取基础区域的左上端点坐标(x
lt
,y
lt
)、右下端点坐标(x
rd
,y
rd
)，将候选区域内以左上端点坐标为 (2x
lt
‑
Δx,2y
lt
‑
Δy)、右下端点坐标为(2x
rd
+Δx,y
rd
+Δy)围成的矩形区域作为匹配图像。其中，Δx、Δy分别表示x坐标、y坐标的外扩值。
[0018]其中，所述第三匹配区域的基准点包括以下的一种：第三匹配区域的左上端点、第三匹配区域的右上端点、第三匹配区域的左下端点、第三匹配区域的右下端点、第三匹配区域的中心点。
[0019]进一步地，所述第六步骤包括：
[0020]多元函数拟合步骤，根据泰勒展开公式
[0021]对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，得到精确匹配的x坐标、y 坐标和精确旋转度，其中，x1、x2分别表示右视图中第三匹配区域的基准点的邻近点的x坐标、y坐标，x3表示左视图目标图像的旋转度，分别表示第三匹配区域的基准点的x 坐标、y坐标，表示第三旋转度，表示第三匹配区域与左视图目标图像的NCC 相似度，表示对x
p
的一阶偏导数；表示对x
p
的二阶偏导数，o
n
表示高阶项；
[0022]右视图匹配图像获取步骤，以精确匹配的x坐标、y坐标为基准点，以左视图目标图像的宽度和高度作为右视图匹配图像的宽度和高度，从右视图获取对应的矩形区域作为右视图匹配图像。
[0023]其中，所述右视图中第三匹配区域的基准点的邻近点是指以第三匹配区域的基准
点为中心，以2
×
ΔT为边长的正方形区域内的点，其中ΔT表示邻近阈值。
[0024]按照本专利技术的另一个方面，提供了一种双目视差计算装置，该装置包括：
[0025]视图获取和左视图目标检测模块，用于针对目标，通过双目相机，获取含有目标的左视图和右视图；对左视图进行目标检测，获取左视图目标图像；
[0026]图像下采样处理模块，用于分别对左视图目标图像做2倍、4倍的下采样处理，获取左视图目标中层图像、左视图目标上层图像；分别对右视图做2倍、4倍的下采样处理，获取右视图中层图像、右视图上层图像；
[0027]左视图目标上层图像匹配模块，用于以左视图目标上层图像作为模板，右视图上层图像作为匹配图像，将第一角度作为最小角度，将第二角度作为最大角度，采用滑动窗口匹配模块，获取最优旋转角度记为第一旋转度，获取最优匹配窗口记为第一匹配区域；
[0028]左视图目标中层图像匹配模块，用于以右视图中层图像为候选图像，以第一匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标中层图像作为模板，将第一旋转度减去调整本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目视差计算方法，其特征在于，该方法包括：第一步骤，针对目标，通过双目相机，获取含有目标的左视图和右视图；对左视图进行目标检测，获取左视图目标图像；第二步骤，分别对左视图目标图像做2倍、4倍的下采样处理，获取左视图目标中层图像、左视图目标上层图像；分别对右视图做2倍、4倍的下采样处理，获取右视图中层图像、右视图上层图像；第三步骤，以左视图目标上层图像作为模板，右视图上层图像作为匹配图像，将第一角度作为最小角度，将第二角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第一旋转度，获取最优匹配窗口记为第一匹配区域；第四步骤，以右视图中层图像为候选图像，以第一匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标中层图像作为模板，将第一旋转度减去调整角度作为最小角度，将第一旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第二旋转度，获取最优匹配窗口记为第二匹配区域；第五步骤，以右视图为候选图像，以第二匹配区域为基础区域，将基础区域的坐标扩大2倍并进行外扩，在候选图像中所围成的矩形区域作为匹配图像；以左视图目标图像作为模板，将第二旋转度减去调整角度作为最小角度，将第二旋转度加上调整角度作为最大角度，采用滑动窗口匹配法，获取最优旋转角度记为第三旋转度，获取最优匹配窗口记为第三匹配区域，获取第三匹配区域的基准点；第六步骤，对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，找到精确匹配坐标和精确旋转度，获取右视图精确匹配图像；第七步骤，按照精确旋转度，对左视图目标图像进行旋转，获取左视图目标匹配图像，对左视图目标匹配图像和右视图精确匹配图像的坐标进行作差，得到双目视差；其中，所述第四步骤和第五步骤中获取匹配图像的步骤包括：获取基础区域的左上端点坐标(x
lt
,y
lt
)、右下端点坐标(x
rd
,y
rd
)，将候选区域内以左上端点坐标为(2x
lt
‑
Δx,2y
lt
‑
Δy)、右下端点坐标为(2x
rd
+Δx,y
rd
+Δy)围成的矩形区域作为匹配图像；其中，Δx、Δy分别表示x坐标、y坐标的外扩值。2.如权利要求1所述的方法，其特征在于，所述滑动窗口匹配法包括：按照模板的宽度和高度，在匹配图像内建立滑动窗口；从最小角度到最大角度，分别对模板做旋转处理，得到不同角度的旋转模板；滑动窗口按照从上到下、从左到右在匹配图像中进行滑动，依次得到不同基准点的滑动窗口图像；分别计算不同角度的旋转模板与不同基准点的滑动窗口图像的NCC相似度，将最大NCC相似度对应的旋转模板的角度标作为最优旋转角度，将最大NCC相似度的滑动窗口作为最优匹配窗口。3.如权利要求2所述的方法，其特征在于，所述NCC相似度的计算公式为其中，S
i,j
(s,t)表示以坐标点(i,j)为起点的滑动窗口中坐标点为(s,t)的灰度值，E(S
i,j
)表示以坐标点(i,j)为起点的滑动窗口的平均灰度值，T(s,t)表示模板中坐标点为(s,t)的灰度值，E(T)表示模板
的平均灰度值，M和N分别表示滑动窗口的宽度和高度。4.如权利要求1所述的方法，其特征在于，所述第一角度的取值范围为
‑
180
°
～
‑1°
，所述第二角度的取值范围为1
°
～180
°
；所述调整角度的取值范围为1
°
～30
°
；所述Δx的取值范围为4～20，所述Δy的取值范围为4～20。5.如权利要求1所述的方法，其特征在于，所述第三匹配区域的基准点包括以下的一种：第三匹配区域的左上端点、第三匹配区域的右上端点、第三匹配区域的左下端点、第三匹配区域的右下端点、第三匹配区域的中心点。6.如权利要求1所述的方法，其特征在于，所述第六步骤包括：多元函数拟合步骤，根据泰勒展开公式对第三匹配区域的基准点的坐标、第三旋转度进行多元函数拟合，得到精确匹配的x坐标、y坐标和精确旋转度，其中，x1、x2分别表示右视图中第三匹配区域的基准点的邻近点的x坐标、y坐标，x3表示左视图目标图像的旋转度，分别表示第三匹配区域的基准点的x坐标、y坐标，表示第三旋转度，表示第三匹配区域与左视图目标图像的NCC相似度，表示对x
p
的一阶偏导数；表示对x
p
的二阶偏导数，o
n
表示高阶项；右视图匹配图像获取步骤，以精确匹配的x坐标、y坐标为基准点，以左视图目标图像的宽度和高度作为右视图匹配图像的宽度和高度，从右视图获取对应的矩形区域作为右视图匹配图像；其中，所述右视图中第三匹配区域的基准点的邻近点是指以第三匹配区域的基准点为中心，以2
×
ΔT为边长的正方形区域内的点，其中ΔT表示邻近阈值。7.如权利要求6所...

【专利技术属性】
技术研发人员：韩成，班华忠，王正，崔凯，
申请(专利权)人：北京智芯原动科技有限公司，
类型：发明
国别省市：