一种基于弱标定多目相机的立体匹配方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于弱标定多目相机的立体匹配方法，其中，包括：对第一图像和第二图形进行畸变矫正得到第一畸变矫正图和第二畸变矫正图；对第一畸变矫正图和第二畸变矫正图极线矫正得到第一矫正图和第二矫正图；检测第一矫正图和所述第二矫正图中的所有垂直边缘；检测每条垂直边缘上的角点；将每条垂直边缘以及该条垂直边缘上的角点组合成一个匹配单元；将第一矫正图中的每个匹配单元与第二矫正图中的匹配单元进行匹配；将第二矫正图进行平移、旋转或者缩放；计算目标图像的视差。本发明专利技术还公开了一种基于弱标定多目相机的立体匹配装置及系统。本发明专利技术提供的一种基于弱标定多目相机的立体匹配方法能够实现对目标图像的快速高精度识别。

A stereo matching method, device and system based on weakly calibrated multi camera

The invention discloses a method for stereo matching, multi camera calibration based on the weak, including: the first image and the second graphic distortion correction first distortion correction chart and second distortion correction map; distortion correction of the first and second distortion correction map epipolar correction by the first correction chart and second correction chart; detection the first correction chart and the second correction of all vertical edges in graph; corner detection of each of the vertical edges of the vertical edge and angle; each point the vertical edge of the combined into a matching unit; the first correction in every graph matching unit and the second unit in the correct matching graph matching; the second correction chart of translation and rotation or zoom; parallax calculation of target image. The invention also discloses a stereo matching device and system based on a weak calibrated multi camera. The invention provides a stereo matching method based on the weak calibration multi camera. It can realize fast and high precision recognition of the target image.

【技术实现步骤摘要】
一种基于弱标定多目相机的立体匹配方法、装置及系统
本专利技术涉及计算机视觉
，尤其涉及一种基于弱标定多目相机的立体匹配方法、一种基于弱标定多目相机的立体匹配装置及包括该基于弱标定多目相机的立体匹配装置的基于弱标定多目相机的立体匹配系统。
技术介绍
人类视觉不仅可以分辨出颜色、外形等特征，还能通过双目所看到的不同图像的差别，分辨出物体的深度信息。双目视觉是机器视觉的一个重要形式，它是基于视差原理并利用不同位置的两台摄像装置拍摄同一场景，通过计算空间点在两幅图像中的视差，来获取物体的三维几何信息的方法。融合两只眼获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来。根据双目视觉原理，一旦获取了空间点的视差，如果能够在图像坐标系中确定两个匹配点，并知道其各自的图像坐标，那么就可以获得空间点的深度信息。因此，实现深度信息获取的关键是获得空间点在两个图像平面内的一个匹配对，而立体匹配问题则是实现深度获取的关键。双目立体匹配问题是一个″病态″问题，双目立体匹配实施要考虑诸多因素，并以计算复杂度和稳定性等总体性能指标来衡量方案实施的可行性和有效性。立体匹配的算法很多，主要有区域匹配算法、特征匹配算法、基于全局约束算法、图割算法和基于人工智能的算法。区域匹配算法通过固定尺寸窗口进行代价聚集，运算速度快，但在低纹理和深度不连续区域匹配效果差；特征匹配算法只能得到稀疏的视差场，要获得密集的视差场必须通过复杂的差值过程，往往适用于具有特征信息显著的环境中；基于全局约束算法虽然能够通过构建复杂的能量函数模型得到高精度的匹配结果，但计算速度慢，并且对计算机的内存需求较大；图割算法虽然能获得密集的结果，但是容易产生较大的匹配误差。图1为视差和深度的关系图，由于三角形AABBCC与三角形CCDDEE相似，可得：(xr-xl)/F＝B/z，所以：z＝BF/(xl-xr)，其中xl-xr为视差，B为两个摄像机的基线的距离，F为相机的焦距。对于第一图像中任意一个点，都要到第二图像中匹配一个点，假设图像的宽高为(W和H)有图的搜索范围为(H*V)，则计算量为W*H*H*V。通常取值如下：W＝1280；H＝730；H(水平)＝100；V＝5，因此计算量会非常大。对于不具有典型性的应用环境，运算量和识别精度是一对天然的矛盾，没有算法能够同时在两个方面得到优化。而且，立体匹配技术被普遍认为是立体视觉中最困难也是最关键的问题，主要是受以下因素的影响：(1)光学失真和噪声(亮度、色调、饱和度等失衡)(2)平滑表面的镜面反射(3)投影缩减(Foreshortening)(4)透视失真(Perspectivedistortions)(5)低纹理(Lowtexture)(6)重复纹理(Repetitive/ambiguouspatterns)(7)透明物体(8)重叠和非连续。上述所有的特性都会影响两个图中匹配点的误判，从而会影响两个图的匹配精度，从而影响视差计算的精度。因此，如何能够对图像进行高精度识别成为本领域技术人员亟待解决的问题。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一，提供一种基于弱标定多目相机的立体匹配方法、一种基于弱标定多目相机的立体匹配装置及包括该基于弱标定多目相机的立体匹配装置的基于弱标定多目相机的立体匹配系统。，以解决现有技术中的问题。作为本专利技术的第一个方面，提供一种基于弱标定多目相机的立体匹配方法，其中，所述多目相机包括第一摄像设备和第二摄像设备，所述第一摄像设备和所述第二摄像设备用于同时拍摄同一幅目标图像，且所述第一摄像设备拍摄所述目标图像后获得第一图像，所述第二摄像设备拍摄所述目标图像后获得第二图像，所述立体匹配方法包括：根据所述第一摄像设备的内参对所述第一图像进行畸变矫正得到第一畸变矫正图，根据所述第二摄像设备的内参对所述第二图像进行畸变矫正得到第二畸变矫正图；根据所述第一摄像设备的外参对所述第一畸变矫正图进行极线矫正得到第一矫正图，根据所述第二摄像设备的外参对所述第二畸变矫正图进行极线矫正得到第二矫正图；检测所述第一矫正图和所述第二矫正图中的所有垂直边缘并获得多条垂直边缘；检测每条所述垂直边缘上的角点，并获得多个角点；将每条垂直边缘以及该条垂直边缘上的角点组合成一个匹配单元；将所述第一矫正图中的每个匹配单元与所述第二矫正图中的匹配单元进行匹配，得到多个匹配单元对；将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图；根据所述第一矫正图和所述新的第二矫正图计算所述目标图像的视差。优选地，所述检测每条所述垂直边缘上的角点，并获得多个角点的步骤包括：检测所述第一矫正图和所述第二矫正图中的所有水平边缘；判断位于每条所述垂直边缘上的点是否同时位于所述水平边缘上；当位于每条所述垂直边缘上的点同时位于所述水平边缘上时，确定该点为角点。优选地，所述将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图的步骤包括：将所述第二矫正图从当前位置平移9个位置，和/或将所述第二矫正图从当前位置旋转9个位置，和/或将所述第二矫正图从当前位置缩放9个位置，获得1000个所述第二矫正图的调节组合；计算所述1000个所述第二矫正图的调节组合中与所述第一矫正图组成的匹配单元对的匹配度；将匹配度最高的匹配单元对所对应的第二矫正图为新的第二矫正图。优选地，所述匹配度的计算公式为：其中，Diff表示所述匹配度，α表示调整参数，α∈(0，1)，∑ΔY表示每个角点的垂直偏移量的和，A表示角点的数量，δx表示角点的水平偏移量的方差。优选地，所述第二矫正图的平移、旋转和缩放均是面向所述第二矫正图的当前位置的两侧的，且所述平移、旋转和缩放均是等间距的。作为本专利技术的第二个方面，提供一种基于弱标定多目相机的立体匹配装置，其中，所述多目相机包括第一摄像设备和第二摄像设备，所述第一摄像设备和所述第二摄像设备用于同时拍摄同一幅目标图像，且所述第一摄像设备拍摄所述目标图像后获得第一图像，所述第二摄像设备拍摄所述目标图像后获得第二图像，所述立体匹配装置包括：图像畸变矫正模块，所述图像畸变矫正模块用于根据所述第一摄像设备的内参对所述第一图像进行畸变矫正得到第一畸变矫正图，根据所述第二摄像设备的内参对所述第二图像进行畸变矫正得到第二畸变矫正图；图像极线矫正模块，所述图像极线矫正模块用于根据所述第一摄像设备的外参对所述第一畸变矫正图进行极线矫正得到第一矫正图，根据所述第二摄像设备的外参对所述第二畸变矫正图进行极线矫正得到第二矫正图；垂直边缘检测模块，所述垂直边缘检测模块用于检测所述第一矫正图和所述第二矫正图中的所有垂直边缘并获得多条垂直边缘；角点检测模块，所述角点检测模块用于检测每条所述垂直边缘上的角点，并获得多个角点；匹配单元获得模块，所述匹配单元获得模块用于将每条垂直边缘以及该条垂直边缘上的角点组合成一个匹配单元；匹配单元对获得模块，所述匹配单元对获得模块用于将所述第一矫正图中的每个匹配单元与所述第二矫正图中的匹配单元进行匹配，得到多个匹配单元对；匹配度调节模块，所述匹配度调节模块用于将所述第二矫正图进行平移、本文档来自技高网...

【技术保护点】
一种基于弱标定多目相机的立体匹配方法，其特征在于，所述多目相机包括第一摄像设备和第二摄像设备，所述第一摄像设备和所述第二摄像设备用于同时拍摄同一幅目标图像，且所述第一摄像设备拍摄所述目标图像后获得第一图像，所述第二摄像设备拍摄所述目标图像后获得第二图像，所述立体匹配方法包括：根据所述第一摄像设备的内参对所述第一图像进行畸变矫正得到第一畸变矫正图，根据所述第二摄像设备的内参对所述第二图像进行畸变矫正得到第二畸变矫正图；根据所述第一摄像设备的外参对所述第一畸变矫正图进行极线矫正得到第一矫正图，根据所述第二摄像设备的外参对所述第二畸变矫正图进行极线矫正得到第二矫正图；检测所述第一矫正图和所述第二矫正图中的所有垂直边缘并获得多条垂直边缘；检测每条所述垂直边缘上的角点，并获得多个角点；将每条垂直边缘以及该条垂直边缘上的角点组合成一个匹配单元；将所述第一矫正图中的每个匹配单元与所述第二矫正图中的匹配单元进行匹配，得到多个匹配单元对；将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图；根据所述第一矫正图和所述新的第二矫正图计算所述目标图像的视差。

【技术特征摘要】
1.一种基于弱标定多目相机的立体匹配方法，其特征在于，所述多目相机包括第一摄像设备和第二摄像设备，所述第一摄像设备和所述第二摄像设备用于同时拍摄同一幅目标图像，且所述第一摄像设备拍摄所述目标图像后获得第一图像，所述第二摄像设备拍摄所述目标图像后获得第二图像，所述立体匹配方法包括：根据所述第一摄像设备的内参对所述第一图像进行畸变矫正得到第一畸变矫正图，根据所述第二摄像设备的内参对所述第二图像进行畸变矫正得到第二畸变矫正图；根据所述第一摄像设备的外参对所述第一畸变矫正图进行极线矫正得到第一矫正图，根据所述第二摄像设备的外参对所述第二畸变矫正图进行极线矫正得到第二矫正图；检测所述第一矫正图和所述第二矫正图中的所有垂直边缘并获得多条垂直边缘；检测每条所述垂直边缘上的角点，并获得多个角点；将每条垂直边缘以及该条垂直边缘上的角点组合成一个匹配单元；将所述第一矫正图中的每个匹配单元与所述第二矫正图中的匹配单元进行匹配，得到多个匹配单元对；将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图；根据所述第一矫正图和所述新的第二矫正图计算所述目标图像的视差。2.根据权利要求1所述的立体匹配方法，其特征在于，所述检测每条所述垂直边缘上的角点，并获得多个角点的步骤包括：检测所述第一矫正图和所述第二矫正图中的所有水平边缘；判断位于每条所述垂直边缘上的点是否同时位于所述水平边缘上；当位于每条所述垂直边缘上的点同时位于所述水平边缘上时，确定该点为角点。3.根据权利要求1所述的立体匹配方法，其特征在于，所述将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图的步骤包括：将所述第二矫正图从当前位置平移9个位置，和/或将所述第二矫正图从当前位置旋转9个位置，和/或将所述第二矫正图从当前位置缩放9个位置，获得1000个所述第二矫正图的调节组合；计算所述1000个所述第二矫正图的调节组合中与所述第一矫正图组成的匹配单元对的匹配度；将匹配度最高的匹配单元对所对应的第二矫正图为新的第二矫正图。4.根据权利要求3所述的立体匹配方法，其特征在于，所述匹配度的计算公式为：其中，Diff表示所述匹配度，α表示调整参数，α∈(0，1)，∑ΔY表示每个角点的垂直偏移量的和，A表示角点的数量，δx表示角点的水平偏移量的方差。5.根据权利要求3所述的立体匹配方法，其特征在于，所述第二矫正图的平移、旋转和缩放均是面向所述第二矫正图的当前位置的两侧的，且所述平移、旋转和缩放均是等间距的。6.一种基于弱标定多目相机的立体匹配装置，其特征在于，所述多目相机包括第一摄像设备和第二摄像设备，所述第一摄像设备和所述第二摄像设备用于同时拍摄同一幅目标图像，且所述第一摄像设备拍摄所述目标图像后获得第一图像，所述第二摄像设备...

【专利技术属性】
技术研发人员：黄保黔，
申请(专利权)人：江苏钜芯集成电路技术股份有限公司，
类型：发明
国别省市：江苏,32