基于运动信息的双目视觉立体匹配方法组成比例

本发明专利技术公开了一种基于运动信息的双目视觉立体匹配方法，通过上一帧计算得到的视差图以及运动信息确定当前帧图像需要进行SGM算法的图像区域，然后通过SGM算法进行立体匹配。将左右摄像头的运动信息耦合到SGM算法中，大大降低了计算量，使得可以在嵌入式系统上实时计算。 1

Binocular stereo matching method based on motion information

The invention discloses a binocular stereo matching method based on motion information. The image region of the SGM algorithm needs to be carried out by the parallax graph obtained in the last frame and the motion information to determine the current frame image, and then the stereo matching is carried out by the SGM algorithm. The motion information of the left and right cameras is coupled to the SGM algorithm, which greatly reduces the computation and enables real-time computation on the embedded system. One

【技术实现步骤摘要】
基于运动信息的双目视觉立体匹配方法
本专利技术涉及一种双目视觉立体匹配算法，具体地涉及一种基于运动信息的双目视觉立体匹配方法。
技术介绍
目前主流的双目视觉立体匹配算法主要是基于左右摄像头的图像数据进行完全独立计算。庞大的计算量使得立体算法很难在嵌入式系统上进行实时计算，即使是目前最主流的SGM(semi-globalmatching)算法依然无法在嵌入式系统上进行实时计算。双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法。从两个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。如图1所示为双目视觉的原理图，其中Ol、Or为左右摄像头中心，空间任一质点P，当在Ol、Or处观察时，分别投影在像平面xl,xr上，左右摄像头产生的视差d＝xl-xr,而其中p是成像像素尺寸，f是摄像头的焦距，b是两个摄像头中心距离。双目立体匹配算法就是通过左右图像，逐像素算出相应的视差，从而形成视差图。其算法核心原理就是找出左图像中某个像素a在右图像中的位置，从而计算出视差d，而如何去寻找在右图像中对应的位置是整个过程的核心。传统的算法，包括最主流的SGM算法，都是在右图像上按照像素逐个遍历找到与像素a最相似的像素，但是这会产生庞大的计算量，即使SGM采用动态规划算法以及通过按照8线法进行动态更新大大提升了速度，但是依旧无法在嵌入式设备上进行实时的计算。
技术实现思路
为了解决上述存在的技术问题，本专利技术提供了一种基于运动信息的双目视觉立体匹配方法，将左右摄像头的运动信息耦合到SGM算法中，大大降低了计算量，使得可以在嵌入式系统上实时计算。本专利技术的技术方案是：一种基于运动信息的双目视觉立体匹配方法，通过上一帧计算得到的视差图以及运动信息确定当前帧图像需要进行SGM算法的图像区域，然后通过SGM算法进行立体匹配。优选的，当前帧图像的视差图通过以下步骤得到：通过第N帧与N-1帧摄像头数据，计算出其图像基本重合的区域P；通过第N-1帧到第N帧的加速度传感器的数据，计算出摄像头的位移；计算N-1帧区域P中所有物体的位置Z，并减去相机移动的位移S，获得物体当前与摄像头的位置关系，并通过公式d*p＝fb/z，其中p是成像像素尺寸，f是摄像头的焦距，b是两个摄像头中心距离，计算出d作为N帧P区域的视差图。优选的，每n幅图像利用SGM算法计算出一次视差图。优选的，对计算得到的视差图进行滤波调优。与现有技术相比，本专利技术的优点是：1、通过上一帧计算出的视差图以及运动传感器信息确定当前帧图像需要进行SGM算法的图像区域，大大降低了视差图更新的运算量，提升了计算速度。2、通过周期性使用SGM算法进行全幅图像的视差图计算，消除了误差的累计。附图说明下面结合附图及实施例对本专利技术作进一步描述：图1为双目视觉的原理图；图2为第N帧与N-1帧图像；图3为本专利技术基于运动信息的双目视觉立体匹配方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。实施例：下面结合附图，对本专利技术的较佳实施例作进一步说明。如附图2所示，当双目相机运动时第N帧的左右摄像头数据和第N-1帧的数据会有很大一部分是完全一样的。比如对任意一个物体A，至少其本身和周围的物体在第N帧图像以及N-1帧图像保持高度一致。因此在进行第N帧的视差图计算时，完全可以利用第N-1帧的视差图信息。本专利技术因此而来。如图3所示，通过左右摄像头通过拍摄图片感知周围环境，并将图片数据输入到CPU上，通过极线校正程序进行校正后，输入到SGM算法。与传统的SGM算法不同的是，在进行SGM算法之前，会通过上一帧计算出的视差图以及运动传感器信息确定当前帧图像需要进行SGM算法的图像区域。即，并不是整幅图像需要进行立体匹配计算以获取整幅图像的视差图，而是仅仅计算部分视差图。其他的视差图通过运动信息以及上一帧的视差图获得，而这一部分计算量十分微小。通过此算法流程，可以实现实时视差图计算。具体流程：对左右图像进行极线校正；通过第N帧与N-1帧摄像头数据，计算出其图像基本重合的区域P，如通过互信息法进行快速匹配，或者基于卡曼滤波的追踪方法对物体进行有效的追踪。通过第N-1帧到第N帧的加速度传感器的数据，计算出摄像头移动的位移S(向量)通过公式(1)计算N-1帧区域P中所有物体的位置Z(向量)，公式(1)中Xw，Yw，Zw表示物体的全局坐标，fx、fy是摄像头的焦距，x0、y0表示图像坐标系原点在成像平面的位置，R3x3表示全局坐标系到相机坐标系的旋转矩阵，T3x1表示全局坐标系到相机坐标系的平移矩阵。并减去相机移动的位移S，获得物体当前与摄像头的位置关系，并再次通过公式d*p＝fb/z，计算出d作为N帧P区域的视差图。其他的区域按照SGM算法进行计算。由于运动物体的像会逐步增大，会选择每N幅图像(N＝10，或者其他值)利用SGM算法完全计算出一次视差图，因此流程中采用一个计数器N作为判断指标。视差图计算出来之后采用滤波的手段，如高斯低通滤波，巴特沃兹滤波手段进行噪声过滤应当理解的是，本专利技术的上述具体实施方式仅仅用于示例性说明或解释本专利技术的原理，而不构成对本专利技术的限制。因此，在不偏离本专利技术的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。此外，本专利技术所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。本文档来自技高网...

【技术保护点】
1. 一种基于运动信息的双目视觉立体匹配方法，其特征在于，通过上一帧计算得到的

【技术特征摘要】
1.一种基于运动信息的双目视觉立体匹配方法，其特征在于，通过上一帧计算得到的视差图以及运动信息确定当前帧图像需要进行SGM算法的图像区域，然后通过SGM算法进行立体匹配。2.根据权利要求1所述的基于运动信息的双目视觉立体匹配方法，其特征在于，当前帧图像的视差图通过以下步骤得到：通过第N帧与N-1帧摄像头数据，计算出其图像基本重合的区域P；通过第N-1帧到第N帧的加速度传感器的数据，计算出摄像头的位移；计算N-1帧区域P...

【专利技术属性】
技术研发人员：周坤，孙辉，张伟，
申请(专利权)人：清华大学苏州汽车研究院吴江，
类型：发明
国别省市：江苏,32