一种利用姿态角估计的双目视觉测距方法及系统技术方案

本发明专利技术涉及一种利用姿态角估计的双目视觉测距方法及系统，首先对双目摄像机进行立体标定和立体校正；然后进行图像采集和图像重映射；接着对重映射后的图像进行实例分割；对实例分割出的物体进行轮廓检测和轮廓匹配；并对实例分割出的物体进行姿态角估计；最后根据估计出的姿态角和不同的轮廓面积，结合物体先验的几何信息和相机的固有参数计算出物体与双目摄像机间的距离。本发明专利技术能够提高双目测距系统的有效量程，提高对近距离物体测量的精确度。

A binocular vision ranging method and system using attitude angle estimation

The invention relates to a binocular vision ranging method and system using attitude angle estimation. Firstly, the binocular camera is stereo calibrated and stereo corrected; then image acquisition and image remapping are carried out; then the image after remapping is instance segmented; the object segmented by the instance is contour detected and matched; and the object segmented by the instance is attitude angle estimated Finally, the distance between the object and the binocular camera is calculated according to the estimated attitude angle and different contour area, combined with the prior geometric information of the object and the intrinsic parameters of the camera. The invention can improve the effective range of the binocular ranging system and the accuracy of the measurement of the short distance object.

【技术实现步骤摘要】
一种利用姿态角估计的双目视觉测距方法及系统
本专利技术涉及双目视觉
，特别是一种利用姿态角估计的双目视觉测距方法及系统。
技术介绍
目前，测距系统多采用双目立体视觉方法进行实时立体重建及测距。其中需要对双目图像进行立体匹配，现在广泛采用块匹配方法和特征匹配方法进行立体匹配。但是对于两个摄像头距离较大的双目摄像机拍摄距离较近的物体，由于同一物体在左右摄像头里的成像差距大，利用传统的块匹配算法或者特征匹配的算法，无法有效地进行匹配，从而导致通过匹配计算的物体距离精度较差。
技术实现思路
有鉴于此，本专利技术的目的是提出一种利用姿态角估计的双目视觉测距方法及系统，尤其是两个摄像头间距较大的双目摄像机对近距离物体的测距，以提高双目测距系统的有效量程，提高对近距离物体测量的精确度。本专利技术采用以下方案实现：一种利用姿态角估计的双目视觉测距方法，具体包括以下步骤：对双目摄像机进行立体标定和立体校正；进行图像采集和图像重映射；对重映射后的图像进行实例分割；对实例分割出的物体进行轮廓检测和轮廓匹配；对实例分割出的物体进行姿态角估计；利用物体在左、右摄像机图像中的不同姿态角和不同的轮廓面积，结合物体先验的几何信息和相机的固有参数，计算出物体与双目摄像机间的距离。较佳的，立体标定与立体校正的目的是消除双目摄像机镜头产生的畸变，使得三维世界里的每一点在双目摄像机的左右摄像机的图像中处于同一水平线上，也就是垂直误差为0。具体的双目标定方法可用棋盘标定法。一般在双目摄像机安装完毕后执行一次，立体标定和立体校正是在线下进行的，立体标定和立体校正得到的参数被保存下来供后续使用。进一步地，所述进行图像采集和图像重映射具体为：采集双目摄像机中的左摄像机和右摄像机获得的图像，根据立体校正得到的参数获得图像重映射关系，然后在GPU上对采集到的图像进行重映射，得到校正后的图像。其中，在GPU上使用三级流水线，分别为：图像由CPU拷贝至GPU、水平方向上的图像重映射、垂直方向上的图像重映射，能够有效降低系统的时延。进一步地，所述对重映射后的图像进行实例分割具体为：利用深度神经元网络分别对左摄像机和右摄像机校正后的图像进行实例分割，分割得到的结果为图像中物体的区域和物体的类别。进一步地，所述对实例分割出的物体进行轮廓检测和轮廓匹配具体为：利用深度神经元网络对双目图像进行实例分割，得到物体的区域，对该区域内的图像检测物体的轮廓，匹配左右相机图像中轮廓的对应关系，并选取左相机图像中轮廓所包围面积最大的几何平面作为参考面。进一步地，所述对语义分割出的物体进行姿态角估计具体为：利用物体区域的图像和对应的轮廓信息进行姿态角估计，得到左摄像机图像中物体的姿态角为θL，在右摄像机图像中物体的姿态角为θR；θL的定义为物体参考面的法向量跟物体几何中心与左相机连线的夹角，θR的定义为物体参考面的法向量跟物体几何中心与右相机连线的夹角。进一步地，所述利用物体在左、右摄像机图像中的不同姿态角和不同参考面的面积，结合物体先验的几何信息和相机的固有参数，计算出物体与双目摄像机间的距离具体为：利用估计出的姿态角和双目摄像机校正的参数计算物体距离，计算公式如下：D＝1/2×sqrt(2×fx×fy×Sback×(1/(Sback_L×cosθL)+1/(Sback_R×cosθR))-p^2)；式中，其中D代表被测物体距离双目摄像机的左右两个摄像头的中心点的距离；sqrt()代表开方函数；fx与fy为双目摄像机CCD的一个像素在成像平面上的水平与垂直方向上的实际长度，单位为厘米；Sback是物体参考面实际面积，单位为厘米的平方；Sback_L为左摄像头拍摄到物体参考面的像素面积，单位为像素；Sback_R为右摄像头拍摄到物体参考面的像素面积，单位为像素；p为双目摄像机的左右两个摄像头之间的距离，单位为厘米；θL的定义为物体参考面的法向量跟物体几何中心与左相机连线的夹角，θR的定义为物体参考面的法向量跟物体几何中心与右相机连线的夹角。本专利技术还提供了一种基于上文所述的利用姿态角估计的双目视觉测距的方法的系统，包括存储器、处理器，所述存储器中存储有计算机指令，所述处理器在运行时执行存储器中的计算机指令以执行上文所述的方法。与现有技术相比，本专利技术有以下有益效果：本专利技术尤其针对两个摄像头间距较大的双目摄像机对近距离物体的测距，能够提高双目测距系统的有效量程，提高对近距离物体测量的精确度。附图说明图1为本专利技术实施例的流程示意图。图2为本专利技术实施例的原理示意图。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。如图1以及图2所示，本实施例提供了一种利用姿态角估计的双目视觉测距方法，具体包括以下步骤：对双目摄像机进行立体标定和立体校正；进行图像采集和图像重映射；对重映射后的图像进行实例分割；对实例分割出的物体进行轮廓检测和轮廓匹配；对实例分割出的物体进行姿态角估计；利用物体在左、右摄像机图像中的不同姿态角和不同的轮廓面积，结合物体先验的几何信息和相机的固有参数，计算出物体与双目摄像机间的距离。较佳的，立体标定与立体校正的目的是消除双目摄像机镜头产生的畸变，使得三维世界里的每一点在双目摄像机的左右摄像机的图像中处于同一水平线上，也就是垂直误差为0。具体的双目标定方法可用棋盘标定法。一般在双目摄像机安装完毕后执行一次，立体标定和立体校正是在线下进行的，立体标定和立体校正得到的参数被保存下来供后续使用。在本实施例中，所述进行图像采集和图像重映射具体为：采集双目摄像机中的左摄像机和右摄像机获得的图像，根据立体校正得到的参数获得图像重映射关系，然后在GPU上对采集到的图像进行重映射，得到校正后的图像。其中，在GPU上使用三级流水线，分别为：图像由CPU拷贝至GPU、水平方向上的图像重映射、垂直方向上的图像重映射，能够有效降低系统的时延。在本实施例中，所述对重映射后的图像进行实例分割具体为：利用深度神经元网络分别对左摄像机和右摄像机校正后的图像进行实例分割，分割得到的结果为图像中物体的区域和物体的类别。在本实施例中，所述对实例分割出的物体进行轮廓检测和轮廓匹配具体为：利用深度神经元网络对双目图像进行实例分割，得到物体的区域，对该区域内的图像检测物体的轮廓，匹配左右相机图像中轮廓本文档来自技高网...

【技术保护点】
1.一种利用姿态角估计的双目视觉测距方法，其特征在于，包括以下步骤：/n对双目摄像机进行立体标定和立体校正；/n进行图像采集和图像重映射；/n对重映射后的图像进行实例分割；/n对实例分割出的物体进行轮廓检测和轮廓匹配；/n对实例分割出的物体进行姿态角估计；/n利用物体在左、右摄像机图像中的不同姿态角和不同的轮廓面积，结合物体先验的几何信息和相机的固有参数，计算出物体与双目摄像机间的距离。/n

【技术特征摘要】
1.一种利用姿态角估计的双目视觉测距方法，其特征在于，包括以下步骤：
对双目摄像机进行立体标定和立体校正；
进行图像采集和图像重映射；
对重映射后的图像进行实例分割；
对实例分割出的物体进行轮廓检测和轮廓匹配；
对实例分割出的物体进行姿态角估计；
利用物体在左、右摄像机图像中的不同姿态角和不同的轮廓面积，结合物体先验的几何信息和相机的固有参数，计算出物体与双目摄像机间的距离。


2.根据权利要求1所述的一种利用姿态角估计的双目视觉测距方法，其特征在于，所述进行图像采集和图像重映射具体为：采集双目摄像机中的左摄像机和右摄像机获得的图像，根据立体校正得到的参数获得图像重映射关系，然后在GPU上对采集到的图像进行重映射，得到校正后的图像。


3.根据权利要求2所述的一种利用姿态角估计的双目视觉测距方法，其特征在于，在GPU上使用三级流水线，分别为：图像由CPU拷贝至GPU、水平方向上的图像重映射、垂直方向上的图像重映射，用以降低系统的时延。


4.根据权利要求1所述的一种利用姿态角估计的双目视觉测距方法，其特征在于，所述对重映射后的图像进行实例分割具体为：利用深度神经元网络分别对左摄像机和右摄像机校正后的图像进行实例分割，分割得到的结果为图像中物体的区域和物体的类别。


5.根据权利要求1所述的一种利用姿态角估计的双目视觉测距方法，其特征在于，所述对实例分割出的物体进行轮廓检测和轮廓匹配具体为：利用深度神经元网络对双目图像进行实例分割，得到物体的区域，对该区域内的图像检测物体的轮廓，匹配左右相机图像中轮廓的对应关系，并选取左相机图像中轮廓所包围面积最大的几何平面作为参考面。


6.根据权利要求1所述的一种利用姿态角估计的双...

【专利技术属性】
技术研发人员：陈淡，郑嘉芳，黄艺凤，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35