一种深度感知方法，装置和深度感知设备制造方法及图纸

本发明专利技术实施例公开了一种深度感知方法，装置和深度感知设备。所述方法包括：通过所述第一摄像装置获得所述目标区域的第一目标图像，通过所述第二摄像装置获得所述目标区域的第二目标图像；对所述第一目标图像进行图像分割和校正，以获取多个第一分割图像；对所述第二目标图像进行图像分割和校正，以获取与所述多个第一分割图像分别对应的多个第二分割图像；对每一组所述分割图像进行双目匹配，以获取每一组所述分割图像对应的视差图；根据所述视差图和标定参数，获取每一组所述分割图像对应的区域的深度信息。本发明专利技术实施例提高了边缘深度检测精度。而且，多组分割图像构成多组双目系统，可以感知多个方向的深度信息。

A depth sensing method, device and depth sensing device

The embodiment of the present invention discloses a depth sensing method, device and depth sensing device. The method includes: obtaining the first target image of the target area by the first imaging device, obtaining the second target image of the target area by the second imaging device, image segmentation and correction of the first target image to obtain a plurality of first segmentation images, image segmentation and correction of the second target image to acquire the plurality of the targets. A first segmented image corresponds to a plurality of second segmented images respectively; binocular matching is performed for each group of the segmented images to obtain the disparity map corresponding to each group of the segmented images; and the depth information of the region corresponding to each group of the segmented images is obtained according to the disparity map and calibration parameters. The embodiment of the invention improves the accuracy of edge depth detection. Moreover, multi-component segmentation images constitute a multi-group binocular system, which can sense depth information in multiple directions.

【技术实现步骤摘要】
一种深度感知方法，装置和深度感知设备
本专利技术实施例涉及计算机视觉
，特别涉及一种深度感知方法、装置和深度感知设备。
技术介绍
随着机器人、无人机的普及，障碍物感知传感器也随之得到越来越多的应用。其中，由于双目传感器成本低、适用场景广、探测范围远以及高效等特点，在障碍物感知传感器中得到了广泛应用。由于鱼眼镜头视角广，针对基于鱼眼镜头的双目深度感知的研究越来越多。实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：采用双目鱼眼镜头进行障碍物深度感知，由于鱼眼图像周边变形厉害，进行矫正后的鱼眼图像边缘畸变大，存在立体匹配不精准的问题。目前，虽有技术利用特殊标定模型能降低双目立体匹配的误差，如公开号为CN102005039B的专利文献中利用泰勒级数模型进行标定并测量深度，将球面图像表示为经纬度表征的矩形图像。该方法能一定程度上降低由于畸变造成的测量误差，但在图像边缘处仍然存在较大的误差。
技术实现思路
本专利技术实施例的目的是提供一种边缘深度检测精度高的深度感知方法，装置和深度感知设备。第一方面，本专利技术实施例提供了一种深度感知方法，所述方法用于双目系统感知目标区域的深度，所述双目系统包括第一摄像装置和第二摄像装置，所述方法包括：通过所述第一摄像装置获得所述目标区域的第一目标图像，通过所述第二摄像装置获得所述目标区域的第二目标图像；对所述第一目标图像进行图像分割和校正，以获取多个第一分割图像；对所述第二目标图像进行图像分割和校正，以获取与所述多个第一分割图像分别对应的多个第二分割图像，其中，每一个所述第一分割图像和与所述第一分割图像对应的第二分割图像为一组分割图像；每一组所述分割图像中，所述第一分割图像的中心线与所述第二分割图像的中心线平行，且所述第一分割图像和所述第二分割图像的连线与所述中心线呈预设夹角；分别对每一组分割图像进行标定，以获取每一组所述分割图像对应的标定参数；对每一组所述分割图像进行双目匹配，以获取每一组所述分割图像对应的视差图；根据所述视差图和所述标定参数，获取每一组所述分割图像对应的区域的深度信息。在一些实施例中，所述对所述第一目标图像进行图像分割和校正，以获取多个第一分割图像，包括：采用piecewise算法，对所述第一目标图像进行图像分割和校正，以获取所述多个第一分割图像。在一些实施例中，所述对所述第二目标图像进行图像分割和校正，以获取与所述多个第一分割图像分别对应的多个第二分割图像，包括：采用piecewise算法，对所述第二目标图像进行图像分割和校正，以获取所述多个第二分割图像。在一些实施例中，所述分别对每一组分割图像进行标定，以获取每一组所述分割图像对应的标定参数，包括：利用张正友法或faugeras法分别对每一组分割图像进行标定，以获取每一组所述分割图像对应的所述标定参数。在一些实施例中，所述对每一组所述分割图像进行双目匹配，以获取每一组所述分割图像对应的视差图，包括：利用BM算法或SGBM算法对每一组所述分割图像进行双目匹配，以获取每一组所述分割图像对应的所述视差图。在一些实施例中，所述根据所述视差图和所述标定参数，获取每一组所述分割图像对应区域的深度信息，包括：利用以下公式，获取每一组所述分割图像对应的所述区域中每一点的三维坐标：其中，xi、yi、zi表示每个点的三维坐标，baseline为基线长度，disparity为由所述视差图获取的视差数据，cx、cy、fx、fy为所述标定参数；根据所述区域中每一点的所述三维坐标，获取所述区域的深度信息。在一些实施例中，所述第一摄像装置与所述第二摄像装置之间的连线与水平方向呈预设夹角。在一些实施例中，所述预设夹角为45°或135°。在一些实施例中，所述第一摄像装置与所述第二摄像装置之间的连线与水平方向平行；所述对所述第一目标图像进行图像分割和校正，包括：在与水平方向呈预设夹角的方向上对所述第一目标图像进行图像分割和校正；所述对所述第二目标图像进行图像分割和校正，包括：在与水平方向呈预设夹角的方向上对所述第二目标图像进行图像分割和校正，所述预设夹角不为90°。在一些实施例中，所述预设夹角为45°或135°。在一些实施例中，所述第一摄像装置与所述第二摄像装置均为鱼眼镜头。第二方面，本专利技术实施例提供了一种深度感知装置，所述装置用于双目系统感知目标区域的深度，所述双目系统包括第一摄像装置和第二摄像装置，所述装置包括：获取模块，所述获取模块用于获取所述第一摄像装置获取的所述目标区域的第一目标图像和所述第二摄像装置获取的所述目标区域的第二目标图像；分割和校正模块，所述分割和校正模块用于：对所述第一目标图像进行图像分割和校正，以获取多个第一分割图像；以及对所述第二目标图像进行图像分割和校正，以获取与所述多个第一分割图像分别对应的多个第二分割图像，其中，每一个所述第一分割图像和与所述第一分割图像对应的第二分割图像为一组分割图像；每一组所述分割图像中，所述第一分割图像的中心线与所述第二分割图像的中心线平行，且所述第一分割图像和所述第二分割图像的连线与所述中心线呈预设夹角；标定模块，所述标定模块用于分别对每一组分割图像进行标定，以获取每一组所述分割图像对应的标定参数；双目匹配模块，所述双目匹配模块用于对每一组所述分割图像进行双目匹配，以获取每一组所述分割图像对应的视差图；以及深度信息获取模块，用于根据所述视差图和所述标定参数，获取每一组所述分割图像对应的区域的深度信息。在一些实施例中，所述分割和校正模块具体用于：采用piecewise算法，对所述第一目标图像进行图像分割和校正，以获取所述多个第一分割图像。在一些实施例中，所述分割和校正模块具体用于：采用piecewise算法，对所述第二目标图像进行图像分割和校正，以获取所述多个第二分割图像。在一些实施例中，所述标定模块具体用于：利用张正友法或faugeras法分别对每一组分割图像进行标定，以获取每一组所述分割图像对应的所述标定参数。在一些实施例中，所述双目匹配模块具体用于：利用BM算法或SGBM算法对每一组所述分割图像进行双目匹配，以获取每一组所述分割图像对应的所述视差图。在一些实施例中，所述深度信息获取模块具体用于：利用以下公式，获取每一组所述分割图像对应的所述区域中每一点的三维坐标：其中，xi、yi、zi表示每个点的三维坐标，baseline为基线长度，disparity为由所述视差图获取的视差数据，cx、cy、fx、fy为所述标定参数；根据所述区域中每一点的所述三维坐标，获取所述区域的深度信息。在一些实施例中，所述第一摄像装置与所述第二摄像装置之间的连线与水平方向呈预设夹角。在一些实施例中，所述预设夹角为45°或135°。在一些实施例中，所述第一摄像装置与所述第二摄像装置之间的连线与水平方向平行；所述分割和校正模块具体用于：在与水平方向呈预设夹角的方向上对所述第一目标图像进行图像分割和校正；以及在与水平方向呈预设夹角的方向上对所述第二目标图像进行图像分割和校正，所述预设夹角不为90°。在一些实施例中，所述预设夹角为45°或135°。在一些实施例中，所述第一摄像装置与所述第二摄像装置均为鱼眼镜头。第三方面，本专利技术实施例提供了一种深度感知设备，包括：主体；双目系统，设于所述主体，包括第一摄本文档来自技高网...

【技术保护点】
1.一种深度感知方法，所述方法用于双目系统感知目标区域的深度，所述双目系统包括第一摄像装置和第二摄像装置，其特征在于，所述方法包括：通过所述第一摄像装置获得所述目标区域的第一目标图像，通过所述第二摄像装置获得所述目标区域的第二目标图像；对所述第一目标图像进行图像分割和校正，以获取多个第一分割图像；对所述第二目标图像进行图像分割和校正，以获取与所述多个第一分割图像分别对应的多个第二分割图像，其中，每一个所述第一分割图像和与所述第一分割图像对应的第二分割图像为一组分割图像；每一组所述分割图像中，所述第一分割图像的中心线与所述第二分割图像的中心线平行，且所述第一分割图像和所述第二分割图像的连线与所述中心线呈预设夹角；分别对每一组分割图像进行标定，以获取每一组所述分割图像对应的标定参数；对每一组所述分割图像进行双目匹配，以获取每一组所述分割图像对应的视差图；根据所述视差图和所述标定参数，获取每一组所述分割图像对应的区域的深度信息。

【技术特征摘要】
1.一种深度感知方法，所述方法用于双目系统感知目标区域的深度，所述双目系统包括第一摄像装置和第二摄像装置，其特征在于，所述方法包括：通过所述第一摄像装置获得所述目标区域的第一目标图像，通过所述第二摄像装置获得所述目标区域的第二目标图像；对所述第一目标图像进行图像分割和校正，以获取多个第一分割图像；对所述第二目标图像进行图像分割和校正，以获取与所述多个第一分割图像分别对应的多个第二分割图像，其中，每一个所述第一分割图像和与所述第一分割图像对应的第二分割图像为一组分割图像；每一组所述分割图像中，所述第一分割图像的中心线与所述第二分割图像的中心线平行，且所述第一分割图像和所述第二分割图像的连线与所述中心线呈预设夹角；分别对每一组分割图像进行标定，以获取每一组所述分割图像对应的标定参数；对每一组所述分割图像进行双目匹配，以获取每一组所述分割图像对应的视差图；根据所述视差图和所述标定参数，获取每一组所述分割图像对应的区域的深度信息。2.根据权利要求1所述的方法，其特征在于，所述对所述第一目标图像进行图像分割和校正，以获取多个第一分割图像，包括：采用piecewise算法，对所述第一目标图像进行图像分割和校正，以获取所述多个第一分割图像。3.根据权利要求1或2所述的方法，其特征在于，所述对所述第二目标图像进行图像分割和校正，以获取与所述多个第一分割图像分别对应的多个第二分割图像，包括：采用piecewise算法，对所述第二目标图像进行图像分割和校正，以获取所述多个第二分割图像。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述分别对每一组分割图像进行标定，以获取每一组所述分割图像对应的标定参数，包括：利用张正友法或faugeras法分别对每一组分割图像进行标定，以获取每一组所述分割图像对应的所述标定参数。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述对每一组所述分割图像进行双目匹配，以获取每一组所述分割图像对应的视差图，包括：利用BM算法或SGBM算法对每一组所述分割图像进行双目匹配，以获取每一组所述分割图像对应的所述视差图。6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述视差图和所述标定参数，获取每一组所述分割图像对应区域的深度信息，包括：利用以下公式，获取每一组所述分割图像对应的所述区域中每一点的三维坐标：其中，xi、yi、zi表示每个点的三维坐标，baseline为基线长度，disparity为由所述视差图获取的视差数据，cx、cy、fx、fy为所述标定参数；根据所述区域中每一点的所述三维坐标，获取所述区域的深度信息。7.根据权利要求1-6中任一项所述的方法，其特征在于，所述第一摄像装置与所述第二摄像装置之间的连线与水平方向呈预设夹角。8.根据权利要求7所述的方法，其特征在于，所述预设夹角为45°或135°。9.根据权利要求1-6中任一项所述的方法，其特征在于，所述第一摄像装置与所述第二摄像装置之间的连线与水平方向平行；所述对所述第一目标图像进行图像分割和校正，包括：在与水平方向呈预设夹角的方向上对所述第一目标图像进行图像分割和校正；所述对所述第二目标图像进行图像分割和校正，包括：在与水平方向呈预设夹角的方向上对所述第二目标图像进行图像分割和校正，所述预设夹角不为90°。10.根据权利要求9所述的方法，其特征在于，所述预设夹角为45°或135°。11.根据权利要求1-10中任一项所述的方法，其特征在于，所述第一摄像装置与所述第二摄像装置均为鱼眼镜头。12.一种深度感知装置，所述装置用于双目系统感知目标区域的深度，所述双目系统包括第一摄像装置和第二摄像装置，其特征在于，所述装置包括：获取模块，所述获取模块用于获取所述第一摄像装置获取的所述目标区域的第一目标图像和所述第二摄像装置获取的所述目标区域的第二目标图像；分割和校正模块，所述分割和校正模块用于：...

【专利技术属性】
技术研发人员：郑欣，
申请(专利权)人：深圳市道通智能航空技术有限公司，
类型：发明
国别省市：广东,44