地面检测方法、相关装置及计算机可读存储介质制造方法及图纸

本申请涉及检测技术领域，公开了一种地面检测方法、相关装置及计算机可读存储介质。本申请中，获取深度图和相机的姿态角；根据深度图和相机的姿态角构建世界坐标系下的三维点云；根据世界坐标系下的三维点云获取初始地面区域，计算初始地面区域的倾角，并根据倾角确定地面检测结果。通过获取的深度图和相机的姿态角来构建世界坐标系下的三维点云，并根据世界坐标系下的三维点云进行地面检测，而不需要对传感器的位置和姿态进行限定，具有普适性。

Ground Detection Method, Related Devices and Computer Readable Storage Media

The application relates to the field of detection technology, and discloses a ground detection method, a related device and a computer readable storage medium. In this application, depth maps and camera attitude angles are obtained; three-dimensional point clouds in the world coordinate system are constructed according to depth maps and camera attitude angles; initial ground areas are acquired according to three-dimensional point clouds in the world coordinate system, the inclination of the initial ground areas is calculated, and the ground detection results are determined according to the inclination angles. The three-dimensional point clouds in the world coordinate system are constructed by obtaining depth maps and camera attitude angles, and ground detection is carried out according to the three-dimensional point clouds in the world coordinate system, without restricting the position and attitude of the sensor, which is universal.

【技术实现步骤摘要】
【国外来华专利技术】地面检测方法、相关装置及计算机可读存储介质
本申请涉及检测
，特别涉及一种地面检测方法、相关装置及计算机可读存储介质。
技术介绍
在导盲、机器人和自动驾驶等领域，地面检测是一项及其重要的关键技术。传统的基于RGB图像的地面检测方法，一般需要依赖地面的颜色和边缘等先验信息，因此在简单的环境中应用比较广泛，而在复杂环境中并不适用。随着三维传感器技术的发展，基于深度图像的地面检测方法在复杂环境中逐渐得到应用。专利技术人在研究现有技术过程中发现，现有技术中的基于深度图像的地面检测方法，虽然不再依赖地面的颜色和边缘等先验信息，但通常需要限定传感器的位置和姿态，因此不具有普适性。
技术实现思路
本申请部分实施例所要解决的一个技术问题在于提供一种地面检测方法、相关装置及计算机可读存储介质，以解决上述技术问题。本申请的一个实施例提供了一种地面检测方法，包括：获取深度图和相机的姿态角；根据深度图和相机的姿态角构建世界坐标系下的三维点云；根据世界坐标系下的三维点云获取初始地面区域，计算初始地面区域的倾角，并根据倾角确定地面检测结果。本申请实施例还提供了一种地面检测装置，该地面检测装置包括：第一获取模块，用于获取深度图和相机的姿态角；构建模块，用于根据深度图和相机的姿态角构建世界坐标系下的三维点云；第二获取模块，用于根据世界坐标系下的三维点云获取初始地面区域；检测模块，用于计算初始地面区域的倾角，并根据倾角确定地面检测结果。本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意方法实施例中涉及的地面检测方法。本申请实施例还提供了一种计算机可读存储介质，存储有计算机指令，计算机指令用于使计算机执行本申请任意方法实施例中涉及的地面检测方法。本申请实施例相对于现有技术而言，通过获取的深度图和相机的姿态角来构建世界坐标系下的三维点云，并根据世界坐标系下的三维点云进行地面检测，而不需要对传感器的位置和姿态进行限定，具有普适性。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是本申请第一实施例中地面检测方法的流程图；图2为本申请第一实施例中像素坐标系和相机坐标系的关系图；图3为本申请第一实施例中相机坐标系和世界坐标的关系图；图4是本申请第二实施例中地面检测方法的流程图；图5是本申请第三实施例中地面检测装置的方框示意图；图6是本申请第四实施例中地面检测装置的方框示意图；图7是本申请第五实施例中电子设备的结构实例图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请部分实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请的第一实施例涉及一种地面检测方法，该地面检测方法的执行主体可以是导盲头盔或智能机器人。该地面检测方法的具体流程如图1所示，包括以下步骤：在步骤101中，获取深度图和相机的姿态角。具体的说，在本实施例中，通过深度相机获取深度图，通过姿态传感器获取相机的姿态角。其中，获取深度图之后，对深度图进行尺度归一化处理，利用尺度归一化后的深度图进行后续的地面检测步骤，能够加快计算速度，快速获得地面检测结果。在一个具体实现中，对深度图进行尺度归一化处理的具体方式为：根据深度图和预设的归一化尺度计算尺度归一化因子，并根据深度图和尺度归一化因子计算尺度归一化后的深度图。具体计算过程如下：利用公式(1)计算尺度归一化因子，公式(1)表示如下：其中，S表示尺度归一化因子，W表示深度图的宽，H表示深度图的高，Norm表示预设的归一化尺度。Norm是预先设置的已知量，对于每一个深度图该值保持不变。利用公式(2)计算尺度归一化后的深度图，公式(2)表示如下：其中，Ws表示尺度归一化后的深度图的宽，Hs表示尺度归一化后的深度图的高。通过Ws和Hs就可以确定出尺度归一化后的深度图。在步骤102中，根据深度图和相机的姿态角构建世界坐标系下的三维点云。具体的说，根据尺度归一化后的深度图构建相机坐标系下的三维点云，根据相机坐标系下的三维点云和相机的姿态角构建世界坐标系下的三维点云。具体利用公式(3)构建相机坐标系下的三维点云，公式(3)表示如下：其中，u和v是归一化后的深度图中像素点的位置坐标，M3×4是相机的内参矩阵，Xc、Yc和Zc是三维点云在相机坐标系中的坐标值，并且，Zc是归一化后的深度图中像素点的深度值，为已知量。其中，具体利用公式(4)构建世界坐标系下的三维点云。其中，Xw、Yw和Zw是三维点云在世界坐标系中的坐标值，α、β和γ是相机的姿态角。需要说明的是，在进行坐标系方向确定时，设定标准图像坐标系为o1-xy，则相机坐标系和像素坐标系的关系如图2所示，相机坐标系和世界坐标的关系如图3所示。其中，如图2所示，以深度图像的左上角为原点建立的以像素为单位的直角坐标系o-uv称为像素坐标系。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。图像坐标系o1-xy的原点o1定义为相机光轴与深度图像平面的交点，且x轴与u轴平行，y轴与v轴平行。相机坐标系Oc-XcYcZc以相机光心Oc为坐标原点，Xc轴和Yc轴分别与图像坐标系的x轴和y轴平行，Zc轴为相机的光轴，和图像平面垂直并交于o1点。其中，如图3所示，世界坐标系Ow-XwYwZw的原点Ow与相机坐标系的原点Oc重合，均为相机光心，选取水平向右为Xw轴正方向，垂直向下为Yw轴正方向，垂直XwYw平面并指向正前方为Zw轴正方向，建立世界坐标系。在步骤103中，根据世界坐标系下的三维点云获取初始地面区域。具体的说，对世界坐标系下的三维点云进行高度方向的自动阈值分割获得第二地面区域。对世界坐标系下的三维点云进行距离方向的固定阈值分割获得第三地面区域。根据第二地面区域和第三地面区域获得初始地面区域。其中，三维点云在世界坐标系中的坐标值Xw、Yw和Zw分别为三个方向上的坐标集合，而Yw即为高度方向的坐标集合，Zw即为距离方向的坐标集合，Xw即为左右方向上的坐标集合。需要说明的是，本申请实施例中的高度方向指的是在世界坐标系中Yw轴所指定的方向，距离方向指的是在世界坐标系中Zw轴所指定的方向，并且指向正前方。在一个具体实现中，对世界坐标系下的三维点云进行高度方向的自动阈值分割，获得第二地面区域的方式为：根据用户在世界坐标系下的三维点云中选定的高度方向的感兴趣区域(RegionOfInteres，ROI),计算获得第一分割阈值；根据当前深度图的前一帧深度图的地面高度，计算获得第二分割阈值。根据第一分割阈值和第二分割阈值，对世界坐标系下的三维点云进行高度方向的自动阈值分割，并利用公式(5)获得第二地面区域，公式(5)表示如下：Ymask＝a*ThdYroi+b*ThdYpre(5)其中，a和b为加权系数，可以由用户根据实际需要进行设定，ThdYroi为第一分割阈值，ThdYpre为第二分割阈值，Ymask为第二本文档来自技高网...

【技术保护点】
1.一种地面检测方法，包括：获取深度图和相机的姿态角；根据所述深度图和所述相机的姿态角构建世界坐标系下的三维点云；根据所述世界坐标系下的三维点云获取初始地面区域；计算所述初始地面区域的倾角，并根据所述倾角确定地面检测结果。

【技术特征摘要】
【国外来华专利技术】1.一种地面检测方法，包括：获取深度图和相机的姿态角；根据所述深度图和所述相机的姿态角构建世界坐标系下的三维点云；根据所述世界坐标系下的三维点云获取初始地面区域；计算所述初始地面区域的倾角，并根据所述倾角确定地面检测结果。2.如权利要求1所述的地面检测方法，其中，所述根据所述深度图和所述相机的姿态角构建世界坐标系下的三维点云之前，所述地面检测方法还包括：根据所述深度图和预设的归一化尺度计算尺度归一化因子；根据所述深度图和所述尺度归一化因子计算尺度归一化后的深度图。3.如权利要求2所述的地面检测方法，其中，根据所述深度图和所述相机的姿态角构建世界坐标系下的三维点云，包括：根据所述尺度归一化后的深度图构建相机坐标系下的三维点云；根据所述相机坐标系下的三维点云和所述相机的姿态角构建世界坐标系下的三维点云。4.如权利要求1至3任一项所述的地面检测方法，其中，所述根据所述倾角确定地面检测结果，包括：根据所述倾角的大小判断是否检测到地面，若检测到地面，则根据所述三维点云中的所有点到所述初始地面区域的距离对所述初始地面区域进行筛选，获得第一地面区域；否则，直接对下一帧深度图进行地面检测。5.如权利要求4所述的地面检测方法，其中，所述检测到地面之后，所述地面检测方法还包括：根据所述倾角的大小确定所述地面的类型，其中，所述地面的类型包括：水平地面、上坡地面和下坡地面。6.如权利要求4所述的地面检测方法，其中，所述获得第一地面区域之后，所述地面检测方法还包括：计算所述第一地面区域的平均高度；根据所述第一地面区域的平均高度对下一帧深度图的地面高度进行更新；对更新地面高度的下一帧深度图进行地面检测。7.如权利要求1至6任一项所述的地面检测方法，其中，所述根据所述世界坐标系下的三维点云获取初始地面区域，包括：对所述世界坐标系下的三维点云进行高度方向的自动阈值分割，获得第二...

【专利技术属性】
技术研发人员：李业，廉士国，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44