一种点云信息与深度学习相结合的障碍物检测方法技术

本发明专利技术提供了一种点云信息与深度学习相结合的障碍物检测方法，获取包含深度信息的点云图像；对所述图像进行滤波、去除分布边缘的离群点的处理，得到预处理后的点云信息；对所述点云信息中的地面信息进行提取，并滤除；基于剩余的点云信息，进行初步障碍物检测，确定障碍物所在格栅；利用预训练的深度学习模型对初步检测的障碍物进行判别，确定障碍物的类型；本发明专利技术可以解决目前机器人障碍物检测方式单一，不能全面感知障碍物的的缺陷，实时有效的检测室内巡检机器人遇到的各类障碍物，保证设备的运行安全。设备的运行安全。设备的运行安全。

【技术实现步骤摘要】
一种点云信息与深度学习相结合的障碍物检测方法


[0001]本专利技术属于障碍物检测
，具体涉及一种点云信息与深度学习相结合的障碍物检测方法。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]室内巡检机器人是在变电站二次设备保护室或通信机房内监控设备状态的专用机器人，障碍物检测技术是保证机器人日常运行安全的关键技术。目前障碍物检测常用的传感器有激光传感器、超声波传感器和视觉传感器。激光传感器精度高，但只能获取到障碍物的位置信息和轮廓信息，无法帮助机器人全面认知障碍物类型，且硬件成本高。超声波传感器成本低，但对于障碍物的反射面、空气湿度都有一定要求，导致其感知精度不高。视觉传感器的数据处理规模大，对计算机处理能力要求比较高。
[0004]例如，中国专利第201922340792.8号专利技术专利公开了一种基于激光传感器的机器人检测障碍物的方法，该专利通过激光传感器发射激光，利用光的反射原理来进行简单的障碍物检测。该方案可以实现简单理想场景无方向约束的障碍物检测，但这种检测只能进行简单的避绕障，应用比较局限，仅应用于扫地机器人等简单场景。
[0005]中国专利第201410182735.0号专利技术专利公开了一种基于视觉的移动机器人障碍物检测方法，通过视觉传感器采集的移动机器人所处环境的图像信息；利用同时构图和定位算法对接收的图像信息进行计算，得到计算结果；根据计算结果，检测移动机器人所处环境中的障碍物。该方案实现了通过视觉传感器进行避绕障；但在机器人导航的可靠性和复用性上有一定的缺陷。

技术实现思路

[0006]本专利技术为了解决上述问题，提出一种点云信息与深度学习相结合的障碍物检测方法，本专利技术可以解决目前机器人障碍物检测方式单一，不能全面感知障碍物的的缺陷，实时有效的检测室内巡检机器人遇到的各类障碍物，保证设备的运行安全。
[0007]根据一些实施例，本专利技术采用如下技术方案：
[0008]一种点云信息与深度学习相结合的障碍物检测方法，包括以下步骤：
[0009]获取包含深度信息的点云图像；
[0010]对所述图像进行滤波、去除分布边缘的离群点的处理，得到预处理后的点云信息；
[0011]对所述点云信息中的地面信息进行提取，并滤除；
[0012]基于剩余的点云信息，进行初步障碍物检测，确定障碍物所在格栅；
[0013]利用预训练的深度学习模型对初步检测的障碍物进行判别，确定障碍物的类型。
[0014]作为可选择的实施方式，对所述图像进行滤波的过程包括：根据机器人宽高尺寸以及障碍物检测距离需要，确定保留的图像尺寸和深度范围，依照上述参数，进行直通滤
波。
[0015]作为可选择的实施方式，去除分布边缘的离群点的具体过程包括：计算每个点到K个临近点的平均距离，假设得到的结果服从高斯分布，计算距离均值和方差，计算点邻域距离的概率密度函数，依照概率密度函数，利用高斯分布去除分布边缘的离群点。
[0016]作为可选择的实施方式，利用随机采样一致性算法对所述点云信息中的地面信息进行提取和滤除。
[0017]作为可选择的实施方式，基于剩余的点云信息，进行初步障碍物检测的具体过程包括：地面滤除后剩余点云为障碍物点云，通过栅格法将点云投影的x,y二维坐标，将满足条件的栅格标记为障碍物栅格，即栅格存在障碍物。
[0018]作为进一步的限定，所述满足条件的栅格为，格栅中点的个数大于设定阈值，且z方向坐标的方差小于预定阈值的格栅。
[0019]作为可选择的实施方式，所述深度学习模型为yolov3
‑
tiny模型。
[0020]作为可选择的实施方式，对初步检测的障碍物进行判别，确定障碍物的类型的具体过程包括：将深度学习检测到识别框坐标投影到栅格图中，通过栅格图障碍物栅格区域信息与深度学习检测到的矩形框信息做感兴趣区域交集，如果交并比参数大于设定值,认为则将点云检测的障碍物为对应物体信息。
[0021]作为可选择的实施方式，将深度学习检测到识别框坐标投影到栅格图中的具体过程为：将颜色通道图像和对应的深度图像进行坐标对齐。
[0022]一种点云信息与深度学习相结合的障碍物检测系统，包括：
[0023]图像获取模块，被配置为获取包含深度信息的点云图像；
[0024]预处理模块，被配置为对所述图像进行滤波、去除分布边缘的离群点的处理，得到预处理后的点云信息；
[0025]地面信息提取模块，被配置为对所述点云信息中的地面信息进行提取，并滤除；
[0026]初步检测模块，被配置为基于剩余的点云信息，进行初步障碍物检测，确定障碍物所在格栅；
[0027]判定分类模块，被配置为利用预训练的深度学习模型对初步检测的障碍物进行判别，确定障碍物的类型。
[0028]一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述方法的步骤。
[0029]一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述方法的步骤。
[0030]一种机器人，采用上述障碍物检测方法，或包括上述检测系统。
[0031]与现有技术相比，本专利技术的有益效果为：
[0032]本专利技术提出一种预处理过程，通过滤波、去除分布边缘的离群点，有效降低了数据处理规模，且最大限度保留障碍物点云信息，防止漏检。
[0033]本专利技术提出一种二次检测判断过程，初步利用格栅法确定障碍物所在区域，再通过深度学习技术对障碍物所在区域进行处理，减少了数据处理规模，且能够有效检测障碍物类型，以便于后期对不同障碍物采取不同避障策略，提高机器人的智能性。
[0034]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合
所附附图，作详细说明如下。
附图说明
[0035]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0036]图1为本专利技术至少一个实施例的障碍物检测流程示意图；
[0037]图2为本专利技术至少一个实施例的红外双目测距原理图；
[0038]图3为本专利技术至少一个实施例的Realsense D435相机获取到的RGB图和深度图。
具体实施方式：
[0039]下面结合附图与实施例对本专利技术作进一步说明。
[0040]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0041]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云信息与深度学习相结合的障碍物检测方法，其特征是：包括以下步骤：获取包含深度信息的点云图像；对所述图像进行滤波、去除分布边缘的离群点的处理，得到预处理后的点云信息；对所述点云信息中的地面信息进行提取，并滤除；基于剩余的点云信息，进行初步障碍物检测，确定障碍物所在格栅；利用预训练的深度学习模型对初步检测的障碍物进行判别，确定障碍物的类型。2.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：对所述图像进行滤波的过程包括：根据机器人宽高尺寸以及障碍物检测距离需要，确定保留的图像尺寸和深度范围，依照上述参数，进行直通滤波。3.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：去除分布边缘的离群点的具体过程包括：计算每个点到多个临近点的平均距离，假设得到的结果服从高斯分布，计算距离均值和方差，计算点邻域距离的概率密度函数，依照概率密度函数，利用高斯分布去除分布边缘的离群点。4.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：利用随机采样一致性算法对所述点云信息中的地面信息进行提取和滤除。5.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：基于剩余的点云信息，进行初步障碍物检测的具体过程包括：地面滤除后剩余点云为障碍物点云，通过栅格法将点云投影的x,y二维坐标，将满足条件的栅格标记为障碍物栅格，即栅格存在障碍物。6.如权利要求5所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：所述满足条件的栅格为，格栅中点的个数大于设定阈值，且z方向坐标的方差小于预定阈值的格栅。7.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：所述深度学习模型为yolov3
‑

【专利技术属性】
技术研发人员：杨杰，邵光亭，巩方彬，刘加科，王贤华，蔺茹，徐云龙，孙大庆，黄倩菁，朱琳，亓曙光，吕庆涛，
申请(专利权)人：国网智能科技股份有限公司，
类型：发明
国别省市：