港口障碍物的检测方法、装置、电子装置和存储介质制造方法及图纸

本申请涉及一种港口障碍物的检测方法、装置、电子装置和存储介质，其中，该港口障碍物的检测方法包括：获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；对所述点云数据进行障碍物的粗提取，得到点云点；利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。通过本申请，基于多传感器融合和神经网络模型的方案能够提高检测精度和效率，满足港口真实作业需求，安全且稳定。

【技术实现步骤摘要】
港口障碍物的检测方法、装置、电子装置和存储介质
本申请涉及无人驾驶障碍物检测
，特别是涉及港口障碍物的检测方法、装置、电子装置和存储介质。
技术介绍
随着无人驾驶技术的发展和普及，越来越多的封闭或半开放场景开始采用无人驾驶技术对作业过程进行辅助和支持，港口环境即是其中之一。由于机器的特性之一是能够进行7×24小时的无间断工作，因而从效率提升和成本管控的角度，港口自动驾驶车辆作业是替代传统港口人工作业的未来趋势和重要手段，而港口障碍物的检测占据无人驾驶车辆作业的重要位置。障碍物检测，主要指的是利用多种传感器，完成周边环境中障碍物的感知，辨识障碍物的位置和类型。而港口中的障碍物检测面临诸多挑战。港口包含大量的金属物体，例如龙门吊、集装箱、护栏建筑物等，这极大的限制了毫米波传感器的使用。且港口里包含较多的异常车型；卡车也是以半挂车为主，这种铰链式车型严重影响了分割和聚类的难度。目前的障碍物检测方案为：先利用激光对路面进行分割，提取障碍物疑似点云；通过欧式聚类或其他聚类方法得到障碍物的凸包；再利用激光对路面进行分割，提取障碍物疑似点云；通过相机投影，辨识障碍物的凸包和类型；再投影回3d空间中。但是对于港口自动驾驶来说这种方案存在的问题是：由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测；同时，半挂车转弯的时候，整体呈现的是一个凹多边形，利用凸包会造成误检，不能满足港口真实作业需求。目前针对相关技术中，，尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种港口障碍物的检测方法、装置、电子装置和存储介质，以至少解决相关技术中，由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测；同时，半挂车转弯的时候，整体呈现的是一个凹多边形，利用凸包会造成误检的问题。第一方面，本申请实施例提供了一种港口障碍物的检测方法，包括：获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；对所述点云数据进行障碍物的粗提取，得到点云点；利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。在其中一些实施例中，还包括：将若干传感器设置于自动驾驶车辆上，且所述干传感器的感知范围全覆盖当前自动驾驶车辆。在其中一些实施例中，还包括：对神经网络模型的训练，包括：获取大量的粗提取得到的点云点；构建H×W的张量空间，将所述点云点进行映射；根据预设的2D的CNN的backbone网络对映射后的点云点进行网格图像的特征提取，得到特征数据；利用预设的singleshotdetection(SSD)检测头将所述特征数据作为训练集以完成神经网络模型进行训练。在其中一些实施例中，对所述点云数据进行障碍物的粗提取，得到点云点，包括：对所述点云数据进行分割，并利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点；遍历所有拟合的点云点，判断属于障碍物或地面点；若拟合的点云点属于障碍物，则进行提取，得到点云点。在其中一些实施例中，还包括：若拟合的点云点属于地面点，则删除该点云点。在其中一些实施例中，利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点，包括：每次都从局部区域中随机选择不共线的三个点，并对这三个点进行第一平面拟合；统计内点的数目，并根据统计结果选择得到点云簇；利用最小二乘法对所述点云簇进行第二平面拟合，得到拟合的点云点。第二方面，本申请实施例提供了一种港口障碍物的检测装置，包括获取模块、粗提取模块、细提取模块；所述获取模块，用于获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；所述粗提取模块，用于对所述点云数据进行障碍物的粗提取，得到点云点；所述细提取模块，用于利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。第三方面，本申请实施例提供了一种港口障碍物的检测系统，包括：终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；所述终端设备用于点云数据；所述传输设备用于传输点云数据；所述服务器设备用于执行如第一方面所述的港口障碍物的检测方法。第四方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的港口障碍物的检测方法。第五方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的港口障碍物的检测方法。相比于相关技术，本申请实施例提供的港口障碍物的检测方法、装置、电子装置和存储介质，通过获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个坐标数据进行融合，得到点云数据；对点云数据进行障碍物的粗提取，得到点云点；利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。解决了由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测；同时，半挂车转弯的时候，整体呈现的是一个凹多边形，利用凸包会造成误检的问题；基于多传感器融合和神经网络模型的方案能够提高检测精度和效率，满足港口真实作业需求，安全且稳定。本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本申请一实施例提供的港口障碍物的检测方法的终端设备的硬件结构框图；图2是本申请一实施例提供的港口障碍物的检测方法的流程图；图3是本申请一实施例多传感器融合后的点云数据示意图；图4是本申请一实施例中步骤S220的流程图；图5是本申请一实施例障碍物粗提取后的示意图；图6是本申请一实施例障碍物细提取后的示意图；图7是本申请一实施例提供的港口障碍物的检测装置的结构框图。图中：210、获取模块；220、粗提取模块；230、细提取模块。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申本文档来自技高网...

【技术保护点】
1.一种港口障碍物的检测方法，其特征在于，包括：/n获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；/n对所述点云数据进行障碍物的粗提取，得到点云点；/n利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。/n

【技术特征摘要】
1.一种港口障碍物的检测方法，其特征在于，包括：
获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；
对所述点云数据进行障碍物的粗提取，得到点云点；
利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。


2.根据权利要求1所述的港口障碍物的检测方法，其特征在于，还包括：
将若干传感器设置于自动驾驶车辆上，且所述干传感器的感知范围全覆盖当前自动驾驶车辆。


3.根据权利要求1所述的港口障碍物的检测方法，其特征在于，还包括：
对神经网络模型的训练，包括：
获取大量的粗提取得到的点云点；
构建H×W的张量空间，将所述点云点进行映射；
根据预设的2D的CNN的backbone网络对映射后的点云点进行网格图像的特征提取，得到特征数据；
利用预设的singleshotdetection(SSD)检测头将所述特征数据作为训练集以完成神经网络模型进行训练。


4.根据权利要求1所述的港口障碍物的检测方法，其特征在于，对所述点云数据进行障碍物的粗提取，得到点云点，包括：
对所述点云数据进行分割，并利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点；
遍历所有拟合的点云点，判断属于障碍物或地面点；
若拟合的点云点属于障碍物，则进行提取，得到点云点。


5.根据权利要求4所述的港口障碍物的检测方法，其特征在于，还包括：
若拟合的点云点属于地面点，则删除该点云点。

<...

【专利技术属性】
技术研发人员：刘鹤云，
申请(专利权)人：北京斯年智驾科技有限公司，
类型：发明
国别省市：北京;11