基于定位补偿的障碍物检测方法、系统、设备及存储介质技术方案

本发明专利技术提供了基于定位补偿的障碍物检测方法、系统、设备及存储介质，该方法包括以下步骤：采集至少一车辆通过识别获得的每个障碍物类别标签以及障碍物类别标签的定位信息；基于电子地图对障碍物类别标签以及定位信息进行聚类，获得障碍物类别标签对应的障碍物在电子地图中的障碍物区域；对半径超过预设阈值的障碍物区域建立对应的障碍物类别标签的置信度补偿区域；以及当车辆至少基于采集到图像进行神经网络识别时，若像素对应的定位信息位于置信度补偿区域中，则增加障碍物类别标签的置信度，再进行障碍物类别标签排序后，输出像素的障碍物类别标签。本发明专利技术能够基于定位进行障碍物置信度的补偿，尤其提高了实时检测大型障碍物的准确性。

【技术实现步骤摘要】
基于定位补偿的障碍物检测方法、系统、设备及存储介质
本专利技术属于机器视觉领域，尤其涉及一种基于定位补偿的障碍物检测方法、系统、设备及存储介质。
技术介绍
近年来，随着汽车驾驶辅助技术的日益成熟，各种汽车辅助功能被越来越多地应用在量产汽车上。汽车驾驶辅助技术是汽车由“机械化”向“智能化”发展的一个必经的技术阶段；其可以为驾驶员驾驶行为提供安全保障，同时提高车辆行驶的舒适性、安全性、燃油经济性。在驾驶辅助技术和无人驾驶技术中，环境感知是其重要的核心组成部分。环境感知技术指车辆通过包括摄像头、超声波雷达、毫米波雷达、激光雷达等传感器的相关信号对周围环境进行感知，为车辆的控制决策提供重要依据。尤其是，精确实时的防碰撞预警有重要的应用意义，尤其是在辅助驾驶安全警示和自动驾驶的自动控制中起到决定性作用，比如在自动驾驶中，防碰撞预警可以尽可能多地减少事故，避免人身和财产损失；在自动驾驶中，防碰撞预警越精确，安全性越高。目前，通过双目图片检测出物体的大小，位置，类别和朝向等3D信息在机器人，自动驾驶和车路协同等领域都有着重要的应用。但是在复杂路况下，例如：无人码头等地，障碍物的体积差别非常大，很多大型障碍物例如：门吊等，无人车在距离门吊较远的地方时，能够拍摄的到门吊的较完整的照片，从而机器视觉的神经网络能够较容易识别出这个障碍物的类别，但是越靠近门吊，拍摄到的图片只显示了门吊一部分的外观，机器视觉的神经网络能反而很难识别出门吊。这种情况下大大制约了无人车与其他无人吊装设备之间的配合效果。因此，本专利技术提供了一种基于定位补偿的障碍物检测方法、系统、设备及存储介质。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
针对现有技术中的问题，本专利技术的目的在于提供基于定位补偿的障碍物检测方法、系统、设备及存储介质，克服了现有技术的困难，能够基于定位进行障碍物置信度的补偿，尤其提高了实时检测大型障碍物的准确性。本专利技术的实施例提供一种基于定位补偿的障碍物检测方法，包括以下步骤：S110、采集至少一车辆通过识别获得的每个障碍物类别标签以及所述障碍物类别标签的定位信息；S120、基于电子地图对障碍物类别标签以及定位信息进行聚类，获得所述障碍物类别标签对应的障碍物在电子地图中的障碍物区域；S130、对半径超过预设阈值的障碍物区域建立对应的所述障碍物类别标签的置信度补偿区域；以及S140、当车辆至少基于采集到图像进行神经网络识别时，若像素对应的定位信息位于所述置信度补偿区域中，则增加所述障碍物类别标签的置信度，再进行障碍物类别标签排序后，输出所述像素的障碍物类别标签。优选地，还包括以下步骤：S150、根据所述图像内个像素的障碍物类别标签进行聚类，根据聚类结果对所述图像分割为多个区域，并获得所述区域对应的所述图像障碍物类别标签。优选地，所述步骤S110中，通过车辆的双目摄像装置采集的图像数据和/或激光雷达采集的点云数据获得，所有障碍物基于所述车辆的距离以及障碍物类别标签；通过基于车辆的实时定位信息以及姿态检测，获得所述障碍物的定位信息。优选地，所述步骤S120中，对多个车辆采集到的障碍物类别标签基于所述定位信息进行聚类并去重，获得所述障碍物在电子地图中的障碍物区域。优选地，所述步骤S130中，在电子地图中对每个障碍物区域建立中心，以所述中心为圆心，基于预设半径范围建立至少一圆形的置信度补偿区域，所述预设阈值的取值范围为大于3米，预设半径的取值范围为小于100米。优选地，所述步骤S140中，当所述像素对应的定位信息位于所述置信度补偿区域，则根据预设倍率乘以该像素获得的所述置信度补偿区域对应的一类障碍物类别标签的置信度后，再进行所述障碍物类别标签的排序，输出排序最高的障碍物类别标签作为所述像素的障碍物类别标签，所述预设倍率的取值范围是1.5至5。优选地，随着所述像素对应的定位信息与所述障碍物区域的中心的距离减小，预设倍率增大。优选地，所述步骤S110中包括以下步骤：S111、使用双目摄像装置拍摄彩色图像；S112、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息、俯视图以及所述像素点在电子地图中的定位信息；S113、基于左图像输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物类别标签、障碍物编码、标签置信度以及定位信息，获得所述左图像的复合图像信息；S114、在所述俯视图中标示所有障碍物的位置、距离以及障碍物类别标签；以及S115、基于车辆的实时定位信息和俯视图中的障碍物与所述车辆的位置关系，获得所述障碍物在电子地图中的定位信息。优选地，所述步骤S113中，所述左图像的复合图像信息至少包括每个像素的RGB值、障碍物类别标签D、基于障碍物类别的编码H、标签置信度T、距离值P以及定位信息W；所述步骤S114中，根据视差矩阵拟合地面信息并获得所述双目摄像装置与地面之间的夹角，据所述夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，所述俯视图中的每个点具有基于所述三维点云的障碍物类别标签。优选地，所述步骤S140中包括以下步骤：S141、使用双目摄像装置拍摄彩色图像；S142、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息、俯视图以及所述像素点在电子地图中的定位信息；S143、基于左图像输入经过训练的机器视觉模型进行基于所述左图像的图像分割；S144、当分割后的图像中像素对应的点云处于所述置信度补偿区域中，则增加所述障碍物类别标签的置信度，再进行障碍物类别标签排序后，输出所述像素的障碍物类别标签；S145、对分割后的图像中所有像素的障碍物类别标签进行聚类排序后，将出现次数最高的障碍物类别标签作为所述分割后的图像的障碍物类别标签。优选地，还包括：S146、获得所述左图像中每个分割后图像区域中所述像素对应的障碍物类别标签、障碍物编码、标签置信度以及定位信息，获得所述左图像的复合图像信息；S147、在所述俯视图中标示所有障碍物的位置、距离以及障碍物类别标签；S148、至少根据所述俯视图规划形成路径。优选地，所述步骤S145中，所述左图像的复合图像信息至少包括每个像素的RGB值、障碍物类别标签D、基于障碍物类别的编码H、标签置信度T、距离值P以及定位信息W。本专利技术的实施例还提供一种基于定位补偿的障碍物检测系统，用于实现上述的基于定位补偿的障碍物检测方法，基于定位补偿的障碍物检测系统包括：采集模块，采集至少一车辆通过识别获得的每个障碍物类别标签以及所述障碍物类别标签的定位信息；聚类模块，基于电子地图对障碍物类别标签以及定本文档来自技高网...

【技术保护点】
1.一种基于定位补偿的障碍物检测方法，其特征在于，包括以下步骤：/nS110、采集至少一车辆通过识别获得的每个障碍物类别标签以及所述障碍物类别标签的定位信息；/nS120、基于电子地图对障碍物类别标签以及定位信息进行聚类，获得所述障碍物类别标签对应的障碍物在电子地图中的障碍物区域；/nS130、对半径超过预设阈值的障碍物区域建立对应的所述障碍物类别标签的置信度补偿区域；以及/nS140、当车辆至少基于采集到图像进行神经网络识别时，若像素对应的定位信息位于所述置信度补偿区域中，则增加所述障碍物类别标签的置信度，再进行障碍物类别标签排序后，输出所述像素的障碍物类别标签。/n

【技术特征摘要】
1.一种基于定位补偿的障碍物检测方法，其特征在于，包括以下步骤：
S110、采集至少一车辆通过识别获得的每个障碍物类别标签以及所述障碍物类别标签的定位信息；
S120、基于电子地图对障碍物类别标签以及定位信息进行聚类，获得所述障碍物类别标签对应的障碍物在电子地图中的障碍物区域；
S130、对半径超过预设阈值的障碍物区域建立对应的所述障碍物类别标签的置信度补偿区域；以及
S140、当车辆至少基于采集到图像进行神经网络识别时，若像素对应的定位信息位于所述置信度补偿区域中，则增加所述障碍物类别标签的置信度，再进行障碍物类别标签排序后，输出所述像素的障碍物类别标签。


2.根据权利要求1所述的基于定位补偿的障碍物检测方法，其特征在于，还包括以下步骤：
S150、根据所述图像内个像素的障碍物类别标签进行聚类，根据聚类结果对所述图像分割为多个区域，并获得所述区域对应的所述图像障碍物类别标签。


3.根据权利要求1所述的基于定位补偿的障碍物检测方法，其特征在于，所述步骤S110中，通过车辆的双目摄像装置采集的图像数据和/或激光雷达采集的点云数据获得，所有障碍物基于所述车辆的距离以及障碍物类别标签；通过基于车辆的实时定位信息以及姿态检测，获得所述障碍物的定位信息。


4.根据权利要求1所述的基于定位补偿的障碍物检测方法，其特征在于，所述步骤S120中，对多个车辆采集到的障碍物类别标签基于所述定位信息进行聚类并去重，获得所述障碍物在电子地图中的障碍物区域。


5.根据权利要求1所述的基于定位补偿的障碍物检测方法，其特征在于，所述步骤S130中，在电子地图中对每个障碍物区域建立中心，以所述中心为圆心，基于预设半径范围建立至少一圆形的置信度补偿区域，所述预设阈值的取值范围为大于3米，预设半径的取值范围为小于100米。


6.根据权利要求5所述的基于定位补偿的障碍物检测方法，其特征在于，所述步骤S140中，当所述像素对应的定位信息位于所述置信度补偿区域，则根据预设倍率乘以该像素获得的所述置信度补偿区域对应的一类障碍物类别标签的置信度后，再进行所述障碍物类别标签的排序，输出排序最高的障碍物类别标签作为所述像素的障碍物类别标签，所述预设倍率的取值范围是1.5至5。


7.根据权利要求6所述的基于定位补偿的障碍物检测方法，其特征在于，随着所述像素对应的定位信息与所述障碍物区域的中心的距离减小，预设倍率增大。


8.根据权利要求1所述的基于定位补偿的障碍物检测方法，其特征在于，所述步骤S110中包括以下步骤：
S111、使用双目摄像装置拍摄彩色图像；
S112、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，获得每个像素点的距离值，生成基于左图像的点云信息、俯视图以及所述像素点在电子地图中的定位信息；
S113、基于左图像输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物类别标签、障碍物编码、标签置信度以及定位信息，获得所述左图像的复合图像信息；
S114、在所述俯视图中标示所有障碍物的位置、距离以及障碍物类别标签；以及
S115、基于车辆的实时定位信息和俯视图中的障碍物与所述车辆的位置关系，获得所述障碍物在电子地图中的定...

【专利技术属性】
技术研发人员：谭黎敏，孙作雷，饶兵兵，杨骋，
申请(专利权)人：上海西井信息科技有限公司，
类型：发明
国别省市：上海;31