基于车路协同的点云目标检测和盲区目标检测方法及系统技术方案

本发明专利技术提供了一种基于车路协同的点云目标检测和盲区目标检测方法及系统，包括：图像目标检测和位置测算；基于校核器进行目标分类；依据校核器的目标分类结果，决定目标的检测方案；使用Pointnet++算法进行点云目标检测。通过巧妙地改变相机的位置和提出方形检索建议区域，应用到车路协同感知的新场景中去，达到了生成更优点云检索建议区域和盲区内目标检测的效果，保证了路灯故障下单车智能的独立性不受任何影响。因为路灯故障时，所有目标都被校核器判断为仅被车检测到的目标，该类目标将被决策为继续沿用搭载在车辆上的原Frustum Pointnets算法，感知结果与路灯无关。这使得搭载了本发明专利技术的智能汽车，在路侧智能辅助下，具有更快速、更全面和更安全的目标感知性能。

Point cloud target detection and blind area target detection method and system based on vehicle road cooperation

【技术实现步骤摘要】
基于车路协同的点云目标检测和盲区目标检测方法及系统
本专利技术属于车载雷达检测领域，尤其涉及一种基于车路协同的点云目标检测和盲区目标检测方法及系统。
技术介绍
目前，在点云和图像的目标识别向的卷积神经网络研究领域，通常采用一种检索建议区域的方法来缩小网络数据处理量，从而提高点云目标或者图像目标识别算法的运行速度，FrustumPointnets就是点云目标识别算法中的主要代表。但是该方法存在一个重大的缺点，就是在实际的路况中，由于路面上目标较多，导致锥形建议区域也相对较多，这使得最后的总建议区域面积非常大，甚至接近原始的360度点云数据。在此情况下，FrustumPointnets算法相对Pointnet++的速度提高有效性将大打折扣，导致算法处理速度低，目标检测速度提升效果不明显。另外，因为车路协同非常强调数据的实时性、时空同步性，所以该场景下对算法的检测速度提出了非常严苛的要求。而在实际应用中速度提升效果不明显的FrustumPointNets方法显然不能很好地满足要求，因为其检测速度将接近改进前的Pointntes++算法，而Pointnets++算法的检测速度本身就相对较慢。除此之外，目前自动驾驶车辆通过搭载大量、多种类的传感器，取得了相对可靠的自动性能。但是在园区场景下的自动驾驶仍然面临着盲区目标检测问题，因为车辆本身在人车混流的园区内处于较为复杂的路况中，且车载传感器安装高度较低，受行人、车辆、绿化带以及地形的影响，不可避免地存在许多传感盲区。在无法获知盲区内的行人以及车辆信息的情况下，自动驾驶车辆将处于高风险的驾驶状态，并且盲区内物体的运动不确定性会给路径规划带来极大困难，这使得园区内的自动驾驶存在显著的安全隐患。
技术实现思路
本专利技术所要解决的技术问题是：解决现有技术的不足，提出了可以解决点云目标神经网络检测速度不足和盲区目标检测的一种基于车路协同的点云目标检测和盲区目标检测方法及系统。第一方面，本专利技术实施例提供一种基于车路协同的点云目标检测和盲区目标检测方法，所述方法包括：图像目标检测和位置测算；基于校核器进行目标分类；依据校核器的目标分类结果，决定目标的检测方案；使用Pointnet++算法进行点云目标检测。第二方面，本专利技术实施例还提供一种基于车路协同的点云目标检测和盲区目标检测的设备，所述设备包括：检测模块：用于图像目标检测和位置测算；分类模块：用于基于校核器进行目标分类；选择模块：用于依据校核器的目标分类结果，决定目标的检测方案；计算模块：用于使用Pointnet++算法进行点云目标的检测。第三方面，本专利技术实施例还提供一种设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于车路协同的点云目标检测和盲区目标检测的方法中的各个步骤。第四方面，本专利技术实施例中还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于车路协同的点云目标检测和盲区目标检测的方法中的各个步骤。本专利技术实施例提供一种基于车路协同的点云目标检测和盲区目标检测的方法，该方法包括：图像目标检测和位置测算；基于校核器进行目标分类；依据校核器的目标分类结果，决定目标的检测方案；使用Pointnet++算法进行点云目标检测。通过巧妙地改变相机的位置和提出方形检索建议区域，应用到车路协同感知的新场景中去，同时达到了生成更优点云检索建议区域和盲区内目标检测的效果，还保证了路灯故障下单车智能的独立性不受任何影响，因为路灯故障时，所有目标都被校核器判断为仅被车检测到的目标，而该类目标将被决策为继续沿用搭载在车辆上的原FrustumPointnets算法，感知结果与路灯无关。这使得搭载了本专利技术的智能汽车，在路侧智能设备的辅助下，具有更快速、更全面和更安全的目标感知性能。附图说明下面结合附图详述本专利技术的具体结构图1为本专利技术的流程图；图2为本专利技术的方形检索建议区域与FrustumPointnets算法的锥形检索建议区域的对比图；图3为本专利技术的盲区目标检测示意图；图4为本专利技术的校核器目标分类示意图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供了一种基于车路协同的点云目标检测和盲区目标检测的方法，包括：步骤101、图像目标检测和位置测算。其中，使用Faster-rcnn算法对车辆端的结构光深度相机和路灯侧的双目相机采集到的图像，进行车辆和行人的识别；识别出车辆和行人的目标后，车辆根据自身深度相机的图像信息和深度信息得到各个目标相对车辆的距离和角度；车辆端获取路灯根据自身的图像信息和双目视差法得到处理后的各个目标相对车辆的距离和角度。步骤102、基于校核器进行目标分类。其中，车辆端配置一种校核器；车辆端实时获取自身和所述路灯得到的目标位置信息，调用校核器对所有目标位置进行交集和并集处理，使得车辆端感知到校核器处理出来的的三类目标。这三类目标为车辆与路灯共同检测到的目标、车辆单独检测到的目标、路灯单独检测到的目标。步骤103、依据校核器的结果，决定目标的检测方案。其中，车辆端根据校核器的结果，决定每一个目标的检测方案。步骤104、使用Pointnet++算法进行点云目标检测。其中，车辆端汇总所有目标的检测方案，并生成相应的检索建议区域，得出最终的全局检索建议区域；然后车辆端提取出所述全局检索建议区域内的点云，丢弃非区域内的点云数据；最后使用点云检测程序，使用Pointnet++算法进行点云目标识别；得到目标的三维边界框，完成全局目标检测。进一步的，所述图像目标检测和位置测算包括：使用Faster-rcnn算法对车辆端的结构光深度相机和路灯侧的双目相机采集到的图像进行车辆和行人的识别；车辆根据所述结构光深度相机的图像信息和深度信息获取各个目标相对车辆的距离和角度；车辆端获取路灯根据自身的图像信息和双目视差法得到处理后的各个目标相对车辆的距离和角度。进一步的，所述基于校核器进行目标分类包括：车辆端配置一校核器；车辆端实时获取并汇总自身和所述路灯得到的目标位置信息，调用校核器对所有目标位置进行交集、并集处理以及目标分类处理；经过校核器处理，所述车辆端一共感知到三类目标。进一步的，所述车辆端感知到的三类目标为车辆与所述路灯共同检测到的目标、车辆单独检测到的目标、所述路灯单独检测到的目标。进一步的，依据校核器的结果，决定目标的检测方案包本文档来自技高网...

【技术保护点】
1.一种基于车路协同的点云目标检测和盲区目标检测方法，其特征在于，包括：/n图像目标检测和位置测算；/n基于校核器进行目标分类；/n依据校核器的目标分类结果，决定目标的检测方案；/n使用Pointnet++算法进行点云目标检测。/n

【技术特征摘要】
1.一种基于车路协同的点云目标检测和盲区目标检测方法，其特征在于，包括：
图像目标检测和位置测算；
基于校核器进行目标分类；
依据校核器的目标分类结果，决定目标的检测方案；
使用Pointnet++算法进行点云目标检测。


2.如权利要求1所述的方法，其特征在于，所述图像目标检测和位置测算的包括：
使用Faster-rcnn算法对车辆端的结构光深度相机和路灯侧的双目相机采集到的图像进行车辆和行人的识别；
所述车辆端根据所述结构光深度相机的图像信息和深度信息获取各个目标相对车辆的距离和角度；
所述车辆端获取所述路灯根据双目相机的图像信息和双目视差法得到处理后的各个目标相对车辆的距离和角度。


3.如权利要求1所述的方法，其特征在于，所述基于校核器进行目标分类包括：
所述车辆端配置一校核器；
所述车辆端实时获取并汇总自身和路灯得到处理后的目标位置信息，调用所述校核器对所有目标位置进行交集、并集处理以及目标分类处理；
经过校核器处理，所述车辆端一共感知到三类目标。


4.如权利要求3所述的方法，其特征在于，所述车辆端感知到的三类目标为车辆与所述路灯共同检测到的目标、车辆单独检测到的目标、所述路灯单独检测到的目标。


5.如权利要求1所述的方法，其特征在于，所述依据校核器的结果，决定目标的检测方案包括：
所述车辆端根据校核器的结果，决定每一个目标的检测方案。


6.如权利要求5所述的方法，其特征在于，对于不同目标采用不同的检测方案包括：
所述车辆与路灯共同检测到的目标的检测方案包括：
所述车辆端拥有自身所述深度相机与所述路灯侧设备检测的目标的相对位置信息；
所述车辆端丢弃自身所述深度相机检测出的目标的...

【专利技术属性】
技术研发人员：贺悦茂，赵舒静，周婷，陈勇全，钱辉环，
申请(专利权)人：深圳市人工智能与机器人研究院，香港中文大学深圳，
类型：发明
国别省市：广东;44