基于图像与激光数据的自动驾驶场景下的目标检测系统技术方案

本发明专利技术公开了基于图像与激光数据的自动驾驶场景下的目标检测系统，涉及自动驾驶技术领域，具体为基于图像与激光数据的自动驾驶场景下的目标检测系统，包括激光雷达数据和相机数据，所述激光雷达数据的输出端分别连接有传统点云处理算法模块和点云处理神经网络，所述传统点云处理算法模块和点云处理神经网络的输出端连接有融合模块，所述融合模块的输出端连接有多传感器融合模块。该基于图像与激光数据的自动驾驶场景下的目标检测系统，可以在日常驾驶场景下使用车载的相机、激光雷达的数据进行周围环境的感知，有效检测到车辆周围的障碍物和重要目标，并对各种天气和光照条件鲁棒，大大提高了自动驾驶的可靠性和安全性。

【技术实现步骤摘要】
基于图像与激光数据的自动驾驶场景下的目标检测系统
本专利技术涉及自动驾驶
，具体为基于图像与激光数据的自动驾驶场景下的目标检测系统。
技术介绍
自动驾驶汽车又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过电脑系统实现无人驾驶的智能汽车。自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。障碍物及重要目标检测是指基于车载的相机和激光传感器数据，进行人、车和交通灯等重要目标的检测和感知，在自动驾驶领域有着极为重要的地位。目前的障碍物检测技术存在的瓶颈包括基于图像数据的检测速度和精度的权衡，重要小目标检测困难，驾驶场景多样性和复杂性带来的检测困难，光线与天气对于传感器的影响等。
技术实现思路
针对现有技术的不足，本专利技术提供了基于图像与激光数据的自动驾驶场景下的目标检测系统，解决了上述
技术介绍
中提出目前的障碍物检测技术存在的瓶颈包括基于图像数据的检测速度和精度的权衡，重要小目标检测困难，驾驶场景多样性和复杂性带来的检测困难，光线与天气对于传感器的影响等问题。为实现以上目的，本专利技术通过以下技术方案予以实现：基于图像与激光数据的自动驾驶场景下的目标检测系统，包括激光雷达数据和相机数据，所述激光雷达数据的输出端分别连接有传统点云处理算法模块和点云处理神经网络，所述传统点云处理算法模块和点云处理神经网络的输出端连接有融合模块，所述融合模块的输出端连接有多传感器融合模块，所述多传感器融合模块的输入端分别连接有生成对抗网络和图像目标检测网络，所述生成对抗网络和图像目标检测网络的输入端连接有相机数据。可选的，所述激光雷达数据通过API接口分别与传统点云处理算法模块和点云处理神经网络实现数据传输，所述激光雷达数据与传统点云处理算法模块和点云处理神经网络电性并联，所述传统点云处理算法模块用于完成激光雷达点云的地片点云移除、聚类与分割，并进行目标检测。可选的，所述传统点云处理算法模块和点云处理神经网络与融合模块电性并联，所述传统点云处理算法模块和点云处理神经网络通过API接口与融合模块实现数据传输。可选的，所述融合模块与多传感器融合模块电性串联，所述融合模块通过API接口与多传感器融合模块实现数据传输，所述多传感器融合模块用于进行多传感器后融合的模块，将点云目标检测算法和图像目标检测算法的结果进行融合，形成最终的检测结果。可选的，所述多传感器融合模块通过API接口与生成对抗网络和图像目标检测网络电性并联，所述多传感器融合模块通过API接口与生成对抗网络和图像目标检测网络实现数据传输，所述生成对抗网络用以辅助图像目标检测网络进行特征提取的对抗模块。可选的，所述生成对抗网络和图像目标检测网络与相机数据电性并联，所述生成对抗网络和图像目标检测网络通过API接口与相机数据实现数据传输。本专利技术提供了基于图像与激光数据的自动驾驶场景下的目标检测系统，具备以下有益效果：1、该基于图像与激光数据的自动驾驶场景下的目标检测系统，使用了主要使用了基于深度学习的图像目标检测和激光点云分割技术，对自动驾驶场景下重要的目标譬如人、车和交通灯等进行目标检测，分别得到图像和点云目标检测结果后，选取使用传感器前融合以及后融合技术对基于点云和图像的检测结果进行融合，弥补了单一传感器目标检测漏检、误检等问题。对于雨雪天气和逆光等对于相机传感器造成成像不佳等问题，使用基于生成式对抗训练的跨域目标检测训练方法，使得目标检测器能够在图像中自适应地提取到鲁棒的特征表征，在光照和能见度不佳的情况下也能稳定工作，大大提升了检测精度和召回率。2、该基于图像与激光数据的自动驾驶场景下的目标检测系统，可以在日常驾驶场景下使用车载的相机、激光雷达的数据进行周围环境的感知，有效检测到车辆周围的障碍物和重要目标，并对各种天气和光照条件鲁棒，大大提高了自动驾驶的可靠性和安全性。3、该基于图像与激光数据的自动驾驶场景下的目标检测系统，通过采用丰富的自动驾驶场景数据、多传感器融合技术以及预适应目标检测技术等，将基于图像数据和激光数据的目标检测进行融合，使得检测系统能够现实中极为复杂的的自动驾驶场景下保证检测的稳定性和健壮性。同时，预适应目标检测技术能够应对雨、雪、雾和逆光等困难场景带来的目标检测困难，使得系统在实际环境的目标检测有质的提升。附图说明图1为本专利技术电路系统结构示意图；图2为本专利技术电路流程结构示意图。图中：1、激光雷达数据；2、传统点云处理算法模块；3、点云处理神经网络；4、融合模块；5、多传感器融合模块；6、生成对抗网络；7、图像目标检测网络；8、相机数据。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。请参阅图1至图2，本专利技术提供一种技术方案：基于图像与激光数据的自动驾驶场景下的目标检测系统，包括激光雷达数据1和相机数据8，激光雷达数据1的输出端分别连接有传统点云处理算法模块2和点云处理神经网络3，传统点云处理算法模块2和点云处理神经网络3的输出端连接有融合模块4，融合模块4的输出端连接有多传感器融合模块5，多传感器融合模块5的输入端分别连接有生成对抗网络6和图像目标检测网络7，生成对抗网络6和图像目标检测网络7的输入端连接有相机数据8。专利技术中：激光雷达数据1通过API接口分别与传统点云处理算法模块2和点云处理神经网络3实现数据传输，激光雷达数据1与传统点云处理算法模块2和点云处理神经网络3电性并联，传统点云处理算法模块2用于完成激光雷达点云的地片点云移除、聚类与分割，并进行目标检测。专利技术中：传统点云处理算法模块2和点云处理神经网络3与融合模块4电性并联，传统点云处理算法模块2和点云处理神经网络3通过API接口与融合模块4实现数据传输；点云处理神经网络3通过使用深度学习的算法，端到端输出点云分割结果，达到点云中目标检测目的。专利技术中：融合模块4与多传感器融合模块5电性串联，融合模块4本文档来自技高网...

【技术保护点】
1.基于图像与激光数据的自动驾驶场景下的目标检测系统，包括激光雷达数据（1）和相机数据（8），其特征在于：所述激光雷达数据（1）的输出端分别连接有传统点云处理算法模块（2）和点云处理神经网络（3），所述传统点云处理算法模块（2）和点云处理神经网络（3）的输出端连接有融合模块（4），所述融合模块（4）的输出端连接有多传感器融合模块（5），所述多传感器融合模块（5）的输入端分别连接有生成对抗网络（6）和图像目标检测网络（7），所述生成对抗网络（6）和图像目标检测网络（7）的输入端连接有相机数据（8）。/n

【技术特征摘要】
1.基于图像与激光数据的自动驾驶场景下的目标检测系统，包括激光雷达数据（1）和相机数据（8），其特征在于：所述激光雷达数据（1）的输出端分别连接有传统点云处理算法模块（2）和点云处理神经网络（3），所述传统点云处理算法模块（2）和点云处理神经网络（3）的输出端连接有融合模块（4），所述融合模块（4）的输出端连接有多传感器融合模块（5），所述多传感器融合模块（5）的输入端分别连接有生成对抗网络（6）和图像目标检测网络（7），所述生成对抗网络（6）和图像目标检测网络（7）的输入端连接有相机数据（8）。


2.根据权利要求1所述的基于图像与激光数据的自动驾驶场景下的目标检测系统，其特征在于：所述激光雷达数据（1）通过API接口分别与传统点云处理算法模块（2）和点云处理神经网络（3）实现数据传输，所述激光雷达数据（1）与传统点云处理算法模块（2）和点云处理神经网络（3）电性并联，所述传统点云处理算法模块（2）用于完成激光雷达点云的地片点云移除、聚类与分割，并进行目标检测。


3.根据权利要求1所述的基于图像与激光数据的自动驾驶场景下的目标检测系统，其特征在于：所述传统点云处理算法模块（2）和点云处理神经网络（3）与融合模块（4）电性并联，所述传统...

【专利技术属性】
技术研发人员：张欢，丁松，贺龙钊，刘梓轩，郑怡姗，
申请(专利权)人：深圳朗道智通科技有限公司，
类型：发明
国别省市：广东;44