基于路侧多传感器融合的车辆检测方法、装置及介质制造方法及图纸

本发明专利技术公开了一种基于路侧多传感器融合的车辆检测方法、装置及介质，其中方法包括：采集路侧多传感器的图像和点云数据；建立路侧多传感器统一坐标系，进行同一路侧点位单激光雷达与多摄像头传感器的联合标定，以及不同路侧点位多个激光雷达传感器的联合标定；分别对采集的多个图像和点云数据进行车辆目标检测，输出2D目标检测框和3D目标检测框；结合路侧多传感器的内外参关系，对2D目标检测框和3D目标检测框的序列进行最优匹配；根据匹配结果输出路侧感知结果。本发明专利技术能够实现对路侧多源异构感知数据的智能处理，在满足路侧感知实时性要求的同时，大大提高了车辆目标检测精度，可广泛应用于计算机视觉和智能网联汽车领域。应用于计算机视觉和智能网联汽车领域。应用于计算机视觉和智能网联汽车领域。

Vehicle detection method, device and medium based on roadside multi-sensor fusion

【技术实现步骤摘要】
基于路侧多传感器融合的车辆检测方法、装置及介质


[0001]本专利技术涉及计算机视觉和智能网联汽车领域，尤其涉及一种基于路侧多传感器融合的车辆检测方法、装置及介质。

技术介绍

[0002]智能网联汽车(ICV)近年来发展迅速，RoboTaxi和RoboBus开始在一些主要城市进行示范运营，为公众提供了全新的出行体验，同时也为无人驾驶交通做出了重要贡献。尽管如此，自动驾驶在一些复杂交通环境中仍然面临着诸多挑战，无论其目标检测算法的精度多高，自动驾驶汽车总是受到传感器安装位置和感应范围的限制，无法检测到传感器盲区内的障碍物和视野外的目标，这种限制也造成了自动驾驶汽车在复杂交通场景下安全性和行驶效率低下。因此，提高盲区感知范围和精度对于智能网联汽车的安全高效运行具有重大意义。近年来新兴的V2X技术打通了车与路之间的信息交互，为感知数据共享提供了便利，配备激光雷达和摄像头等智能传感器的路侧单元(Roadside Unit，RSU)可以极大地扩展智能网联汽车的感知范围并提高目标检测精度。
[0003]由于RSU和OBU(Onboard Unit，车载单元)之间存在延迟，路侧感知算法必须足够高效才能确保车辆获得路侧设备下发的数据具有实时性。近来业界有不少研究已经验证路侧感知的有效性，但受限于实验场地和成本，很多研究只关注协同感知的模拟仿真，也有众多研究倾向于仅使用摄像头来实现路侧感知，无法提供目标的准确位置信息。此外，现有大多数关于路侧感知的研究只考虑来自同一安装位置的传感器数据，没有考虑多点位、多传感器数据的协同。而在实际的复杂交通场景中，往往需要融合多点位、多视角、多传感器数据来进行连续性的目标检测与跟踪，从而提高目标检测精度，扩大感知范围。

技术实现思路

[0004]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种基于路侧多传感器融合的车辆检测方法、装置及介质。
[0005]本专利技术所采用的技术方案是：
[0006]一种基于路侧多传感器融合的车辆检测方法，包括以下步骤：
[0007]采集路侧多传感器的图像和点云数据；
[0008]建立路侧多传感器统一坐标系，进行同一路侧点位单激光雷达与多摄像头传感器的联合标定，以及不同路侧点位多个激光雷达传感器的联合标定；
[0009]分别对采集的多个图像和点云数据进行车辆目标检测，输出2D目标检测框和3D目标检测框；
[0010]结合路侧多传感器的内外参关系，对2D目标检测框和3D目标检测框的序列进行最优匹配；
[0011]根据匹配结果输出路侧感知结果，所述路侧感知结果包括车辆分类、几何尺寸或者位置信息的至少之一。
[0012]进一步地，所述车辆检测方法应用于多传感器、多点位、多视角的路侧协同感知；
[0013]所述路侧多传感器包括雷达、摄像头、毫米波雷达；
[0014]所述多点位指的是在同一连续道路区域内部署多套智能路侧杆，所述智能路侧杆内设有多传感器、移动边缘计算单元、路侧通信单元、GPS定位模块；
[0015]所述多视角指的是部署在不同点位或同一点位的多个传感器分别具有不同的感知范围、感知视角，以扩展路侧多传感器融合感知的范围。
[0016]进一步地，所述采集路侧多传感器的图像和点云数据，包括：
[0017]在同一局域网下，利用移动边缘计算单元同时采集多套智能路侧杆的传感器数据，并利用GPS定位模块对传感器进行同步授时，保证不同传感器在同一时刻采集的数据时间戳同步。
[0018]进一步地，所述建立路侧多传感器统一坐标系，包括：
[0019]在同一连续道路区域内部署的多套智能路侧杆中，选取其中任意一个激光雷达的坐标系作为传感器的基准坐标系，经过联合标定后的其他传感器数据能够直接或间接转换到基准坐标系下，进而实现多传感器数据统一坐标系；
[0020]所述进行同一路侧点位单激光雷达与多摄像头传感器的联合标定，包括：
[0021]路侧传感器安装完成后，利用棋盘格标定法分别对同一路侧杆上的多个摄像头进行内参标定，并分别将不同摄像头与同一激光雷达进行外参标定，获取多组内外参标定矩阵数据，进而实现同一路侧杆上的多传感器数据统一坐标系；
[0022]所述不同路侧点位多个激光雷达传感器的联合标定，包括：
[0023]多个点位路侧传感器安装完成后，根据不同点位激光雷达感知重合部分的背景的几何特征，调整非基准坐标系的激光雷达点云数据与基准坐标系的点云数据的外参矩阵，实现将非基准坐标系的激光雷达点云数据投影到基准激光雷达坐标系下，进而实现不同路侧点位多个激光雷达传感器数据统一坐标系。
[0024]进一步地，所述分别对采集的多个图像和点云数据进行车辆目标检测，输出2D目标检测框和3D目标检测框，包括：
[0025]利用改进的轻量化目标检测网络NanoDet进行图像的车辆目标检测，获得2D目标检测框；
[0026]利用点云处理方法进行激光点云的车辆目标检测，获得3D目标检测框；
[0027]其中，所述改进的轻量化目标检测网络NanoDet指的是：在原始NanoDet目标检测网络模型的基础上，调整模型输入和输出的批量尺寸维度大小与路侧摄像头数量一致，并生成ONNX格式的推理模型，利用TensorRT框架进行模型推理加速，输出多个图像的2D目标检测框序列。
[0028]进一步地，所述利用点云处理方法进行激光点云的车辆目标检测，获得3D目标检测框，包括：
[0029]在基准坐标系下，划分固定的感兴趣区域，对经过联合标定及坐标转换的多个激光雷达的点云数据进行可行驶区域数据滤波，剔除非可行驶区域的点云；
[0030]对经过滤波的点云，利用随机抽样一致算法进行平面分割，分离路面和路面上方的点云数据；
[0031]对经过分割后的路面上方的点云，利用欧氏距离算法，获取包含静止目标及动态
目标的多个点云簇；
[0032]对经过聚类模块的点云簇，计算OBB包围盒参数，根据车辆特征，对点云簇进行分类，分类结果包括车辆及非车辆，最终输出点云的3D目标检测框序列；
[0033]其中，车辆特征包括车辆的几何尺寸、车身最近离地高度及车身最远离地高度。
[0034]进一步地，所述结合路侧多传感器的内外参关系，对2D目标检测框和3D目标检测框的序列进行最优匹配，包括：
[0035]A1、构建预匹配矩阵M
p
和最终匹配矩阵M
f
，结合多传感器联合标定的内外参，将生成的多个3D目标检测框的中心点分别投影到多个图像上，若3D目标检测框的中心点落在2D目标检测框内，且两者的目标分类结果一致，则初步筛选该3D框与2D框满足匹配条件；即若第i个2D框bbox2d
i
与第j个3D框bbox3d
j
满足匹配条件，则M
p
(i,j)＝1，反之M
p
(i,j)＝0；
[0036]A2、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于路侧多传感器融合的车辆检测方法，其特征在于，包括以下步骤：采集路侧多传感器的图像和点云数据；建立路侧多传感器统一坐标系，进行同一路侧点位单激光雷达与多摄像头传感器的联合标定，以及不同路侧点位多个激光雷达传感器的联合标定；分别对采集的多个图像和点云数据进行车辆目标检测，输出2D目标检测框和3D目标检测框；结合路侧多传感器的内外参关系，对2D目标检测框和3D目标检测框的序列进行最优匹配；根据匹配结果输出路侧感知结果，所述路侧感知结果包括车辆分类、几何尺寸或者位置信息的至少之一。2.根据权利要求1所述的一种基于路侧多传感器融合的车辆检测方法，其特征在于，所述车辆检测方法应用于多传感器、多点位、多视角的路侧协同感知；所述路侧多传感器包括雷达、摄像头、毫米波雷达；所述多点位指的是在同一连续道路区域内部署多套智能路侧杆，所述智能路侧杆内设有多传感器、移动边缘计算单元、路侧通信单元、GPS定位模块；所述多视角指的是部署在不同点位或同一点位的多个传感器分别具有不同的感知范围、感知视角，以扩展路侧多传感器融合感知的范围。3.根据权利要求2所述的一种基于路侧多传感器融合的车辆检测方法，其特征在于，所述采集路侧多传感器的图像和点云数据，包括：在同一局域网下，利用移动边缘计算单元同时采集多套智能路侧杆的传感器数据，并利用GPS定位模块对传感器进行同步授时，保证不同传感器在同一时刻采集的数据时间戳同步。4.根据权利要求2所述的一种基于路侧多传感器融合的车辆检测方法，其特征在于，所述建立路侧多传感器统一坐标系，包括：在同一连续道路区域内部署的多套智能路侧杆中，选取其中任意一个激光雷达的坐标系作为传感器的基准坐标系，经过联合标定后的其他传感器数据能够直接或间接转换到基准坐标系下，进而实现多传感器数据统一坐标系；所述进行同一路侧点位单激光雷达与多摄像头传感器的联合标定，包括：路侧传感器安装完成后，利用棋盘格标定法分别对同一路侧杆上的多个摄像头进行内参标定，并分别将不同摄像头与同一激光雷达进行外参标定，获取多组内外参标定矩阵数据，进而实现同一路侧杆上的多传感器数据统一坐标系；所述不同路侧点位多个激光雷达传感器的联合标定，包括：多个点位路侧传感器安装完成后，根据不同点位激光雷达感知重合部分的背景的几何特征，调整非基准坐标系的激光雷达点云数据与基准坐标系的点云数据的外参矩阵，实现将非基准坐标系的激光雷达点云数据投影到基准激光雷达坐标系下，进而实现不同路侧点位多个激光雷达传感器数据统一坐标系。5.根据权利要求1所述的一种基于路侧多传感器融合的车辆检测方法，其特征在于，所述分别对采集的多个图像和点云数据进行车辆目标检测，输出2D目标检测框和3D目标检测框，包括：
利用改进的轻量化目标检测网络NanoDet进行图像的车辆目标检测，获得2D目标检测框；利用点云处理方法进行激光点云的车辆目标检测，获得3D目标检测框；其中，所述改进的轻量化目标检测网络NanoDet指的是：在原始NanoDet目标检测网络模型的基础上，调整模型输入和输出的批量尺寸维度大小与路侧摄像头数量一致，并生成ONNX格式的推理模型，利用TensorRT框架进行模型推理加速，输出多个图像的2D目标检测框序列。6.根据权利要求5所述的一种基于路侧多传感器融合的车辆检测方法，其特征在于，所述利用点云处理方法进行激光点云的车辆目标检测，获得3D目标检测框，包括：在基准坐标系下，划分固定的感兴趣区域，对经过联合标定及坐标转换的多个激光雷达的点云数据进行可行驶区域数据滤波，剔除非可行驶区域的点云；对经过滤波的点云，利用随机抽样一致算法进行平面分割，分离路面和路面上方的点云数据；对经过分割后的路面上方的点云，利用欧氏距离算法，获取包含静止目标及动态目标的多个点云簇；对经过聚类模块的点云簇，计算OBB...

【专利技术属性】
技术研发人员：李巍华，郑少武，谢翀，黎杰，于善虎，叶鸣，卢仲康，
申请(专利权)人：广州华工机动车检测技术有限公司，
类型：发明
国别省市：