一种基于路侧设备的多目标检测和视野转换方法技术

本文公开了一种基于路侧设备的多目标检测和视野转换方法，属于无人驾驶车路协同感知领域。路侧设备的多目标检测具体方法为：激光雷达点云和图像数据进行预处理；采用深度学习的方法提取点云和图像特征图；点云特征与图像特征在多通道、多层次、多维度方面信息融合进行目标检测。视野转化方法为：在路侧视角下搜寻每一辆车周围一定范围内的目标检测信息，并将这些信息进行切割提取；然后将提取的视图转化为车端视图，发送给车端进行使用。该种方法能够提高路侧视角下宽领域、多目标、多视角目标检测效果，通过目标检测、视图切割、目标提取、视图转化传输的方式能够解决无人驾驶汽车中存在盲区、计算需求大、传感器数量多的问题。传感器数量多的问题。传感器数量多的问题。

【技术实现步骤摘要】
一种基于路侧设备的多目标检测和视野转换方法


[0001]本专利技术涉及一种基于路侧设备的多目标检测和视野转换方法，属于无人驾驶车路协同感知领域。

技术介绍

[0002]在自动驾驶发展过程中自动驾驶安全面临巨大挑战，单车智能存在驾驶盲区、中远距离感知不稳定等问题阻碍了自动驾驶的落地，因此在路侧设备下的多目标检测能够很好的解决单车智能存在的问题，进行多车多目标的视野转换可以降低车载端传感器的使用数量，降低车辆的成本。通过路侧设备的目标检测能够很好的促进自动驾驶的发展和产业化的运行。
[0003]为了解决上述问题，目前，一般采用在车载端加装大量传感器的方法解决单车智能存在的问题，然而加装大量传感器导致车载端的计算量增大，不能满足实时性要求，也增加了车辆成本，同时受车辆高度的限制，车载端传感器视野不够大，不能很好解决单车智能存在的问题。
[0004]有鉴于此，确有必要提出一种基于路侧设备的多目标检测和视野转换方法，以解决上述问题。

技术实现思路

[0005]本专利技术的目的是在于提供一种基于路侧设备的多目标检测和视野转换方法，能够解决单车智能存在的问题。
[0006]为了实现上述目的，本专利技术提供了一种基于路侧设备的多目标检测和视野转换方法，主要包括一下步骤：
[0007]步骤1：激光雷达点云和图像数据进行预处理；
[0008]步骤2：深度学习的方法提取点云和图像特征图；
[0009]步骤3：点云特征与图像特征在多通道、多层次、多维度方面信息融合进行目标检测；
[0010]步骤4：路侧视角下搜寻每一辆车周围一定范围内的目标检测信息，并将这些信息进行切割提取；
[0011]步骤5：将提取的视图转化为车端视图，发送给车端进行使用。
[0012]可选的，步骤1中激光雷达点云预处理主要是去除掉非地面附近的激光雷达点云，对图像数据处理主要是进行图像的增强操作。
[0013]可选的，步骤2中深度学习提取点云特征的骨干网络是以ResNet为基础架构，深度学习提取图像特征的网络是以VIT为基础的架构。
[0014]可选的，步骤3中采用注意力机制在多通道、多层次、多维度方面进行信息融合。
[0015]可选的，步骤4中路侧视角下搜寻每一辆车周围一定范围内的目标检测信息采用的是沿半径的方式进行搜寻，把搜寻到车辆的id信息进行切割提取。
[0016]可选的，步骤5中采用坐标转化的方式进行视图的转换，并以V2X协议的方式发送给车端。
[0017]本专利技术的有益效果是：本专利技术能够很好的解决单车智能存在驾驶盲区、中远距离感知不稳定以及单车智能中传感器使用数量多，成本高，计算需求大的问题。
附图说明
[0018]图1是本专利技术一种基于路侧设备的多目标检测和视野转换方法流程图。
[0019]图2是本专利技术激光雷达点云和图像数据进行预处理流程图。
[0020]图3是本专利技术点云和图像特征提取流程图
[0021]图4是本专利技术点云和图像特征融合流程图
[0022]图5是车辆信息搜索和视图分割提取流程图
[0023]图6是信息发送车端流程图
具体实施方式
[0024]为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本专利技术进行详细描述。
[0025]本专利技术的一种基于路侧设备的多目标检测和视野转换方法主要包括以下步骤：
[0026]步骤1：激光雷达点云和图像数据进行预处理；
[0027]步骤2：深度学习的方法提取点云和图像特征图；
[0028]步骤3：点云特征与图像特征在多通道、多层次、多维度方面信息融合进行目标检测；
[0029]步骤4：路侧视角下搜寻每一辆车周围一定范围内的目标检测信息，并将这些信息进行切割提取；
[0030]步骤5：将提取的视图转化为车端视图，发送给车端进行使用。
[0031]以下将对步骤1到步骤5做具体说明。
[0032]如图2所示，步骤1中激光雷达点云通过采用滤波的方式进行预处理主要是去除掉非地面附近的激光雷达点云，对图像数据处理主要是进行图像的增强操作，点云和图像处理完成之后一块输入到深度学习网络中。
[0033]如图3所示，步骤2中深度学习提取点云特征的骨干网络是以ResNet为基础的架构，深度学习提取图像特征的网络是以VIT为基础的架构。
[0034]如图4所示，步骤3中将点云特征图和图像特征图采用注意力机制分别在通道、维度、层次三个方面进行融合，把最后融合后的特征图进行目标检测。
[0035]如图5所示，步骤4中路侧视角下搜寻每一辆车周围一定范围内的目标检测信息采用的是沿半径的方式进行搜寻，把搜寻到车辆的id信息进行切割提取。
[0036]如图6所示，步骤5中采用坐标转化的方式进行视图的转换，并以V2X协议的方式发送给车端。
[0037]综上所述，本专利技术能够很好的解决单车智能存在驾驶盲区、中远距离感知不稳定以及单车智能中传感器使用数量多，成本高，计算需求大的问题。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于路侧设备的多目标检测和视野转换方法，其特征在于，主要包括以下步骤：步骤1：激光雷达点云和图像数据进行预处理；步骤2：深度学习的方法提取点云和图像特征图；步骤3：点云特征与图像特征在多通道、多层次、多维度方面信息融合进行目标检测；步骤4：路侧视角下搜寻每一辆车周围一定范围内的目标检测信息，并将这些信息进行切割提取；步骤5：将提取的视图转化为车端视图，发送给车端进行使用。2.根据权利要求1所述的基于路侧设备的多目标检测和视野转换方法，其特征在于：步骤1中激光雷达点云预处理主要是去除掉非地面附近的激光雷达点云，对图像数据处理主要是进行图像的增强操作。3.根据权利要求1所述的基于路侧设备的多目标检测和视野转换方法，...

【专利技术属性】
技术研发人员：王玉海，张秀才，吕睿，丁毅然，金长城，金涛，周渊乐，
申请(专利权)人：吉林大学，
类型：发明
国别省市：