【技术实现步骤摘要】
本专利技术涉及路侧感知，尤其是路侧鸟瞰图目标检测技术。
技术介绍
1、近年来，鸟瞰图可以应用在自动驾驶领域进行定位、跟踪、以及导航，一般为了实现精确定位，车辆配备了各种传感器，如gps(global positioning system，全球定位系统)、相机、激光雷达、imu(inertial measurement unit，惯性测量单元)等，在车辆运行过程中，对各种传感器获得的图像提取特征，再进行转换，获取以车身为原点的鸟瞰图，再利用目标检测算法对鸟瞰图进行目标提取，从而实现定位、跟踪、导航等应用。
2、现有在路侧进行目标识别的方法多数是用基于图像的2d目标检测/3d目标检测，激光雷达也是单独做一个3d检测，然后对每个传感器得到的目标再去融合。这样融合的方式对于截断或遮挡情况，需要用大量的人工策略针对每种情况去判断修复，并且无法达到精确识别的效果。
技术实现思路
1、为了解决上述技术缺陷，本申请实施例提供了一种路侧鸟瞰图目标检测方法、装置与计算设备、存储介质。
2、本申请第一方面实施例提供一种路侧鸟瞰图目标检测方法，包括步骤：
3、利用当前路侧设备中的多个相机分别捕获路侧架设杆预设范围内的道路区域，获得多张道路区域图像；
4、分别对每张所述道路区域图像进行特征提取，分别获得每张所述道路区域图像对应的图像特征；
5、将每张所述道路区域图像对应的图像特征分别转换到以所述路侧架设杆为原点的坐标系上的鸟瞰图特征；
7、基于所述融合后的鸟瞰图特征获取目标对象的识别结果。
8、在其中一种可能的实现方式中，将每张所述道路区域图像对应的图像特征分别转换到以所述路侧架设杆为原点的坐标系上的鸟瞰图特征包括：
9、通过基于自注意力机制的深度学习变换模型将每张所述道路区域图像对应的图像特征分别转换到以所述路侧架设杆为原点的坐标系上的鸟瞰图特征，所述深度学习变换模型的参数在训练中学习获得外参的变换矩阵。
10、在其中一种可能的实现方式中，将每张所述道路区域图像对应的图像特征分别转换到以所述路侧架设杆为原点的坐标系上的鸟瞰图特征包括：
11、对所述道路区域图像对应的图像特征，进行如下操作：
12、将所述图像特征中的一部分特征层使用归一化指数函数在[n,c,h,w]通道c维度求取概率，其中n表示批量大小，c表示特征图通道数，h表示特征图的高，w表示特征图的宽，每个位置上的概率分布用于表示该像素沿着相机射线离散的深度分布；
13、将所述深度分布与所述图像特征中的另一部分的特征层相乘得到带深度信息的相机特征；
14、利用所述深度分布、相机内部参数以及相机的外部参数将所述相机特征投影到鸟瞰图视角下，所述鸟瞰图视角下的一个体素包含多个所述相机特征；
15、将多个所述相机特征沿着z轴以累加的方式聚合起来。
16、在其中一种可能的实现方式中，所述相机的外部参数包括从所述相机为原点的坐标系到所述路侧架设杆为原点的坐标系的转换关系。
17、在其中一种可能的实现方式中，将获得的多张所述道路区域图像对应的鸟瞰图特征进行合并，并进行特征融合获得所述路侧设备对应的融合后的鸟瞰图特征之前还包括：
18、获得所述路侧设备中的激光雷达传感器采集的点云数据；
19、对所述点云数据进行特征提取获得激光雷达特征；
20、将所述激光雷达特征进行降维处理，转换为[bs,c*d,h,w]维度的鸟瞰图特征，其中，bs表示一次训练输入的批次数，c表示特征图通道数，h表示特征图的高，w表示特征图的宽，d表示特征图的深度。
21、在其中一种可能的实现方式中，将获得的多张所述道路区域图像对应的鸟瞰图特征进行合并，并进行特征融合获得所述路侧设备对应的融合后的鸟瞰图特征之后还包括：
22、根据当前路侧设备的标识和/或坐标信息，确定是否存在一个或者多个路侧设备与当前路侧设备对应的道路区域图像的覆盖范围存在重叠；
23、当存在一个或者多个路侧设备与当前路侧设备对应的道路区域图像的覆盖范围存在重叠时，
24、将一个或者多个路侧设备对应的融合后的鸟瞰图特征与当前路侧设备对应的融合后的鸟瞰图特征沿着通道c维度进行合并，并通过卷积进行特征融合获得融合后的鸟瞰图特征。
25、在其中一种可能的实现方式中，基于所述融合后的鸟瞰图特征获取目标对象的识别结果包括：
26、根据激光雷达传感器到所述路侧架设杆的标定变换关系，将所述激光雷达传感器采集的点云数据转换到所述路侧架设杆坐标系下，并作为所述路侧设备的多个相机视野范围内的目标真值，标注3d立体框。
27、本申请第二方面实施例提供一种路侧鸟瞰图目标检测装置，包括：
28、图像模块，用于利用当前路侧设备中的多个相机分别捕获路侧架设杆预设范围内的道路区域，获得多张道路区域图像；
29、提取模块，用于分别对每张所述道路区域图像进行特征提取，分别获得每张所述道路区域图像对应的图像特征；
30、转换模块，用于将每张所述道路区域图像对应的图像特征分别转换到以所述路侧架设杆为原点的坐标系上的鸟瞰图特征；
31、融合模块，用于将获得的多张所述道路区域图像对应的鸟瞰图特征进行合并，并进行特征融合获得所述路侧设备对应的融合后的鸟瞰图特征；
32、识别模块，用于基于所述融合后的鸟瞰图特征获取目标对象的识别结果。
33、在其中一种可能的实现方式中，所述转换模块用于：
34、通过基于自注意力机制的深度学习变换模型将每张所述道路区域图像对应的图像特征分别转换到以所述路侧架设杆为原点的坐标系上的鸟瞰图特征，所述深度学习变换模型的参数在训练中学习获得外参的变换矩阵；或者，
35、对所述道路区域图像对应的图像特征，进行如下操作：
36、将所述图像特征中的一部分特征层使用归一化指数函数在[n,c,h,w]通道c维度求取概率，其中n表示批量大小，c表示特征图通道数，h表示特征图的高，w表示特征图的宽，每个位置上的概率分布用于表示该像素沿着相机射线离散的深度分布；
37、将所述深度分布与所述图像特征中的另一部分的特征层相乘得到带深度信息的相机特征；
38、利用所述深度分布、相机内部参数以及相机的外部参数将所述相机特征投影到鸟瞰图视角下，所述鸟瞰图视角下的一个体素包含多个所述相机特征；
39、将多个所述相机特征沿着z轴以累加的方式聚合起来。
40、本申请实施例第三方面还提供了一种计算设备，包括：
41、存储器；处理器；以及计算机程序；
42、其中，所述计算机程序存储在所述存储器中，并被配置为由所述处本文档来自技高网...
【技术保护点】
1.一种路侧鸟瞰图目标检测方法，其特征在于，包括步骤：
2.如权利要求1所述的方法，其特征在于，将每张所述道路区域图像对应的图像特征分别转换到以所述路侧架设杆为原点的坐标系上的鸟瞰图特征包括：
3.如权利要求1所述的方法，其特征在于，将每张所述道路区域图像对应的图像特征分别转换到以所述路侧架设杆为原点的坐标系上的鸟瞰图特征包括：
4.如权利要求3所述的方法，其特征在于，所述相机的外部参数包括从所述相机为原点的坐标系到所述路侧架设杆为原点的坐标系的转换关系。
5.如权利要求1所述的方法，其特征在于，将获得的多张所述道路区域图像对应的鸟瞰图特征进行合并，并进行特征融合获得所述路侧设备对应的融合后的鸟瞰图特征之前还包括：
6.如权利要求3或5所述的方法，其特征在于，将获得的多张所述道路区域图像对应的鸟瞰图特征进行合并，并进行特征融合获得所述路侧设备对应的融合后的鸟瞰图特征之后还包括：
7.如权利要求5所述的方法，其特征在于，基于所述融合后的鸟瞰图特征获取目标对象的识别结果包括：
8.一种路侧鸟瞰图目标检
9.一种计算设备，其特征在于，包括：
10.计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种路侧鸟瞰图目标检测方法，其特征在于，包括步骤：
2.如权利要求1所述的方法，其特征在于，将每张所述道路区域图像对应的图像特征分别转换到以所述路侧架设杆为原点的坐标系上的鸟瞰图特征包括：
3.如权利要求1所述的方法，其特征在于，将每张所述道路区域图像对应的图像特征分别转换到以所述路侧架设杆为原点的坐标系上的鸟瞰图特征包括：
4.如权利要求3所述的方法，其特征在于，所述相机的外部参数包括从所述相机为原点的坐标系到所述路侧架设杆为原点的坐标系的转换关系。
5.如权利要求1所述的方法，其特征在于，将获得的多张所述道路区域图像对应的鸟瞰图特征进行合并，并...
【专利技术属性】
技术研发人员：张上鑫，
申请(专利权)人：智道网联科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。