【技术实现步骤摘要】
公开了用于将汽车传感器数据集变换成uav模拟数据集的系统和方法。
技术介绍
1、当前的无人机(uav)数据集主要以相机数据为特征，排除了激光雷达检测和雷达检测。这种数据可用性的缺乏是由于uav大量配备了这些传感器。然而，在没有包括雷达传感器数据和激光雷达传感器数据的uav数据集的情况下，开发uav传感器融合算法可能非常具有挑战性。
2、uav可搭载用于检测下方地面上的对象的多种传感器，以及用于检测飞行中的其他对象的传感器。然而，用于获得地面上的这些数据的视角部分地由于uav操作所处于的仰角而偏斜。车辆还拥有多种车载传感器，包括雷达和激光雷达，所述车载传感器可用于获得其操作环境(诸如，其他车辆、行人、建筑物和/或其他基础设施)周围的数据。这些数据是从距地面较低的车辆的视角收集的。
技术实现思路
1、在一些实例中，这包括使用雷达数据，然而，也可变换其他传感器数据。要将来自自我意识车辆的车辆传感器的汽车数据集变换成uav视角，可考虑模拟uav在与自我意识车辆相同的笛卡尔坐标位置处，在车辆上方的高度h处飞行。模拟雷达可安装在uav的底部上，面向正下方，从而提供交通场景的模拟鸟瞰图(bev)。可选择uav飞行的高度以使雷达的视野(fov)与车辆的fov尽可能接近地匹配，以利用uav雷达的角分辨率。
2、然后，对于汽车数据集中的雷达检测事件，可使用几何变换来将汽车数据集从车辆的传感器数据转换成uav的视角。本文公开的示例方法可用于处理场景中的帧，从而产生在自我意识车辆的
3、这些系统和方法可用于增加雷达模拟的逼真性，除了利用数据集中的雷达(如果可用的话)之外还利用各种传感器。例如，如果激光雷达数据在汽车数据集中可用，则它可用于解决汽车雷达中的仰角模糊度。目前，因为仅从汽车雷达返回径向速度，所以将其变换成uav视角是不现实的。然而，通过将这些数据与汽车数据集中可用的相机输出组合，可使用来自相机的光流来获得对象的真实三维速度，从而产生uav模拟点的逼真的径向速度。
4、换句话说，本公开提供了将包括雷达数据的现有汽车数据集变换成配备有雷达的uav的模拟视角的方法。这种方法是一种利用包括雷达数据和地面实况类别注释(耗时的过程)的现有汽车数据集并重新利用数据来训练uav感知算法从而实时地产生场景的鸟瞰图的方法，可用于开发没有传感器的具有挑战性的高级驾驶员辅助系统(adas)的系统。
5、通过本文公开的系统和方法可实现各种非限制性优点。例如，模拟数据可包括逼真场景、对象大小和运动以及传感器检测信息，因为它是从真实的汽车传感器数据变换而来的。这些类型的数据变换允许我们利用来自原始数据集的相关交通对象(例如，行人、骑自行车的人、车辆等)的地面实况标签，这是一个耗时的注释过程。本文公开的方法是灵活的，从而允许通过改变传感器规格来模拟不同类型的雷达传感器。
6、而且，当前很少或没有包含城市交通场景的雷达数据的公共uav数据集。本文的方法可使用现有的公共数据来训练无人机以就模拟但现实的数据进行感知和规划任务。
7、本文的方法还实时地提供场景的鸟瞰图，并且可用于在没有传感器的情况下开发具有挑战性的adas系统。由于这些原因，本文公开的方法可用于训练无人机以在相机数据可能不可用的恶劣天气中执行感知和规划任务，诸如在有雾或雨天的包裹递送和监控。
本文档来自技高网...【技术保护点】
1.一种方法，其包括：
2.根据权利要求1所述的方法，其中所述模拟雷达的所述取向在所述车辆上方面向正下方。
3.根据权利要求1所述的方法，其还包括将所述模拟雷达的所述视野与所述车辆的视野进行匹配。
4.根据权利要求1所述的方法，其还包括使用GPS和/或惯性测量单元(IMU)数据转换所述车辆雷达数据以补偿俯仰、横摆、侧倾和其他车辆运动分量。
5.根据权利要求1所述的方法，其还包括使用模拟雷达校准将所述UAV坐标系转换成所述模拟雷达传感器帧。
6.根据权利要求1所述的方法，其还包括基于所述雷达校准数据而向所述模拟雷达传感器帧的模拟点添加噪声，以考虑车辆雷达传感器的角分辨率的限制。
7.根据权利要求1所述的方法，其中针对场景中的每个帧重复所述方法，从而产生在所述车辆正上方飞行的所述UAV的模拟数据集。
8.根据权利要求1所述的方法，其还包括整合从所述车辆获得的光成像和测距(激光雷达)数据以解决所述车辆雷达数据中的仰角模糊度。
9.根据权利要求1所述的方法，其还包括整合来自车辆相机的光流，以确
10.一种无人机(UAV)，其包括：
11.根据权利要求10所述的UAV，其中所述模拟雷达的所述取向在所述车辆上方面向正下方。
12.根据权利要求10所述的UAV，其中所述处理器被配置为将所述模拟雷达的所述视野与所述车辆的视野进行匹配。
13.根据权利要求10所述的UAV，其中所述处理器被配置为使用GPS和/或惯性测量单元(IMU)数据转换所述车辆雷达数据以补偿俯仰、横摆、侧倾和其他车辆运动分量。
14.根据权利要求10所述的UAV，其中所述处理器被配置为使用模拟雷达校准将所述UAV坐标系转换成所述模拟雷达传感器帧。
15.根据权利要求10所述的UAV，其中所述处理器被配置为基于所述雷达校准数据而向所述模拟雷达传感器帧的模拟点添加噪声，以考虑车辆雷达传感器的角分辨率的限制。
...【技术特征摘要】
1.一种方法，其包括：
2.根据权利要求1所述的方法，其中所述模拟雷达的所述取向在所述车辆上方面向正下方。
3.根据权利要求1所述的方法，其还包括将所述模拟雷达的所述视野与所述车辆的视野进行匹配。
4.根据权利要求1所述的方法，其还包括使用gps和/或惯性测量单元(imu)数据转换所述车辆雷达数据以补偿俯仰、横摆、侧倾和其他车辆运动分量。
5.根据权利要求1所述的方法，其还包括使用模拟雷达校准将所述uav坐标系转换成所述模拟雷达传感器帧。
6.根据权利要求1所述的方法，其还包括基于所述雷达校准数据而向所述模拟雷达传感器帧的模拟点添加噪声，以考虑车辆雷达传感器的角分辨率的限制。
7.根据权利要求1所述的方法，其中针对场景中的每个帧重复所述方法，从而产生在所述车辆正上方飞行的所述uav的模拟数据集。
8.根据权利要求1所述的方法，其还包括整合从所述车辆获得的光成像和测距(激光雷达)数据以解决所述车辆雷达数据中的仰角...
【专利技术属性】
技术研发人员：S·赵，G·库马尔，A·马利克，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。