交通场景的快照图像制造技术

本公开的各示例描述了用于创建交通场景的快照图像的方法和装置。该方法包括：获取安装在车辆上的传感器的至少两个传感器数据帧，其中该至少两个传感器数据帧是在不同时间处按顺序收集的；获取该传感器的位置；基于所获取的传感器的位置来将每个传感器数据帧变换到当前参考坐标系中；以及将经变换的传感器数据绘制到图像上以形成快照图像。据绘制到图像上以形成快照图像。据绘制到图像上以形成快照图像。

【技术实现步骤摘要】
【国外来华专利技术】交通场景的快照图像


[0001]本公开一般涉及自动驾驶车辆，更具体地，涉及用于自动驾驶车辆的传感器数据处理。

技术介绍

[0002]自动驾驶车辆(也称为无人驾驶汽车、自动驾驶汽车、机器人汽车)是一种能够感测其环境并且在无需人类输入的情况下导航的车辆。自动驾驶车辆(在下文中被称为ADV)使用各种技术来检测其周边环境，诸如使用雷达、激光、GPS、测程法以及计算机视觉。高级的控制系统对感测信息进行解读以标识合适的导航路径，以及障碍物和相关路标。
[0003]更具体地，ADV从各种车载传感器(例如相机、激光雷达、雷达等)收集传感器数据。基于该传感器数据，ADV可以构建其周围的实时道路模型。道路模型可包括各种信息，包括但不限于车道标志、交通灯、交通标志、道路边界等。将所构建的道路模型与预先安装的道路模型(诸如由高清晰度(HD)地图提供商提供的那些道路模型)进行比较，以使得ADV可以更准确地确定其在HD地图中的位置。同时，ADV还可以基于传感器数据来标识其周围的对象，诸如车辆和行人。ADV可以基于所确定的道路模型和所标识的周围对象(诸如车道改变、加速、刹车等)来做出适当的驾驶决策。
[0004]如本领域中已知的，不同的传感器产生不同形式或格式的数据。例如，相机提供图像，而激光雷达提供点云。在处理来自不同传感器的此类传感器数据时，必须单独处理每种类型的传感器数据。因此，对于每种类型的传感器，必须建立一个或多个用于对象标识的模型。另外，对于任何特定类型的传感器，在用于训练目标模型时，它可能具有缺点。例如，如果使用由相机直接获取的图像来训练模型，则缺点可包括：(1)没有对图像中的各元素进行分类；(2)图像可以处于任意视角；以及(3)需要大量的样本图像来训练目标模型。对于其他类型的传感器可能存在类似的缺点。因此，期望一种利用传感器数据来记录交通场景的改进的解决方案。

技术实现思路

[0005]本公开的目的在于提供一种用于创建交通场景的快照图像的方法和装置。
[0006]根据本公开的第一示例性实施例，提供了一种用于创建交通场景的快照图像的方法。该方法包括：获取安装在车辆上的传感器的至少两个传感器数据帧，其中该至少两个传感器数据帧是在不同时间处按顺序收集的；获取该传感器的位置；基于所获取的传感器的位置来将每个传感器数据帧变换到当前参考坐标系中；以及将经变换的传感器数据绘制到图像上以形成快照图像。
[0007]根据本公开的第二示例性实施例，提供了一种用于创建交通场景的快照图像的装置。该装置包括：传感器数据获取模块，该传感器数据获取模块被配置用于获取安装在车辆上的传感器的至少两个传感器数据帧，其中该至少两个传感器数据帧是在不同时间处按顺序收集的；传感器位置获取模块，该传感器位置获取模块被配置用于获取该传感器的位置；
变换模块，该变换模块被配置用于基于所获取的传感器的位置来将每个传感器数据帧变换到当前参考坐标系中；以及绘制模块，该绘制模块被配置用于将所有经变换的传感器数据绘制到图像上以形成快照图像。
[0008]根据本公开的第三示例性实施例，提供了一种包括至少一个传感器和该第二示例性实施例的装置的车辆。
[0009]提供本
技术实现思路
以便以简化的形式介绍以下在具体实施方式中进一步描述的概念的选集。本
技术实现思路
并非旨在标识出要求保护的主题内容的关键特征或必要特征，亦非旨在限定要求保护的主题内容的范围。诸示例的附加的方面、特征和/或优点将在下面的描述中部分地阐述，并且部分地从描述中将是显而易见的，或者可以通过本公开的实践而获知。
附图说明
[0010]结合附图，通过以下对示例性实施例的详细描述，本公开的上述和其它方面和优点将变得显而易见，这些附图作为示例解说了本公开的原理。注意，附图不一定按比例绘制。
[0011]图1解说了根据本专利技术的一实施例的从交通场景的快照图像生成的示例性示图。
[0012]图2是根据本专利技术的一实施例的用于创建交通场景的快照图像的示例性方法的流程图。
[0013]图3解说了根据本专利技术的另一实施例的从交通场景的快照图像生成的示例性示图。
[0014]图4是根据本专利技术的另一实施例的用于创建交通场景的快照图像的示例性方法的流程图。
[0015]图5是根据本专利技术的又一实施例的用于创建交通场景的快照图像的示例性方法的流程图。
[0016]图6是根据本专利技术的一实施例的用于利用快照图像来训练道路模型的示例性方法的流程图。
[0017]图7是根据本专利技术的一实施例的用于利用快照图像来训练事件检测器的示例性方法的流程图。
[0018]图8是根据本专利技术的一实施例的在车辆上实现的用于检测事件的示例性方法的流程图。
[0019]图9解说了根据本专利技术的一实施例的用于创建交通场景的快照图像的示例性装置。
[0020]图10解说了根据本专利技术的一实施例的示例性车辆。
[0021]图11解说了根据本专利技术的另一实施例的用于创建交通场景的快照图像的示例性装置。
[0022]图12解说了根据本专利技术的另一实施例的示例性车辆。
[0023]图13解说了根据本专利技术的又一实施例的用于创建交通场景的快照图像的示例性装置。
[0024]图14解说了根据本专利技术的又一实施例的示例性车辆。
[0025]图15解说了根据本专利技术的一实施例的用于利用快照图像来训练道路模型的示例性系统。
[0026]图16解说了根据本专利技术的一实施例的用于利用快照图像来训练事件检测器的示例性系统。
[0027]图17解说了根据本专利技术的一实施例的在车辆上用于检测事件的装置。
[0028]图18解说了根据本专利技术的一实施例的示例性车辆。
[0029]图19解说了根据本公开的示例性实施例的其中可应用本公开的一般硬件环境。
具体实施方式
[0030]在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有一些或所有这些具体细节的情况下实践所描述的实施例。在其他示例性实施例中，未详细描述众所周知的结构或处理步骤，以避免不必要地使本公开的概念模糊。
[0031]在说明书中使用的术语车辆摂是指汽车、飞机、直升机、轮船等。为了简单起见，结合“汽车”来描述本专利技术，但是本文所描述的各实施例不仅限于“汽车”，而是可适用于其他种类的交通工具。说明书中使用的术语“A或B”是指“A和B”和“A或B”，而不是意味着A和B是排他的，除非另有说明。
[0032]I.快照
[0033]本专利技术提供了一种方法，该方法能够以统一的方式高效地将各种类型的传感器数据集成在车辆上，以整体地展现车辆周围的交通场景的信息。该方法在某种程度上类似于拍摄场景的照片，因此在下文中被称为“快照”，并且这些快照的数据被称为“快照图像”。
[0034]1.多个传感器，一个时间戳
[0035]作为本专利技术的第一实施例，可以通过同时捕获的来自多个传感器的传感器数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于创建交通场景的快照图像的计算机实现的方法，其特征在于，所述方法包括：获取安装在车辆上的传感器的至少两个传感器数据帧，所述至少两个传感器数据帧是在不同时间处按顺序收集的；获取所述传感器的位置；基于所获取的传感器的位置来将每个传感器数据帧变换到当前参考坐标系中；以及将经变换的传感器数据绘制到图像上以形成快照图像。2.根据权利要求1所述的方法，其中所述传感器是从以下传感器中选择的：激光雷达；雷达；以及相机。3.根据前述权利要求中任一项所述的方法，其中所述参考坐标系是平行于地面的二维坐标系。4.根据权利要求3所述的方法，其中所述参考坐标系的原点是所述车辆的后轮轴的中心点或所述传感器的质心。5.根据前述权利要求中任一项所述的方法，其中所述方法进一步包括：确定所述快照图像的参考时间戳。6.根据权利要求5所述的方法，其中所述方法进一步包括：标记每个传感器数据帧相对于所述参考时间戳的年龄。7.根据前述权利要求中任一项所述的方法，其中所述方法进一步包括：融合在所述参考坐标系中具有交叠位置的传感器数据。8.根据前述权利要求中任一项所述的方法，其中基于所获取的传感器的位置来将每个传感器数据帧变换到当前参考坐标系中进一步包括：确定所述车辆在各帧之间的相对移动；以及基于所获取的传感器的位置和所确定的所述车辆的相对移动来将每个传感器数据帧变换到当前参考坐标系中。9.根据前述权利要求中任一项所述的方法，其中对于在三维坐标系中的传感器数据，所述基于所获取的传感器的位置来将所述至少两种类型的传感器中的每个传感器的传感器数据变换到参考坐标系中进一步包括：将所述三维坐标系...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：宝马股份公司，
类型：发明
国别省市：