车辆用的方法、设备和计算机程序技术

实施例涉及车辆用的方法、设备和计算机程序，以及车辆。所述方法包括获得(110)车辆(100)的摄像头的摄像头传感器数据。所述方法还包括：获得(120)车辆(100)的激光雷达传感器的激光雷达传感器数据。所述方法还包括：确定(150)与车辆(100)的运动相关的信息。所述方法还包括：基于与车辆(100)的运动相关的信息来确定摄像头传感器数据和激光雷达传感器数据的组合图像(160)。

Methods, equipment and computer programs for vehicles

【技术实现步骤摘要】
【国外来华专利技术】车辆用的方法、设备和计算机程序
实施例涉及车辆用的方法、设备和计算机程序，以及涉及车辆，更具体但非排他地，涉及确定激光雷达传感器数据和摄像头传感器数据的组合图像。
技术介绍
自动驾驶和辅助驾驶是汽车研究的两个主要课题。两者的主要前提是感测车辆周围的环境，从而使得能够识别物体和其他驾驶员。一种途径是利用激光雷达传感器来感测车辆周围的物体的距离。
技术实现思路
需要一种改进的概念来探测车辆附近的物体，从而使得能够更精确地确定这些物体的位置。这种需求可以由权利要求的技术方案来满足。实施例涉及车辆用的方法、设备和计算机程序，以及涉及车辆。所述方法可组合(激光雷达传感器的)激光雷达传感器数据和(摄像头的)摄像头传感器数据，来确定包含(激光雷达传感器数据的)距离信息和(摄像头传感器数据的)颜色信息两者的组合图像。为了创建更精确的距离信息和颜色信息的叠加，在组合图像的确定中可以补偿车辆的运动，以便例如考虑到激光雷达传感器的旋转所需的时间。实施例提供一种车辆用的方法。所述方法包括：获得车辆的摄像头的摄像头传感器数据。所述方法还包括：获得车辆的激光雷达传感器的激光雷达传感器数据。所述方法还包括：确定与车辆的运动相关的信息。所述方法还包括：基于与车辆的运动相关的信息来确定摄像头传感器数据和激光雷达传感器数据的组合图像。这使得能够考虑到在激光雷达传感器的旋转期间车辆行驶的距离，从而使得能够例如借助改善的对准来更精确地确定组合图像。在至少一些实施例中，所述方法还可包括：在组合图像的确定中，补偿车辆的运动。作为结果的组合图像在激光雷达传感器数据和摄像头传感器数据之间有更好的对准。在至少一些实施例中，所述方法还可包括：基于与运动相关的信息来变换激光雷达传感器数据内的点云。组合图像的确定可以基于变换后的点云。在各个实施例中，基于与运动相关的信息，点云的变换把点云的至少一部分转换到点云的所述部分在获取摄像头传感器数据的对应摄像头图像时的估计位置。变换点云能使在利用摄像头传感器来获取摄像头传感器数据时的点云的距离/深度/强度值的确定成为可能。在各个实施例中，所述方法还可包括：进行摄像头传感器数据和激光雷达传感器数据之间的时间同步。组合图像的确定可进一步基于摄像头传感器数据和激光雷达传感器数据之间的时间同步。时间同步可以使摄像头传感器数据和激光雷达传感器数据更好地对准。在至少一些实施例中，可以基于激光雷达传感器来触发时间同步的确定。例如，时间同步可以基于激光雷达传感器的旋转角度。将激光雷达传感器、例如激光雷达传感器的旋转角度作为参考，可以使摄像头传感器数据和激光雷达传感器数据更精确地对准，因为利用摄像头传感器的对图像捕捉的触发可以更容易调整。在各个实施例中，所述方法还可包括：确定与摄像头传感器数据内的一个或多个边缘相关的信息和与激光雷达传感器数据内的一个或多个强度不连续性相关的信息。组合图像的确定可基于与所述一个或多个边缘相关的信息和基于与所述一个或多个强度不连续性相关的信息。匹配所述边缘和强度不连续性可以使距离/深度/强度值映射到摄像头传感器数据的图像帧的像素。在至少一些实施例中，所述方法还可包括：基于与所述一个或多个边缘相关的信息和基于与所述一个或多个强度不连续性相关的信息，来确定摄像头传感器数据和激光雷达传感器数据的校准。组合图像的确定可基于摄像头传感器数据和激光雷达传感器数据的校准。校准可以将摄像头传感器数据和激光雷达传感器数据匹配到公共坐标系。在各个实施例中，在车辆运动时，可以进行与所述一个或多个边缘相关的信息和与所述一个或多个强度不连续性相关的信息的确定。这可以使(外部)校准的不断再调整成为可能，并可能使基于工厂的外部校准过时。在至少一些实施例中，组合图像的确定可包括把距离值、深度值和强度值至少之一赋予组合图像的像素。例如，组合图像的确定可包括把激光雷达传感器数据的距离信息叠加到由摄像头传感器数据构成的图像上。这使得能够例如利用卷积神经网络来组合处理组合图像的距离信息和颜色信息。实施例还提供一种计算机程序，所述计算机程序具有当在计算机、处理器或可编程硬件组件上执行所述计算机程序时，用于实施所述方法的程序代码。实施例还提供一种车辆用的设备。所述设备包括：配置成与车辆的摄像头通信以及与车辆的激光雷达传感器通信的至少一个接口。所述设备还包括：配置成获得摄像头的摄像头传感器数据的处理模块。所述处理模块还被配置成获得激光雷达传感器的激光雷达传感器数据。所述处理模块还被配置成确定与车辆的运动相关的信息。所述处理模块还被配置成基于与车辆的运动相关的信息来确定摄像头传感器数据和激光雷达传感器数据的组合图像。实施例还提供包含这样的设备的车辆。附图说明下面参考附图举例说明设备和/或方法的一些例子，附图中：图1a表示车辆用的方法的流程图；图1b表示车辆用的设备的方框图；图1c表示车辆用的方法的另一流程图；图2a和2b表示时间同步对物体检测的影响的例示；图3a和3b表示自我运动补偿对摄像头传感器数据和激光雷达传感器数据的叠加的影响的例示；图4a表示包含激光雷达传感器和摄像头的车辆的示意图。具体实施方式下面参考其中图解说明一些例子的附图，更充分地说明各个例子。附图中，为了清楚起见，可能夸大了线条、层次和/或区域的厚度。因而，尽管另外的例子可以有各种修改和备选形式，不过，附图中表示了并且随后将详细说明其中的一些特定例子。但是，该详细说明并不把另外的例子限制于说明的特定形式。另外的例子可覆盖在本公开的范围内的所有修改、等同物和备选方案。贯穿附图的说明，相同的附图标记指的是相同或相似的元件，在提供相同或类似功能的同时，这些元件可以以相互比较时相同的方式实现，或者以修改后的形式实现。要理解的是当一个元件被称为“连接”或“耦接”到另一个元件时，这些元件可以直接连接或耦接，或者可通过一个或多个居间元件连接或耦接。如果两个要素A和B是利用“或”组合的，则应理解为公开所有可能的组合，即仅仅A、仅仅B以及A和B。对于相同组合的另一种说法是“A和B中的至少一个”。这同样适用于不止2个要素的组合。对于更多的例子，这里为说明特定例子而使用的术语并不是限制性的。每当使用单数形式时，如果既不明确地也不隐含地强制性定义只使用一个元件，那么另外的例子也可利用多个元件来实现相同的功能。同样地，在功能随后被描述成是利用多个元件实现的时候，另外的例子可利用一个元件或者处理实体实现相同的功能。还要理解的是当使用时，用语“包含”和/或“包括”指定所陈述的特征、整数、步骤、操作、处理、动作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、处理、动作、元件、组件和/或它们的任意群组的存在或添加。除非另有定义，否则所有术语(包括技术术语和科学术语)在本文中均按它们在示例所属领域的一般含义使用。图1a图解说本文档来自技高网...

【技术保护点】
1.一种车辆(100)用的方法，所述方法包括：/n获得(110)车辆(100)的摄像头的摄像头传感器数据；/n获得(120)车辆(100)的激光雷达传感器的激光雷达传感器数据；/n确定(150)与车辆(100)的运动相关的信息；和/n基于与车辆(100)的运动相关的信息来确定(160)摄像头传感器数据和激光雷达传感器数据的组合图像。/n

【技术特征摘要】
【国外来华专利技术】20170804 EP 17184869.01.一种车辆(100)用的方法，所述方法包括：
获得(110)车辆(100)的摄像头的摄像头传感器数据；
获得(120)车辆(100)的激光雷达传感器的激光雷达传感器数据；
确定(150)与车辆(100)的运动相关的信息；和
基于与车辆(100)的运动相关的信息来确定(160)摄像头传感器数据和激光雷达传感器数据的组合图像。


2.按照权利要求1所述的方法，还包括：在组合图像的确定(160)中，补偿车辆的运动。


3.按照前述权利要求之一所述的方法，还包括：基于与运动相关的信息来变换激光雷达传感器数据内的点云，其中，组合图像的确定(160)基于变换后的点云。


4.按照权利要求3所述的方法，其中，基于与运动相关的信息，点云的变换把点云的至少一部分转换到点云的所述部分在获取摄像头传感器数据的对应摄像头图像时的估计位置。


5.按照前述权利要求之一所述的方法，还包括：进行(140)摄像头传感器数据和激光雷达传感器数据之间的时间同步，其中，组合图像的确定(160)进一步基于摄像头传感器数据和激光雷达传感器数据之间的时间同步。


6.按照权利要求5所述的方法，其中，基于激光雷达传感器来触发时间同步的确定(140)。


7.按照权利要求5或6所述的方法，其中，时间同步基于激光雷达传感器的旋转角度。


8.按照前述权利要求之一所述的方法，还包括：确定(130)与摄像头传感器数据内的一个或多个边缘相关的信息和与激光雷达传感器数据内的一个或多个强度不连续性相关的信息，其中，组合图像的确定(160)...

【专利技术属性】
技术研发人员：K·巴纳吉，J·威德伦，D·诺茨，
申请(专利权)人：宝马股份公司，
类型：发明
国别省市：德国;DE