用于彩色点云生成的方法和系统技术方案

本申请的实施例提供了用于生成彩色点云的方法和系统。该方法可以包括：当车辆沿着轨迹移动时，接收由与车辆相关联的至少两个传感器捕获的关于场景的点云和至少两个图像。该方法可以包括将所述点云分割成至少两个片段，每个片段与所述车辆的轨迹上的起点和终点相关联。该方法还可以包括基于所述起点和所述终点将所述点云的每个片段与所述图像中的一个或以上的图像相关联。该方法还可以包括通过聚合所述点云的每个片段和所述图像的一个或以上图像来生成彩色点云，所述聚合基于所述点云的片段和所述车辆之间的不同距离处的校准参数。

【技术实现步骤摘要】
【国外来华专利技术】用于彩色点云生成的方法和系统
本申请涉及用于点云生成的方法和系统，更具体地，涉及使用激光雷达(LiDAR)、相机和导航传感器生成彩色点云的方法和系统。
技术介绍
自动驾驶技术在很大程度上依赖于精确的地图。例如，导航地图的准确性对于自动驾驶车辆的功能(例如定位、环境识别、决策和控制)是至关重要的。高清晰度地图可以通过聚合在车辆周围行驶时由车辆上的各种传感器和探测器获取的数据来获得。例如，用于高清晰度地图的典型数据采集系统通常是配备有多个集成传感器(例如，LiDAR、全球定位系统(GPS)接收器、惯性测量单元(IMU)传感器和一个或以上相机)的车辆，以捕获车辆行驶的道路和周围物体的特征。捕获的数据可以包括例如车道的中心线或扩展边线坐标、对象(诸如建筑物、另一车辆、地标、行人或交通标志)的坐标和图像。众所周知，LiDAR用于快速获得周围物体的三维(3-D)信息和来自周围物体的反射信号的强度信息。然而，LiDAR无法捕获周围物体的纹理信息，因此难以单独处理和解释激光点云数据。另一方面，虽然相机可以捕获具有丰富纹理信息的图像，但是它们不能直接用于获得周围物体的3-D信息。因此，一些已知的系统通过聚合相同物体的点云和图像来集成LiDAR和相机以产生彩色点云，其可用于可视化、物体识别和分类、3-D建模等。在已知系统中，全景相机由于其360度视场(FOV)而被广泛用于制作彩色点云。然而，全景相机是昂贵的，因此对于该任务而言不具有成本效益。相比之下，单目相机成本低，图像易于处理，但与全景相机相比，它们的FOV要小得多。例如，因为LiDAR的FOV非常大，通常是360度，所以由LiDAR捕获的每个激光点云可以对应于单目相机拍摄的多个图像。这种差异会影响产生彩色点云时聚合点云和图像的准确性和效率。本申请的实施例通过改进的彩色点云生成方法和系统解决了上述问题。
技术实现思路
本申请实施例提供了一种生成彩色点云的方法。该方法可以包括当车辆沿着轨迹移动时，接收由与车辆相关联的至少两个传感器捕获的关于场景的点云和至少两个图像。该方法可以包括由处理器将点云分割成至少两个片段，每个片段与车辆的轨迹中的起点和终点相关联。该方法还可以包括基于所述起点和终点，通过所述处理器，将点云的每个片段与至少两个图像中的一个或以上图像相关联。该方法还可以包括通过所述处理器，通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数而确定。本申请的实施例还提供了一种生成彩色点云的系统。该系统可以包括通信接口，被配置为接收点云，以及当车辆沿着轨迹移动时由装配在所述车辆上的至少两个传感器捕获的关于场景的至少两个图像。该系统还可以包括存储器，被配置为存储所述点云和所述至少两个图像。该系统还可以包括处理器，被配置为将点云分割成至少两个片段，每个片段与车辆的轨迹中的起点和终点相关联。所述处理器还可以被配置为将所述点云的每个片段与基于所述起点和所述终点的所述至少两个图像中的一个或以上图像相关联。所述处理器可以进一步配置为通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数而确定。本申请的实施例还提供了一种非暂时性计算机可读介质，其上存储指令，当由一个或以上处理器执行时，使得一个或以上处理器执行操作。所述操作可以包括：当车辆沿着轨迹移动时，接收由与车辆相关联的至少两个传感器捕获的关于场景的点云和至少两个图像。所述操作可以包括将所述点云分割成至少两个片段，每个片段与所述车辆的轨迹上的起点和终点相关联。所述操作还可以包括基于所述起点和终点将点云的每个片段与所述图像中的一个或以上图像相关联。所述操作还可以包括通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数而确定。应当理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对要求保护的本专利技术的限制。附图说明图1示出了根据本申请的实施例所示的具有传感器的示例性车辆的示意图。图2示出了根据本申请的实施例所示的用于彩色点云生成的示例性控制器的框图。图3示出了根据本申请的实施例所示的示例性点云片段及其在车辆轨迹上的相关起点和终点。图4示出了根据本申请的实施例所示的匹配点云片段和图像序列的示例性过程。图5示出了根据本申请的实施例所示的传感器校准的示例性过程。图6示出了根据本申请的实施例所示的示例性的生成的彩色点云。图7示出了根据本申请的实施例所示的用于生成彩色点云的示例性方法的流程图。图8示出了根据本申请的实施例所示的用于确定校准参数的示例性方法的流程图。图9示出了根据本申请的实施例所示的用于聚合点云片段和至少两个图像的示例性方法的流程图。具体实施方式现在将详细参考示例性实施例，其示例在附图中示出。只要有可能，在整个附图中将使用相同的附图标记来表示相同或相似的部分。图1示出了根据本申请的实施例所示的具有至少两个传感器140、150和160的示例性车辆100的示意图。与一些实施例一致，车辆100可以是配置为获取用于构建高清晰度地图或三维(3-D)城市模型的数据的勘测车辆。可预期的是车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。车辆100可具有车身110和至少一个车轮120。车身110可以是任何车身类型，例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或改装车。在一些实施例中，车辆100可包括一对前轮和一对后轮，如图1所示。然而，可预期的是车辆100可能会具有更少的可以使车辆100能够四处移动的车轮或等效结构。车辆100可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中，车辆100可以被配置为由占用车辆的操作员操作、远程控制和/或自动驾驶。如图1所示，车辆100可以配备有通过安装结构130安装到车身110的传感器140和160。安装结构130可以是安装到或以其他方式附接到车辆100的车身110的机电设备。在一些实施例中，安装结构130可以使用螺钉、粘合剂或其他安装机制。车辆100可以另外在车身110内部或外部使用任何合适的安装机制配备传感器150。可以预期的是每个传感器140、150或160可以装配在车辆100上的方式不受图1所示的示例的限制，并且可以根据传感器140-160和/或车辆100的类型进行修改，以实现期望的感测性能。与一些实施例一致，当车辆100沿轨迹移动时，传感器140-160可以被配置为捕获数据。例如，传感器140可以是LiDAR扫描仪/雷达，其被配置为扫描周围环境并获取点云。LiDAR通过用脉冲激光照射目标并用传感器测量反射脉冲来测量到目标的距离。然后可以使用激光返回时间和波长的差异来本文档来自技高网...

【技术保护点】
1.一种生成彩色点云的方法，包括：/n当车辆沿着轨迹移动时，接收由与所述车辆相关联的至少两个传感器捕获的关于场景的点云和至少两个图像；/n通过处理器，将所述点云分割成至少两个片段，每个片段与所述车辆的所述轨迹上的起点和终点相关联；/n基于所述起点和所述终点，通过所述处理器，将所述点云的每个片段与所述至少两个图像中的一个或以上图像相关联；以及/n通过所述处理器，通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数而确定。/n

【技术特征摘要】
【国外来华专利技术】1.一种生成彩色点云的方法，包括：
当车辆沿着轨迹移动时，接收由与所述车辆相关联的至少两个传感器捕获的关于场景的点云和至少两个图像；
通过处理器，将所述点云分割成至少两个片段，每个片段与所述车辆的所述轨迹上的起点和终点相关联；
基于所述起点和所述终点，通过所述处理器，将所述点云的每个片段与所述至少两个图像中的一个或以上图像相关联；以及
通过所述处理器，通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数而确定。


2.根据权利要求1所述的方法，其特征在于，所述点云的每个片段与所述车辆在所述起点和所述终点之间的所述轨迹上的相同移动距离相关联。


3.根据权利要求1所述的方法，其特征在于，分割所述点云是基于所述车辆在所述轨迹上的时间、位置和方向。


4.根据权利要求1所述的方法，其特征在于，
将所述点云的所述片段与所述至少两个图像中的所述一个或以上图像相关联包括：
基于所述起点和第一阈值，确定所述至少两个图像中的第一图像，其中，所述起点和捕获所述第一图像的第一基点之间的第一距离等于所述第一阈值，以及
基于所述终点和第二阈值，确定所述至少两个图像中的第二图像，其中，所述终点与捕获所述第二图像的第二基点之间的第二距离等于所述第二阈值；以及
所述至少两个图像中所述一个或以上图像包括在所述轨迹上的所述第一基点和所述第二基点之间捕获的图像。


5.根据权利要求4所述的方法，其特征在于，所述第一基点位于所述轨迹的所述起点之前以及所述第二基点位于所述轨迹的所述终点之前。


6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
基于所述点云的所述片段与所述车辆之间的所述距离，确定与所述点云的每个片段相关联的至少两组校准参数；以及
基于所述校准参数，聚合所述点云的所述片段和所述至少两个图像中的所述一个或以上图像。


7.根据权利要求6所述的方法，其特征在于，确定与所述点云的所述片段相关联的至少两组校准参数包括：
将所述点云划分为至少两个组，所述点云的每个组与所述点云的各组和所述车辆之间的距离相关联；
基于所述点云的所述组中的点，确定所述点云的每个组的校准参数；以及
为所述点云的所述片段分配所述点云的所述片段所属的所述点云的所述组的所述校准参数。


8.根据权利要求6所述的方法，其特征在于，聚合所述点云的所述片段和所述至少两个图像中的所述一个或以上图像包括：
选择所述至少两个图像中的所述一个或以上图像中的一些图像；
对于所述所选图像中的每一个图像，基于所述校准参数，将所述图像中的至少两个像素匹配到所述点云的所述片段中的每个点；并且
将与所述至少两个像素中的每一个像素相关联的颜色信息分配到所述点云的所述片段中的相应点。


9.根据权利要求1所述的方法，其特征在于，所述至少两个图像中的所述一个或以上图像包括所述场景的主视图。


10.一种生成彩色点云的系统，包括：
通信接口，被配置为当车辆沿着轨迹移动时，接收由装配在所述车辆上的至少两个传感器捕获的关于场景的点云和至少两个图像；
存储器，被配置为存储所述点云和所述至少两个图像；以及
处理器，被配置为：
将所述点云分割成至少两个片段，每个片段与所述车辆的所述轨迹上的起点和终点相关联；
基于所述起点和所述终点，将所述点云的每个段与所述至少两个图像中的一个或以上图像相关联；...

【专利技术属性】
技术研发人员：朱晓玲，马腾，冯路，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11