用于点云着色的方法和系统技术方案

一种用于对环境的三维(3D)点云着色的方法，该方法包括确定指示帧的捕获时间的定时信息；基于相机的位置识别帧中点云的至少一些3D点，并且确定捕获相机的紧邻区域中的场景的局部点云，其中对局部点云执行可见度检查，以确定对于给定帧从相机的视角可见的局部点云中的点；以及使用从视频数据中提取的帧中的对应像素的颜色来确定3D点中的至少一些的候选颜色；以及，使用从多帧获得的候选颜色将颜色分配给3D点云的一个或更多个点。配给3D点云的一个或更多个点。配给3D点云的一个或更多个点。

【技术实现步骤摘要】
【国外来华专利技术】用于点云着色的方法和系统
[0001]专利技术背景
[0002]本专利技术涉及用于点云的着色的方法和系统，并且在一个示例中涉及通过融合使用3D映射设备和诸如相机的成像设备获取的数据来对点云着色的方法和系统。
[0003]现有技术的描述
[0004]本说明书中对任何先前出版物(或由其衍生的信息)或任何已知物质的引用并不是也不应被视为对先前出版物(或由其衍生的信息)或已知物质构成本说明书所涉领域的公知常识的一部分的承认或认可或任何形式的暗示。
[0005]在过去的十年中，移动映射系统的发展取得了巨大的进步，其中以高精度生成了环境的3D几何表示。在这个领域中，基于光成像、检测和测距(激光雷达)的系统非常受欢迎，在机器人技术(车辆导航)、游戏(虚拟现实)、测量学以及其他行业中得到应用。激光雷达传感相较于其主要竞争对手(相机)的主要优势在于对光照条件和高精度距离信息的不变性，使得激光雷达成为3D映射的极佳且行之有效的替代方案。另一方面，与相机相比，激光雷达的基本缺点在于它们无法提供丰富的视觉外观信息。根据不同应用，这种类型的信息对于人工(且通常是机器)解释非常有益。
[0006]为了获得视觉上下文信息(诸如颜色)，已知要融合激光雷达和相机数据，从而将距离与颜色信息相结合。有许多策略可执行这种融合，其中一些紧密依赖于特定的设备和传感器设定，而这并非总是可取的。
[0007]通过简单地将相机添加到任何现有的激光雷达3D映射设备，提供可应用于现有无相机平台的在点云着色中使用的通用方法将是有利的。因此，期望与平台无关且对安装设定没有硬性限制的方法。例如，该方法应该与添加到任何一种手持或安装在空中或地面平台上的映射设备中的相机可结合使用。
[0008]一般来说，实现着色的点云的基本过程是将2D相机图像投影到由映射设备获得的点云的3D点上，以便将颜色(或其他信息，如热数据或高光谱数据)分配给每个3D点。
[0009]在激光雷达和相机未耦合(即未连接或未同步)的系统中，存在与着色点云相关联的若干挑战。这些挑战包括(i)激光雷达和相机之间的时钟同步，(ii)确定点的可见度以及(iii)智能确定颜色分配。
[0010]由于激光雷达和相机未耦合，因此它们不共享公共时钟，因此从每个模态收集的数据将具有不同的时间戳，在进行数据处理之前，这些时间戳必须同步。点的可见度很重要，因为相机和激光雷达可彼此远离地安装，从而导致针对每个设备的不同“视图”。与点可见度相关的另一个困难在于定义哪些3D点应该从特定视图进行着色。发生这种情况的原因在于，从空间中的给定位置，由于点云中的点的体积为零，因此可看到实体对象后面的3D点(实际上不应看到它们)，从而导致错误的颜色分配。
[0011]在颜色分配方面，挑战在于如何从一组颜色候选中将颜色分配给3D点。在移动映射(即从移动平台)的情况下，问题在于以下事实：在数据收集期间可能在多个帧中看到重建点3D点，并且该点的外观在整个采集过程中根据观察角度而变化。这个问题在连续移动映射中比在传统的静态“三脚架”系统中要严重得多。
[0012]正是基于这种背景以及与之相关联的问题和困难，开发了本专利技术。
[0013]本专利技术的概述
[0014]在一个广义形式中，本专利技术的一个方面寻求提供用于对环境的三维(3D)点云着色的方法，该方法包括在一个或更多个电子处理设备中：使用由映射设备捕获的几何数据来确定环境的3D点云以及确定映射设备轨迹；获得指示由沿相机轨迹移动的相机捕获的环境的视频记录的视频数据，该视频数据包括若干帧；确定指示将映射设备坐标系中的3D点变换到相机坐标系的变换的相机外部参数；对于多个帧中的每一个，该方法包括：确定指示帧的捕获时间的定时信息；使用映射设备轨迹、定时信息和相机外部参数来确定相机沿相机轨迹的位置；至少部分地基于相机的位置识别帧中点云的至少一些3D点，并且确定捕获相机的紧邻区域中的场景的局部点云，其中对局部点云执行可见度检查，以确定对于给定帧从相机的视角可见的局部点云中的点；以及使用从视频数据中提取的帧中的对应像素的颜色来确定对于3D点中的至少一些的候选颜色；以及，使用从多帧获得的候选颜色将颜色分配给3D点云的一个或更多个点。
[0015]在一个实施例中，确定定时信息包括将捕获的视频数据与设备轨迹在时间上同步。
[0016]在一个实施例中，通过将从视频数据和映射设备获得的偏航速度(yaw velocity)相关联，将捕获的视频数据与设备轨迹在时间上同步。
[0017]在一个实施例中，对于成对的连续帧，从视频数据获得偏航速度包括：使用光流来跟踪像素的运动；根据光流确定相机的姿态变化；以及，根据姿态变化确定偏航速度。
[0018]在一个实施例中，在确定偏航速度之前，使用相机外部参数将相机的姿态变换到映射设备坐标系。
[0019]在一个实施例中，该方法还包括：将平滑变化的函数拟合到从视频数据获得的偏航速度；从由映射设备记录的几何数据中提取偏航速度；以由映射设备记录的几何数据中的偏航速度的采样频率对从视频数据获得的偏航速度进行重新采样；以及，将从视频数据获得的重新采样的偏航速度与来自几何数据的偏航速度相关。
[0020]在一个实施例中，相关用于估计仿射函数，该仿射函数执行视频数据中的时间戳和设备轨迹中的时间戳之间的映射。
[0021]在一个实施例中，仿射函数具有指示时移的偏移参数和指示速率调整的尺度参数(scale parameter)。
[0022]在一个实施例中，从映射设备获得的偏航速度由惯性测量单元(IMU)的测量结果确定。
[0023]在一个实施例中，对于多个帧中的每一个，确定相机的位置包括：使用定时信息在帧的时间戳处内插映射设备轨迹，以便为该帧提供映射设备的内插姿态；以及，将相机外部参数应用于映射设备的内插姿态，以确定对于该帧的对应相机姿态。
[0024]在一个实施例中，确定局部点云包括通过以下步骤提取相机的附近点：确定相机姿态的前向轴线；沿前向轴线将第一点投影预定距离；以及，选择以下中的一项：在第一点的预定距离内的所有点用于包含在局部点云中；以及，面元内含有的在第一点的预定距离内的所有点用于包含在局部点云中，其中这些点已被分割成低分辨率面元。
[0025]在一个实施例中，可见度检查包括：将局部点云变换到以相机为原点的坐标系；将
球面反射核应用于局部点云中的点中的至少一些，使得最靠近相机的点被反射到距相机最远的点；以及，如果一个点的反射是反射点云的凸包的成员，则将该点分类为可见。
[0026]在一个实施例中，核是指数反演核。
[0027]在一个实施例中，在执行可见度检查之前，对局部点云进行下采样。
[0028]在一个实施例中，将局部点云分割成面元，并且在可见度检查中使用来自每个面元的至少一个点。
[0029]在一个实施例中，如果将给定面元中的点分类为可见，则面元中的所有点均被用于重建可见局部点云，该可见局部点云含有在每个帧中对相机可见的点。
[0030]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对环境的三维(3D)点云着色的方法，所述方法包括在一个或更多个电子处理设备中：a)使用由映射设备捕获的几何数据来：i)确定所述环境的3D点云；和，ii)确定映射设备轨迹；b)获得指示由沿相机轨迹移动的相机捕获的所述环境的视频记录的视频数据，所述视频数据包括若干帧；c)确定指示将映射设备坐标系中的3D点变换到相机坐标系的变换的相机外部参数；d)对于多个帧中的每一个，所述方法包括：i)确定指示所述帧的捕获时间的定时信息；ii)使用所述映射设备轨迹、所述定时信息和所述相机外部参数来确定所述相机沿所述相机轨迹的位置；iii)至少部分地基于所述相机的所述位置识别所述帧中所述点云的至少一些3D点，并且确定捕获所述相机的紧邻区域中的场景的局部点云，其中对所述局部点云执行可见度检查，以确定对于给定帧从所述相机的视角可见的所述局部点云中的点；和iv)使用从所述视频数据中提取的所述帧中的对应像素的颜色来确定对于所述3D点中的所述至少一些3D点的候选颜色；和，e)使用从多帧获得的候选颜色将颜色分配给所述3D点云的一个或更多个点。2.根据权利要求1所述的方法，其中，确定定时信息包括将捕获的视频数据与所述设备轨迹在时间上同步。3.根据权利要求2所述的方法，其中，通过将从所述视频数据和映射设备获得的偏航速度相关，将所述捕获的视频数据与所述设备轨迹在时间上同步。4.根据权利要求3所述的方法，其中，对于成对的连续帧，从所述视频数据获得所述偏航速度包括：a)使用光流来跟踪像素的运动；b)根据所述光流确定所述相机的姿态变化；和，c)根据所述姿态变化确定所述偏航速度。5.根据权利要求4所述的方法，其中，在确定所述偏航速度之前，使用所述相机外部参数将所述相机的所述姿态变换到所述映射设备坐标系。6.根据权利要求4或权利要求5所述的方法，其中，所述方法还包括：a)将平滑变化的函数拟合到从所述视频数据获得的偏航速度；b)从由所述映射设备记录的几何数据中提取所述偏航速度；c)以由所述映射设备记录的几何数据中的偏航速度的采样频率对从所述视频数据获得的偏航速度进行重新采样；和，d)将从所述视频数据获得的重新采样的偏航速度与来自所述几何数据的偏航速度相关。7.根据权利要求6所述的方法，其中，所述相关用于估计仿射函数，所述仿射函数执行所述视频数据中的时间戳和所述设备轨迹中的时间戳之间的映射。8.根据权利要求7所述的方法，其中，所述仿射函数具有指示时移的偏移参数和指示速
率调整的尺度参数。9.根据权利要求2至8中任一项所述的方法，其中，从所述映射设备获得的偏航速度由惯性测量单元(IMU)的测量结果确定。10.根据权利要求2至9中任一项所述的方法，其中，对于所述多个帧中的每一个帧，确定所述相机的位置包括：a)使用所述定时信息在所述帧的时间戳处内插所述映射设备轨迹，以便为所述帧提供所述映射设备的内插姿态；和，b)将所述相机外部参数应用于所述映射设备的内插姿态，以确定对于所述帧的对应相机姿态。11.根据前述权利要求中任一项所述的方法，其中，确定所述局部点云包括通过以下方式提取所述相机的附近点：a)确定所述相机姿态的前向轴线；b)沿所述前向轴线将第一点投影预定距离；和，c)选择以下中的一项：i)在所述第一点的所述预定距离内的所有点用于包含在所述局部点云中；和，ii)面元内含有的在所述第一点的所述预定距离内的所有点用于包含在所述局部点云中，其中所述点已被分割成低分辨率面元。12.根据前述权利要求中任一项所述的方法，其中，所述可见度检查包括：a)将所述局部点云变换到以所述相机为原点的坐标系；b)将球面反射核应用于所述局部点云中的点中的至少一些点，使得最靠近所述相机的点被反射到距所述相机最远的点；和，c)如果一个点的反射是反射的点云的凸包的成员，则将所述点分类为可见。13.根据权利要求12所述的方法，其中，所述核是指数反演核。14.根据权利要求12或权利要求13所述的方法，其中，在执行所述可见度检查之前，对所述局部点云进行下采样。15.根据权利要求14所述的方法，其中，将所述局部点云分割成面元，并且在所述可见度检查中使用来自每个面元的至少一个点。16.根据权利要求15所述的方法，其中，如果将给定面元中的点分类为可见，则所述面元中的所有点均被用于重建含有在每个帧中对所述相机可见的点的可见局部点云。17.根据前述权利要求中任一项所述的方法，其中，通过将对应于每个帧的可见3D点变换到2D图像坐标，将所述3D点投影到所述帧中。18.根据权利要求17所述的方法，其中，对于所述帧中的每个2D图像坐标，所述方法包括：a)提取所述2D图像坐标处的3D点的候选颜色；和，b)将所述候选颜色提供给用于将平均颜色分配给所述3D点的累积颜色选择算法。19.根据权利要求18所述的方法，其中，所述颜色选择算法的输出是在所述颜色分配中使用的鲁棒移动平均值。20.根据权利要求18或权利要求19所述的方法，其中，所述颜色选择算法是使用高斯加权函数的迭代重新加权的最小二乘鲁棒平均值的单次迭代的累积近似。
21.根据权利要求20所述的方法，其中，对于3D点的第一候选颜色，所述方法包括：a)利用所述第一候选颜色初始化移动平均数；b)利用初始协方差矩阵初始化移动协方差；和，c)初始化移动权重。22.根据权利要求21所述的方法，其中，对于所述3D点的每个后续候选颜色，所述方法包括：a)确定当前平均数；b)确定当前协方差；c)使用所述当...

【专利技术属性】
技术研发人员：帕维尔，
申请(专利权)人：联邦科学与工业研究组织，
类型：发明
国别省市：