对准由自主车辆捕获的数据以生成高清晰度地图制造技术

一种高清晰度地图系统从沿路线行进的车辆接收传感器数据并且组合数据以生成在驾驶车辆时使用的，例如用于引导自主车辆的高清晰度地图。根据收集的数据构建姿势图，每个姿势表示车辆的位置和方向。姿势图被优化以最小化姿势之间的约束。与表面相关联的点被分配有使用表面的硬度/软度的度量确定的置信度度量。基于机器学习的结果过滤器检测不良对准结果，并防止它们进入随后的全局姿势优化中。对准框架是可并行化的，以使用并行/分布式架构执行。检测对准热点以用于进一步验证和改进。系统支持增量更新，从而允许对子图进行细化，以增量改进高清晰度地图以使其保持最新。

Align data captured by autonomous vehicles to produce high-definition maps

【技术实现步骤摘要】
【国外来华专利技术】对准由自主车辆捕获的数据以生成高清晰度地图相关申请的交叉引用本申请要求于2016年12月30日提交的美国临时申请第62/441,080号的权益，该美国临时申请通过引用整体合并至本文中。
技术介绍
本公开内容一般涉及用于自主车辆的地图，并且更具体地涉及执行对由自主车辆捕获的数据的三维表示的对准以生成用于自主车辆的安全导航的高清晰度地图。自主车辆，也称为自动驾驶汽车、无人驾驶汽车、汽车或机器人汽车，在不需要人类驾驶员控制和导航车辆的情况下从源位置行驶到目的地。驾驶的自动化由于若干原因而是困难的。例如，自主汽车使用传感器即时做出驾驶决策，但车辆传感器不能无时无刻地观察所有事物。车辆传感器可能被角落、连绵起伏的山丘和其他车辆遮挡。车辆传感器可能不会足够早地观察某些事物以做出决策。此外，道路上可能缺少车道和标志，或者车道和标志被撞倒或被灌木丛隐藏，因此不能被传感器检测到。此外，可能不容易看到用于通行权的道路标志，以确定车辆可能来自哪里，或者用于在紧急情况下或者在存在必须通过的停止障碍物时转弯或移出车道。自主车辆可以使用地图数据来找出上述一些信息，而不是依赖传感器数据。然而，传统地图具有若干缺点，使得它们难以用于自主车辆。例如，地图不提供安全导航所需的准确度水平(例如，10cm或更小)。基于GNSS(全球导航卫星系统)的系统提供大约3-5米的精确度，但是具有导致超过100m的准确度的大的误差条件。这使得准确确定车辆的位置变得具有挑战性。此外，传统地图由调查团队创建，调查团队使用具有特殊装备汽车的驾驶员，这些汽车具有高分辨率传感器，可以在地理区域内行驶并进行测量。测量值被取回，地图编辑器团队根据测量值汇总地图。该过程昂贵且耗时(例如，可能花费数月来完成地图)。因此，使用这种技术汇总的地图不具有新近数据。例如，道路以每年大约5-10％的频率基础来更新/修改。但调查车昂贵且数量有限，因此不能捕获这些更新中的大部分。例如，调查车队可能包括一千辆汽车。甚至对于美国的单个州，一千辆汽车不能定期更新地图以使得能够安全自动驾驶。因此，维护地图的传统技术不能提供对于自主车辆的安全导航而言足够准确且最新的正确数据。
技术实现思路
实施方式从沿地理区域内的路线行进的车辆接收传感器数据并且组合数据以生成高清晰度地图。传感器数据的示例包括由安装在车辆上的LIDAR收集的LIDAR帧、GNSS(全球导航卫星系统)数据和惯性测量单元(IMU)数据。GNSS包括各种导航系统，所述导航系统包括GPS、GLONASS、北斗、伽利略等。高清晰度地图用于驾驶车辆，例如用于引导自主车辆。系统生成姿势图，使得图的每个节点表示车辆的姿势。车辆的姿势包括车辆的位置和方向。系统从姿势图中选择节点子集，并且对于子集中的每个节点，识别与该节点对应的GNSS姿势。系统基于使子集的节点中的每个节点与相应的GNSS姿势之间的姿势差异最小化的约束来执行姿势图的优化。系统合并由多个自主车辆捕获的传感器数据，以生成地理区域的点云表示。系统基于点云表示生成高清晰度地图。系统将高清晰度地图发送到自主车辆以在地理区域中进行导航。实施方式基于以下技术中的一个或更多个技术来选择节点子集：沿路径以固定距离间隔选择节点、随机选择或者从基于纬度和经度值创建的每个边界框中选择节点。实施方式可以基于GNSS姿势和逐对对准的质量来调整节点子集的创建。例如，选择过程可以有利于选择具有高质量姿势的GNSS节点或者增加具有低质量逐对对准的区域中的采样密度。在实施方式中，系统在与单个轨迹相关联的节点对之间执行逐对对准。系统还执行节点对之间的逐对对准，使得从第一轨迹中选择该对中的第一节点，并且从第二轨迹中选择该对中的第二节点。轨迹是连续的数据集合，与通过世界的车辆的单次驾驶对应。轨迹数据包括具有相关联的传感器数据的一系列姿势。在实施方式中，系统接收由行驶通过地理区域中的路径的车辆捕获的传感器数据。传感器数据的示例包括由LIDAR收集的数据、由全球定位系统(GPS)收集的数据或由惯性测量单元(IMU)收集的数据。系统基于传感器数据生成姿势图。图的每个节点表示描述车辆的位置和方向的车辆姿势。节点对之间的边缘表示节点对中的节点之间的变换。系统将姿势图划分为多个子图，每个子图包括核心节点集合和缓冲节点集合。系统迭代地执行以下步骤：在保持边界节点的值固定并且仅更新子姿势图的核心节点姿势的同时优化子姿势图。系统基于点云表示生成高清晰度地图并且将高清晰度地图发送到自主车辆以用于自主车辆的导航。在实施方式中，系统将子图分发给多个处理器以用于分布式执行。处理器在每次迭代结束时交换信息以确定边界节点值。在实施方式中，更新所有节点姿势的结果，系统确定是否存在边界节点的改变。响应于确定边界节点的改变低于阈值，例如如果在迭代期间边界节点没有改变，则系统停止迭代。在实施方式中，系统接收由自主车辆的传感器收集的轨迹数据。每个轨迹数据由行驶通过地理区域中的路径的自主车辆的传感器收集。系统生成姿势图，使得姿势图的每个节点表示车辆的姿势，并且节点对之间的每个边缘表示节点对中的节点之间的变换。系统接收新轨迹数据的集合以更新姿势图。系统执行新轨迹数据内的姿势之间的对准。系统还执行姿势对之间的对准，每对姿势包括来自所生成的姿势图的姿势和来自新轨迹的集合的姿势。系统通过将来自新轨迹的集合的姿势添加到姿势图来更新姿势图，并执行更新的姿势图的姿势图优化。系统基于经优化的更新姿势图生成高清晰度地图，并将高清晰度地图发送到自主车辆以用于自主车辆的导航。在实施方式中，系统通过在从相同轨迹数据内选择的姿势对之间执行单个轨迹对准来执行新轨迹数据的集合内的姿势之间的对准。系统还在姿势对之间执行交叉轨迹对准，其中，来自该对的第一姿势来自第一轨迹数据，并且来自该对的第二姿势来自第二轨迹数据。在一些实施方式中，系统通过保持来自姿势图的姿势的数据固定而改变来自新轨迹数据的集合的姿势来执行更新的姿势图的姿势图优化。在其他实施方式中，系统在改变来自姿势图的姿势以及来自新轨迹数据的集合的姿势的同时执行姿势图优化。在一些实施方式中，系统基于由行驶通过地理区域的自主车辆捕获的传感器数据生成地理区域的第一三维表示和地理区域的第二三维表示。系统针对三维表示中的多个点中的每一个确定该点的置信度。点在结构上，并且置信度的度量是基于结构的表面类型。系统基于一个或更多个标准确定表面硬度的度量，并基于硬度的度量确定置信度的度量。用于确定表面硬度的度量的标准的示例包括与表面相关联的法向量的分布、表面的颜色纹理、来自表面的LIDAR信号的返回的数量等。在一些实施方式中，系统通过基于每个点的置信度的度量对数据点进行加权，基于迭代最近点(ICP)方法来确定用于将第一3D表示映射到第二3D表示的变换。系统通过使用变换将第一3D表示组合到第二3D表示来确定区域的高清晰度地图。系统提供高清晰度地图以用于驾驶自主车辆。在实施方式中，系统基于结构表面上的多个点的法向量的方差的度量来确定置信度的度量。所述多个点本文档来自技高网...

【技术保护点】
1.一种用于生成高清晰度地图以在驾驶自主车辆时使用的方法，所述方法包括：/n接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；/n生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括车辆的位置和方向，并且其中，节点对之间的每个边表示所述节点对中的节点之间的变换；/n从所述姿势图中选择节点子集；/n对于所述节点子集中的每个节点，识别与所述节点对应的全球导航卫星系统(GNSS)姿势；/n基于使所述子集的节点中的每个节点与对应的GNSS姿势之间的姿势差异最小化的约束来执行所述姿势图的优化；/n合并由多个自主车辆捕获的传感器数据，以生成地理区域的点云表示；/n基于所述点云表示来生成高清晰度地图；以及/n将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中进行导航。/n

【技术特征摘要】
【国外来华专利技术】20161230 US 62/441,0801.一种用于生成高清晰度地图以在驾驶自主车辆时使用的方法，所述方法包括：
接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；
生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括车辆的位置和方向，并且其中，节点对之间的每个边表示所述节点对中的节点之间的变换；
从所述姿势图中选择节点子集；
对于所述节点子集中的每个节点，识别与所述节点对应的全球导航卫星系统(GNSS)姿势；
基于使所述子集的节点中的每个节点与对应的GNSS姿势之间的姿势差异最小化的约束来执行所述姿势图的优化；
合并由多个自主车辆捕获的传感器数据，以生成地理区域的点云表示；
基于所述点云表示来生成高清晰度地图；以及
将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中进行导航。


2.根据权利要求1所述的方法，其中，所述传感器数据包括LIDAR距离图像。


3.根据权利要求1所述的方法，还包括：
在与单个轨迹相关联的节点对之间执行逐对对准，其中，轨迹表示与车辆通过路线的单次行驶对应的数据集合，所述数据包括具有相关联的传感器数据的姿势序列。


4.根据权利要求3所述的方法，还包括：
执行节点对之间的逐对对准，其中，从第一轨迹中选择所述对中的第一节点，并且从第二轨迹中选择所述对中的第二节点。


5.根据权利要求4所述的方法，还包括：
执行逐对对准的结果的过滤以确定结果是否需要进一步审核。


6.根据权利要求5所述的方法，其中，所述逐对对准的结果的过滤是使用基于机器学习的模型来执行的，所述基于机器学习的模型被配置成预测指示逐对对准的结果是否需要进一步审核的分数。


7.根据权利要求1所述的方法，还包括：
响应于确定传感器数据的一个或更多个样本是被静止车辆捕获的来移除所述样本。


8.根据权利要求1所述的方法，其中，从所述姿势图中选择所述节点子集包括：沿着捕获与所述节点对应的传感器数据的自主车辆行进的路径以固定距离间隔来选择节点。


9.根据权利要求1所述的方法，其中，从所述姿势图中选择所述节点子集包括：从所述姿势图中随机选择节点。


10.根据权利要求1所述的方法，其中，从所述姿势图中选择所述节点子集包括：
基于纬度值和经度值确定边界框；以及
从每个边界框中选择节点。


11.根据权利要求1所述的方法，其中，从所述姿势图中选择所述节点子集包括：
识别具有低质量的逐对对准的区域；以及
增加所识别出的区域中的采样频率。


12.根据权利要求1所述的方法，其中，从所述姿势图中选择所述节点子集包括：
识别具有高质量的GNSS姿势的节点；以及
与具有较低质量的GNSS姿势的节点相比，增加选择所识别出的节点的可能性。


13.一种存储指令的非暂态计算机可读存储介质，所述指令用于：
接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；
生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；
从所述姿势图中选择节点子集；
对于所述节点子集中的每个节点，识别与所述节点对应的全球定位系统(GNSS)姿势；
基于使所述子集的节点中的每个节点与对应的GNSS姿势之间的姿势差异最小化的约束来执行所述姿势图的优化；
合并由多个自主车辆捕获的传感器数据，以生成地理区域的点云表示；
基于所述点云表示来生成高清晰度地图；以及
将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中进行导航。


14.一种计算机系统，包括：
电子处理器；以及
非暂态计算机可读存储介质，其存储可由所述电子处理器执行的指令，所述指令用于：
接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；
生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；
从所述姿势图中选择节点子集；
对于所述节点子集中的每个节点，识别与所述节点对应的全球导航卫星系统(GNSS)姿势；
基于使所述子集的节点中的每个节点与对应的GNSS姿势之间的姿势差异最小化的约束来执行所述姿势图的优化；
合并由多个自主车辆捕获的传感器数据，以生成地理区域的点云表示；
基于所述点云表示来生成高清晰度地图；以及
将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中进行导航。


15.一种用于分布式处理姿势图以生成高清晰度地图的方法，所述方法包括：
接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；
生成姿势图，其中，所述图中的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；
将所述姿势图划分为多个子图，每个子图包括核心节点集合和缓冲节点集合；
迭代地执行以下步骤，所述步骤包括：
对于每个子姿势图，保持边界节点的值固定并优化子姿势图，以及
使用所有子姿势图的核心节点姿势来更新所有节点姿势；基于所述点云表示来生成高清晰度地图；以及
将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中对所述自主车辆进行导航。


16.根据权利要求15所述的方法，其中，所述传感器数据包括由LIDAR收集的数据、由全球定位系统(GPS)收集的数据以及由惯性测量单元(IMU)收集的数据。


17.根据权利要求15所述的方法，其中，重复执行所述步骤还包括：作为更新所有节点姿势的结果，确定是否存在边界节点的改变；以及响应于确定所述边界节点的改变低于阈值来停止所述迭代。


18.根据权利要求15所述的方法，其中，将所述子图分发给多个处理器以用于分布式执行。


19.根据权利要求15所述的方法，其中，将所述姿势图划分为多个子图包括：
基于纬度值和经度值确定边界框；以及
将边界框内的所有姿势分配给子图。


20.根据权利要求15所述的方法，其中，将所述姿势图划分为多个子图包括：沿道路划分所述姿势图以获得子图。


21.根据权利要求15所述的方法，其中，将所述姿势图划分为多个子图包括：沿道路中的交叉路口划分所述姿势图以获得子图。


22.根据权利要求15所述的方法，其中，将所述姿势图划分为多个子图包括：以使边界节点的数量最小化为目的来划分所述姿势图。


23.根据权利要求15所述的方法，其中，将所述姿势图划分为多个子图包括：识别具有大量的由车辆返回的样本的地理区域部分；并将所述姿势图划分为子图，使得子图的边界通过所识别出的所述地理区域部分。


24.一种存储指令的非暂态计算机可读存储介质，所述指令用于：
接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；
生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；
将所述姿势图划分为多个子图，每个子图包括核心节点集合和缓冲节点集合；
迭代地执行以下步骤，所述步骤包括：
对于每个子姿势图，保持边界节点的值固定并优化子姿势图，以及
使用所有子姿势图的核心节点姿势来更新所有节点姿势；基于点云表示来生成高清晰度地图；以及
将所述高清晰度地图发送到一个或更多个自主车辆以用于对所述地理区域中的自主车辆进行导航。


25.一种计算机系统，包括：
电子处理器；以及
非暂态计算机可读存储介质，其存储可由所述电子处理器执行的指令，所述指令用于：
接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；
生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；
将所述姿势图划分为多个子图，每个子图包括核心节点集合和缓冲节点集合；
迭代地执行以下步骤，所述步骤包括：
对于每个子姿势图，保持边界节点的值固定并优化子姿势图，以及
使用所有子姿势图的核心节点姿势来更新所有节点姿势；
基于点云表示来生成高清晰度地图；以及
将所述高清晰度地图发送到一个或更多个自主车辆以用于对所述地理区域中的自主车辆进行导航。


26.一种用于增量更新姿势图以生成高清晰度地图的方法，所述方法包括：
接收由自主车辆的传感器收集的轨迹数据，每个轨迹数据由行驶通过地理区域中的路径的自主车辆的传感器收集；
生成姿势图，其中，所述姿势图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；
接收新轨迹数据的集合以更新所述姿势图；
在所述新轨迹数据的集合内执行姿势之间的对准；
执行姿势对之间的对准，其中，所述姿势对包括来自所生成的姿势图的姿势和来自所述新轨迹的集合的姿势；
通过将来自所述新轨迹的集合的姿势添加到所述姿势图来更新所述姿势图；
执行更新的姿势图的姿势图优化；
基于经优化的更新的姿势图来生成高清晰度地图；以及
将所述高清晰度地图发送到一个或更多个自主车辆以用于对所述地理区域中的自主车辆进行导航。


27.根据权利要求26所述的方法，其中，所述传感器数据包括由LIDAR收集的数据、由全球定位系统(GPS)收集的数据以及由惯性测量单元(IMU)收集的数据。


28.根据权利要求26所述的方法，其中，在所述新轨迹数据的集合内执行姿势之间的对准包括：
执行姿势对之间的单轨迹对准，其中，所述对中的每个姿势在相同的轨迹数据内。


29.根据权利要求26所述的方法，其中，在所述新轨迹数据的集合内执行姿势之间的对准包括：
执行姿势对之间的交叉轨迹对准，其中，来自所述对的第一姿势来自第一轨迹数据，并且来自所述对的第二姿势来自第二轨迹数据。


30.根据权利要求26所述的方法，其中，执行所述更新的姿势图的姿势图优化包括：
在改变来自所述新轨迹数据的集合的姿势的同时保持来自所述姿势图的姿势数据固定。


31.根据权利要求26所述的方法，其中，执行所述更新的姿势图的姿势图优化包括：
在改变来自姿势图的姿势和来自所述新轨迹数据的集合的姿势的同时优化姿势。


32.根据权利要求26所述的方法，还包括：
发送描述姿势图的一部分的信息以经由用户界面呈现，其中，所述姿势图的一部分用于地理区域的一部分；以及
接收编辑所述姿势图的请求，所述编辑包括以下中之一：移除所述姿势图的边缘；或将边缘添加到所述姿势图。


33.根据权利要求32所述的方法，其中，所述地理区域的一部分是使用边界框来指定的，所述边界框是使用纬度值和经度值来指定的。


34.根据权利要求33所述的方法，还包括：
响应于编辑所述姿势图，重新优化所述姿势图，所述重新优化保持与所述边界框外部的位置相关联的姿势固定并且修改与所述边界框内部的位置相关联的姿势。


35.根据权利要求26所述的方法，还包括：
响应于确定轨迹数据与阈值相比而较旧，弃用所述轨迹数据，所述弃用包括：删除基于所述轨迹数据的所有边缘。


36.一种存储指令的非暂态计算机可读存储介质，...

【专利技术属性】
技术研发人员：陈辰，德里克·施勒特，马克·达蒙·惠乐，杰斯里·米诺鲁·阿达基，格雷戈里·库姆，邹亮，
申请(专利权)人：迪普迈普有限公司，
类型：发明
国别省市：美国;US