使用基于相机的子地图和基于LIDAR的全局地图进行厘米精度定位的3D子地图重构系统和方法技术方案

公开了一种用于非瞬时性计算机可读存储介质的定位的方法，所述非瞬时性计算机可读存储介质存储一个或多个程序。所述一个或多个程序包括指令，所述指令在由计算设备执行时使所述计算设备由一个或多个自主车辆驾驶模块使用以下步骤对来自相机的图像和来自LiDAR的数据执行处理，包括：将3D子地图和全局地图体素化为体素；使用概率模型估计所述体素内3D点的分布；从3D子地图和全局地图提取特征；以及将提取的特征分类。

3D sub map reconstruction system and method using camera based sub map and lidar based global map for centimeter accuracy positioning

【技术实现步骤摘要】
【国外来华专利技术】使用基于相机的子地图和基于LIDAR的全局地图进行厘米精度定位的3D子地图重构系统和方法优先权/相关文件本申请要求于2017年8月23日递交的美国专利申请序号15/684,363的优先权。本专利申请通过引用全文并入并要求以下于2017年8月23日递交的共同待审的专利申请的优先权，包括：(1)“SystemandMethodforCentimeterPrecisionLocalizationUsingCamera-BasedSubmapandLiDAR-BasedGlobalMap”：(2)“FeatureExtractionfrom3DSubmapandGlobalMapSystemandMethodforCentimeterPrecisionLocalizationUsingCamera-BasedSubmapandLiDAR-BasedGlobalMap”；以及(3)“FeatureMatchingandCorrespondenceRefinementand3DSubmapPositionRefinementSystemandMethodforCentimeterPrecisionLocalizationUsingCamera-BasedSubmapandLiDAR-BasedGlobalMap”，所有这些专利申请具有相同的专利技术人。
本公开的领域总体涉及自主车辆，具体地，涉及一种使用基于相机的重构子地图和基于LiDAR的全局地图进行定位的系统和方法。
技术介绍
智能或自主车辆越来越受欢迎，并且最近已成为受关注的研究主题。在自主车辆应用中，在大型室外环境中进行鲁棒和平滑的定位是一个关键问题。对于陆基地面车辆(例如在室外环境中运行的自主汽车)，针对定位信息的最流行的传感器是全局定位系统(GPS)。然而，作为普遍已知的问题，GPS卫星信号在城市环境中并不总是可用，并且由于例如由高城市建筑物和树冠引起的多径误差，其准确性也受到损害。因此，越来越多地开发基于同时定位和地图构建(SLAM)的方法以为城市应用构建地图。这种方法有助于通过对地图建模并使用车载传感器相对于该地图进行定位，从而进行惯性导航。贯穿本公开，所有参考的专利、申请和文献均通过引用全文并入本文。例如，包括以下参考文献：TimCaselitz，BastianSteder，MichaelRuhnke，WolframBurgard；MonocularCameraLocalizationin3DLiDARMaps；http：//ais.informatik.uni-freiburg.de/publications/papers/caselitz16iros.pdf.RaulMur-Attal，J.M.M.Montiel，Member，IEEE，andJuanD.Tardos，MemberIEEE；ORB-SLAM：AVersatileandAccurateMonocularSLAMSystem，IEEETransactionsonRobotics，Vol.31，No.5，October2015，1147-1163；http：//ieeexplore.ieee.org/document/7219438/TorstenSattler，AkihikoTorii，JosefSivic，MarchPollefeys，HajimeTaira，MasatoshiOkutomi，TomasPajdla，DepartmentofComputerScience，ETDZurich，TokyoInstituteofTechnology，Iniria，Microsoft，Redmond，ChezehTechnologyUniversityinPraque，AreLarge-Scale3DModelsReallyNecessaryForAccurateVisualLocalization；https：//hal.inria.fr/hal-01513083JokobEngelandThomasSchopsandDanielCremers，TechnicalUniversityMunich；LSD-SLAM：LargeScaleDirectMonocularSLAM；https：//www.researchgate.net/publication/290620817_LSD-SLAM_large-scale_direct_monocular_SLAM
技术实现思路
通过以下实施例的详细描述以及附图，本实施例的各种目的、特征、方面和优点将变得更加显而易见，附图中相似的标号表示相似的组件。本公开的实施例提供了一种用于非瞬时性计算机可读存储介质的定位的方法，所述非瞬时性计算机可读存储介质存储一个或多个程序。所述一个或多个程序包括指令，所述指令在由计算设备执行时使所述计算设备由一个或多个自主车辆驾驶模块使用以下步骤对来自相机的图像和来自LiDAR的数据执行处理，包括：将3D子地图和全局地图体素化为体素；使用概率模型估计所述体素内3D点的分布；从3D子地图和全局地图提取特征；以及将提取的特征分类。在实施例中，在将3D子地图和全局地图体素化为体素之前，所述方法还包括：构造3D子地图和全局地图。在另一实施例中，在构造3D子地图和全局地图之前，所述方法还包括：执行数据对齐；以及使用传感器收集环境中的数据，所述传感器包括相机、LiDAR和惯性导航模块。在又一实施例中，构造3D子地图包括：从相机获得图像；以及使用视觉SLAM，基于所述图像构造至少一个3D子地图。在又一实施例中，构造全局地图包括：从LiDAR获得数据；以及使用LiDAR地图构建，基于来自LiDAR的数据构造城市规模的3D地图。在又一实施例中，从3D子地图和全局地图提取特征包括：从3D子地图和全局地图提取结构化特征和非结构化特征。在又一实施例中，所述结构化特征包括平面、直线和曲线中的至少一个，并且所述非结构化特征包括稀疏的3D点。在又一实施例中，所述方法还包括：将从3D子地图提取的特征与从全局地图提取的特征进行匹配。在又一实施例中，匹配特征包括：计算3D子地图和全局地图中相同类的对应特征之间的匹配分数；以及针对3D子地图中的每个特征，从全局地图中选择具有最高匹配分数的对应特征。在又一实施例中，所述方法还包括：完善特征对应关系；以及完善3D子地图的位置。在又一实施例中，完善特征对应关系包括：确定对应特征之间的距离大于阈值；以及移除与所述对应特征相关联的特征对应关系。在又一实施例中，对应特征之间的距离由训练的分类器确定。在又一实施例中，完善3D子地图的位置包括：执行对3D子地图的位置的迭代估计，直到对应特征之间的距离达到预定值为止。本公开的一些实施例还提供了一种用于定位的系统。所述系统包括互联网服务器，所述互联网服务器包括：I/O端口，被配置为向客户端设备发送电信号和从客户端设备接收电信号；存储器本文档来自技高网...

【技术保护点】
1.一种用于非瞬时性计算机可读存储介质的定位的方法，所述非瞬时性计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，所述指令在由计算设备执行时使所述计算设备由一个或多个自主车辆驾驶模块使用以下步骤对来自相机的图像和来自LiDAR的数据执行处理，包括：/n将3D子地图和全局地图体素化为体素；/n使用概率模型估计所述体素内3D点的分布；/n从3D子地图和全局地图提取特征；以及/n将提取的特征分类。/n

【技术特征摘要】
【国外来华专利技术】20170823 US 15/684,3631.一种用于非瞬时性计算机可读存储介质的定位的方法，所述非瞬时性计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，所述指令在由计算设备执行时使所述计算设备由一个或多个自主车辆驾驶模块使用以下步骤对来自相机的图像和来自LiDAR的数据执行处理，包括：
将3D子地图和全局地图体素化为体素；
使用概率模型估计所述体素内3D点的分布；
从3D子地图和全局地图提取特征；以及
将提取的特征分类。


2.根据权利要求1所述的方法，在将3D子地图和全局地图体素化为体素之前，还包括：
构造3D子地图和全局地图。


3.根据权利要求2所述的方法，在构造3D子地图和全局地图之前，还包括：
执行数据对齐；以及
使用传感器收集环境中的数据，所述传感器包括相机、LiDAR和惯性导航模块。


4.根据权利要求2所述的方法，其中，构造3D子地图包括：
从相机获得图像；以及
使用视觉SLAM，基于所述图像构造至少一个3D子地图。


5.根据权利要求2所述的方法，其中，构造全局地图包括：
从LiDAR获得数据；以及
使用LiDAR地图构建，基于来自LiDAR的数据构造城市规模的3D地图。


6.根据权利要求1所述的方法，其中，从3D子地图和全局地图提取特征包括：
从3D子地图和全局地图提取结构化特征和非结构化特征。


7.根据权利要求6所述的方法，其中，所述结构化特征包括平面、直线和曲线中的至少一个，并且所述非结构化特征包括稀疏的3D点。


8.根据权利要求1所述的方法，还包括：
将从3D子地图提取的特征与从全局地图提取的特征进行匹配。


9.根据权利要求8所述的方法，其中，匹配特征包括：
计算3D子地图和全局地图中相同类的对应特征之间的匹配分数；以及
针对3D子地图中的每个特征，从全局地图中选择具有最高匹配分数的对应特征。


10.根据权利要求1所述的方法，还包括：
完善特征对应关系；以及
完善3D子地图的位置。


11...

【专利技术属性】
技术研发人员：罗毅，王一，许可，
申请(专利权)人：图森有限公司，
类型：发明
国别省市：美国;US