基于点云地图视觉定位的MR导航方法技术

本发明专利技术揭示并应用了一种基于点云地图视觉定位的MR导航方法，通过视觉定位实时获取用户当前所在位置并提供路径规划的导航服务。通过数据采集及计算处理得到与目标区域1:1还原的点云地图，通过MR设备的深度摄像头实时采集用户周边图像信息，并与目标区域的点云地图进行特征点匹配操作，得用户当前的定位数据；再由MR设备集成的导航应用根据定位数据与用户标定的终点位置进行实时的路径规划。应用本发明专利技术的MR导航方法，填补了GPS等导航系统对局部室内环境导航的空白，通过就地取材的现场特征点采集和匹配实现人员定位和直观的导航呈现，克服了现有导航方案受制于信号强弱、导航失灵等问题；且通过MR设备直观展现导航效果，体感得以增强。得以增强。得以增强。

【技术实现步骤摘要】
基于点云地图视觉定位的MR导航方法


[0001]本专利技术涉及一种数字图像化导航方法，尤其涉及适用于非广域局地空间的一种基于点云地图视觉定位的MR导航方法。

技术介绍

[0002]随着科学技术的发展，数字化导航的技术解决方案已普及性应用于各类飞机、轮船、车辆等交通工具运行的方向引导中，无论是人工驾驶还是全自动驾驶。其中尤以普及性最广的小型机动车导航应用热度最高。而对于广域的路线导航可以使用多家地图软件公司的产品进行路线规划和导航，满足驾驶员在城市之间或异地城市内快速找寻合适的道路到达目的地，改善并大幅提升了人们出行的效率。
[0003]但人们的实际活动中，导航的概念并不仅限于广域空间之中，对于高精度的局部导航，例如大型商场、室内景区博物馆、室外景区等，环境比较复杂，用户在外出游玩或者商场购物的时候，如果对于环境不熟悉或者路线指引较少等，经常会遇到找不到目的地或者不知道如何行进的问题，常规的地图软件目前尚不能解决这个问题。
[0004]目前局部高精度导航技术主要是使用GPS或者短距离无线传输等定位系统来实现定位的目的，在信号较好的地方可以提供较好的导航和定位效果，但在信号较弱的地方，导航服务和定位效果便不尽如人意。
[0005]同时，主流的MR硬件设备，鲜有自带GPS等定位功能，若通过加入GPS硬件的形式实现导航定位，会进一步加重其硬件设备重量，对于设备本身成本控制及普适性难度增大。

技术实现思路

[0006]鉴于上述现有技术的不足，本专利技术的目的旨在提出一种基于点云地图视觉定位的MR导航方法，解决封闭式局地复杂环境下提高导航精度和灵活性的问题。
[0007]本专利技术实现上述目的的技术解决方案是：基于点云地图视觉定位的MR导航方法，其特征在于：通过数据采集及计算处理得到与目标区域1:1还原的点云地图，通过MR设备的深度摄像头实时采集用户周边图像信息，并与目标区域的点云地图进行特征点匹配操作，得用户当前的定位数据；再由MR设备集成的导航应用根据定位数据与用户标定的终点位置进行实时的路径规划。
[0008]进一步地，所述数据采集为使用深度摄像机预采集目标区域的三维空间坐标数据和图像数据，得到包含特征点的三维坐标、颜色信息及光反射强度的点云信息。
[0009]进一步地，所述点云地图的生成，通过上传数据采集所得的点云信息至上层服务器，并利用预装的点云地图生成程序三维重建生成，所生成的点云地图包含目标区域内的实物对象及区域高度。
[0010]更进一步地，所述点云地图生成程序中还包括中断及在图像中标志性位置增添至少包括出入口、洗手间、重点展品的标识点，得到已标记的点云地图。
[0011]再进一步地，基于已标记的点云地图对目标区域进行网格划分，得到目标区域对
应的网格信息α版本，再根据目标区域的路由通行状态调整网格的行止状态，得到目标区域对应的网格信息β版本，并同步至点云地图。
[0012]进一步地，所述MR设备为用户随身佩戴、跟随移动并伴随运行MR导航应用程序，且MR设备具备接收用户点击或语音命令的人机交互接口；所述MR导航应用程序以标记且网格处理的点云地图为数据基础，以用户当前的定位数据和指令输入为导航条件实施路径规划。
[0013]更进一步地，所述路径规划包含对应一个目的地的最短行进路径、对应五个以下目的地的复合行进路径或漫游遍历的行进路径，且导航路径实时内嵌于MR设备所显示点云地图的画面中，随用户移动的实时行进坐标变化而更新展示。
[0014]进一步地，所述MR设备在视觉实时定位中的特征点匹配至少选择ICP算法或NDT配准方法实施完成。
[0015]应用本专利技术的MR导航方法，具备显著的进步性：该方法基于点云地图的视觉定位，填补了GPS等导航系统对局部室内环境导航的空白，通过佩戴MR设备采集用户当前周边环境的图像及特征点匹配，即可精准地得到用户所处的实时位置；结合预载入点云地图及人机交互输入目的地的可选路径规划，克服了现有导航方案受制于信号强弱、导航失灵等问题；且通过MR设备直观展现导航效果，体感得以增强。
附图说明
[0016]图1是本专利技术基于点云地图视觉定位的MR导航方法流程示意图。
具体实施方式
[0017]以下对本专利技术的具体实施方式作进一步的详述，以使本专利技术技术方案更易于理解、掌握，从而对本专利技术的保护范围做出更为清晰的界定。
[0018]有鉴于现有导航系统主职于广域范围内的定位导航，对局地范围或室内复杂环境导航方面受制于信号强度且定位精度差的问题，本申请设计人结合多年智能终端与场景再现的技术研究经验，创新提出了一种基于点云地图视觉定位的MR导航方法，利用并拓展MR设备的功能，为大型商场、室内博物馆等场所的细节化导航定位提出了新的技术解决方案。
[0019]本专利技术该MR导航方法概述来看，其首先通过数据采集及计算处理得到与目标区域1:1还原的点云地图，再通过MR设备的深度摄像头实时采集用户周边图像信息，并与目标区域的点云地图进行特征点匹配操作，得用户当前的定位数据；最后由MR设备集成的导航应用根据定位数据与用户标定的终点位置进行实时的路径规划。
[0020]为更好地理解以上方案，以下以大型商场为实施例并结合图1所示流程图，对每个步骤进一步详述其实施细节。
[0021]首先第一部分从数据采集来看，其为使用深度摄像机预采集目标区域的三维空间坐标数据和图像数据，得到包含特征点的三维坐标、颜色信息及光反射强度的点云信息。具体地，逐楼层拍摄商场不同位置的3D图像，可以涉及多个商铺、单个商铺或公共服务台、公用设施等，其特征点包括商铺编号、占据空间大小、店招颜色等。通常对于大型商场而言，任一楼层可能涉及的商铺多达百个，故而该步骤采集的原始数据为以楼层分组的若干3D图像集合，作为后续点云地图生成及优化处理的数据基础。
[0022]接着第二部分从点云地图生成来看，这部分可由外置的上层本地服务器或云服务器完成，通过上传数据采集所得的点云信息，并利用预装的点云地图生成程序三维重建生成，所生成的点云地图包含目标区域内的实物对象及区域高度。技术实现手段为将采集的点云特征点通过离线建图的方式恢复2D特征点的3D位置，通过三维重建技术对目标区域进行三维重建，生成与真实环境1:1的点云地图。具体请参阅“基于视觉的三维重建关键技术研究综述”[1] ，索引链接为：。
[0023]对采集的多视角的有序点云做整体优化，以达到较好的降噪和改善局部点云形变的问题。
[0024]在以上点云地图初步生成的基础上，编程作业人员亦可根据个人对该大型商场的深度观察和了解，利用点云地图生成程序的中断，在图像中标志性位置增添至少包括出入口、洗手间、重点展品的标识点，得到已标记且强化辨识度的点云地图。
[0025]并且，从导航系统编程操作出发，需要对点云地图进一步网格处理，以便于后续路径规划。因此基于已标记的点云地图可对目标区域进行网格划分，得到目标区域对应的网格信息α版本。而大型商场由于装修布局上的特殊性，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于点云地图视觉定位的MR导航方法，其特征在于：通过数据采集及计算处理得到与目标区域1:1还原的点云地图，通过MR设备的深度摄像头实时采集用户周边图像信息，并与目标区域的点云地图进行特征点匹配操作，得用户当前的定位数据；再由MR设备集成的导航应用根据定位数据与用户标定的终点位置进行实时的路径规划。2.根据权利要求1所述基于点云地图视觉定位的MR导航方法，其特征在于：所述数据采集为使用深度摄像机预采集目标区域的三维空间坐标数据和图像数据，得到包含特征点的三维坐标、颜色信息及光反射强度的点云信息。3.根据权利要求1所述基于点云地图视觉定位的MR导航方法，其特征在于：所述点云地图的生成，通过上传数据采集所得的点云信息至上层服务器，并利用预装的点云地图生成程序三维重建生成，所生成的点云地图包含目标区域内的实物对象及区域高度。4.根据权利要求3所述基于点云地图视觉定位的MR导航方法，其特征在于：所述点云地图生成程序中还包括中断及在图像中标志性位置增添至少包括出入口、洗手间、重点展品的标识点，得到已标记的点云地图。5.根据权利要求4所述基于点...

【专利技术属性】
技术研发人员：于云沣，周晖，纪芸芸，
申请(专利权)人：南京惊涛智能科技有限公司，
类型：发明
国别省市：