一种标识辅助的视觉惯性增强现实注册方法技术

本发明专利技术属于增强现实技术领域，具体涉及一种标识辅助的视觉惯性增强现实注册方法。本发明专利技术包括如下步骤：步骤1、对自然特征容易跟踪失败的区域张贴人工标识；步骤2、对相机的实时跟踪，从相机获取图像帧；步骤3、从增强现实系统使用场景中的任意位置开始建立初始地图；步骤4、随着相机运动，实时估算相邻图像间的位姿，并且不断插入关键帧；步骤5、当检测到回环时，优化观测的信息，构建全局一致的地图；步骤6、根据环境地图和基准人工标识的位置，对虚拟物体进行三维注册。本发明专利技术利用标识辅助视觉惯导进行相机的定位和对周围环境的建图，统一SLAM系统的坐标系，提高虚实注册的鲁棒性。

【技术实现步骤摘要】
一种标识辅助的视觉惯性增强现实注册方法
本专利技术属于计算机视觉、机器人定位与导航以及增强现实
，具体涉及一种标识辅助的视觉惯性增强现实注册方法。
技术介绍
增强现实(AugmentedReality，AR)是为了弥补虚拟现实中无真实环境的缺陷衍生而来，是一种将虚拟信息和真实世界“无缝”融合的新技术，把原本在现实世界的一定场景下很难体验到的实体信息(视觉、听觉、触觉、味觉等)，通过计算机等技术，模拟仿真后再叠加到真实世界，真实世界和虚拟物体实时地融合渲染到了同一个显示设备上，从而达到对现实感知的增强，使人类感知到现实中难以体验到的信息。增强现实是一种底层技术，只要是需要对现实增强感知的场合都可以使用增强现实技术。例如：在电子商务领域中可以使用增强现实技术在用户面前展示线上产品，使用户在未购买产品的情况下逼真地感受产品；在旅游展览产业中使用增强现实技术展示难以在真实世界中修复的景观和物品，给旅客更梦幻的体验；在军事领域上可使用增强现实技术更直观地显示作战信息；另外，在游戏、教育、医疗等等其它领域增强现实都有着非常广泛的应用。增强现实的关键技术之一是跟踪二维平面或三维物体将虚拟物体注册到真实场景中，实时保持在相机运动过程中，虚拟物体和真实场景的几何一致性。普通的方形黑白人工标识由于识别速度快、成本低、精度高、鲁棒性好等优点，广泛用于增强现实注册，但是当标识不在视野中时相机就无法定位。在机器人领域视觉惯导融合的同时建图和定位技术是目前相机定位成本较低精度较高的方案，但是在它的世界坐标系一般是系统初始化的第一帧，即每次运行定位系统的世界坐标系都不同，这样只有通过检测环境中的平面等信息加上用户交互来确定虚拟物体的位置，虚拟物体的位置无法预先用世界坐标准确表示，所构建的地图难以复用，且难以长时间保持鲁棒性。
技术实现思路
本专利技术的目的在于，针对现有技术的缺陷，提供一种标识辅助的视觉惯导增强现实注册方法，利用标识辅助视觉惯导进行相机的定位和对周围环境的建图，统一SLAM系统的坐标系，提高虚实注册的鲁棒性。本专利技术采用的技术方案：一种标识辅助的视觉惯性增强现实注册方法，包括如下步骤：步骤1、预先实验对自然特征容易跟踪失败的区域张贴人工标识，张贴基准人工标识；步骤2、在增强现实系统使用场景中放置好所有的人工标识后，开始对相机的实时跟踪，从相机获取图像帧，对每帧图像进行提取特征点和检查人工标识，在获取两帧图像之间进行IMU预积分；步骤3、从增强现实系统使用场景中的任意位置开始建立初始地图，如果检测到人工标识，则以人工标识为基准调整坐标系；步骤4、随着相机运动，实时估算相邻图像间的位姿，并且不断插入关键帧，如果跟踪失败则进行重定位；步骤5、当检测到回环时，优化观测的信息，构建全局一致的地图，以自定义格式保存该地图，可供下次或其他用户在当前环境中使用；步骤6、根据环境地图和基准人工标识的位置，对虚拟物体进行三维注册。所述步骤1包括如下步骤：步骤1.1、在ArUco字典中选择一些标识，按照相机分辨率和工作距离，打印出这些标识，测量标识的边长L；步骤1.2、预先不粘贴人工标识，在不放置人工标识的增强现实系统使用场景中，使用基于特征点的SLAM算法，同时定位和建图，在此过程中记录算法容易跟踪失败的区域，随后在这些区域按大小增加适当数量的ID不同的人工标识；步骤1.3、在增强现实系统使用场景中放置人工标识，尤其在容易跟踪失败的区域根据区域大小增加适量工标识。所述步骤2包括如下步骤：步骤2.1、将图像划分网格，每个网格提取一定数量特征点，根据实际效果设置两个阈值T1，T2，分别代表每帧图像和每个网格所需要的特征点数量，若图像或网格特征点数量不足，则舍弃该帧图像或网格；步骤2.2、对相邻两帧图像间IMU预积分；步骤2.3、将图像进行自适应二值化和形态学运算：对二值化的图像提取轮廓，过滤掉过大、过小和不是四边形的轮廓，使用单应矩阵将四边形去除透视投影，然后用Otsu的方法二值化，二值化后的图形转换为一个二进制的值和字典中的值对比，从而识别人工标识。所述步骤3包括如下步骤:步骤3.1、分别假设初始化场景为平面和非平面计算单应矩阵和基础矩阵，再按照两种解法的得分选择其中一个作为最终解，从而恢复初始化两帧间的运动；步骤3.2、利用IMU信息或人工标识信息恢复单目相机场景估算的真实尺度；步骤3.3、如果检测到基准人工标识，把基准人工标识坐标系设为世界坐标系，调整以前的地图坐标，后续的跟踪建图以新的世界坐标系为准，如果没有检测到基准人工标识，则世界坐标为初始化的第一帧。所述步骤3.1中，在初始化场景中，从相机获取有足够匹配点的两帧图像，分别记为xr，xc，分别计算单应矩阵Hcr和基础矩阵Fcr:xc＝Hcrxr,按照对称变换误差分别计算两种模型的得分：其中M表示H或F，根据下面的得分比例，当RH>0.45时选择基础矩阵：RH＝SH/(SH+SF)分解H矩阵或F矩阵得到初始化两帧的位姿，三角化初始地图点，得到初始化地图。所述步骤4中，具体子步骤包括:步骤4.1、当上一帧跟踪成功，则假设当前帧的与上一帧间的变换是固定值，再通过特征匹配地图点，优化当前帧位姿；步骤4.2、在纯视觉无法估计位姿的情况下利用IMU信息和人工标识信息，当视觉跟踪失败时，完全使用IMU信息估计位姿，这时观测到人工标识可得相机相对于人工标识的位姿，可求出这两个位姿间的变换，进而可以求出这个人工标识的世界坐标，将这个标识加入地图，可作为后续跟踪使用；步骤4.3：当跟踪失败时进行重定位。所述步骤5中，具体子步骤包括:步骤5.1、通过每一帧检测人工标识，和在词袋数据库中对比关键帧，检测回环；步骤5.2、检测到回环后，根据回环约束，对全局地图包括关键点、关键帧、人工标识的位姿使用全局光束平差法优化；步骤5.3、保存优化后地图，供下次或其他用户在当前场景复用。所述步骤5.1包括如下步骤：步骤5.1.1、当没有关键帧中没有检测到人工标识按照词袋检测回环；步骤5.1.2、人工标识检测回环。与现有技术相比，本专利技术的有益效果在于：(1)本专利技术提供一种标识辅助的视觉惯性增强现实注册方法,选定的人工标识坐标系作为世界坐标，保证每次运行SLAM系统可以在同一个坐标系下；大多数视觉SLAM算法都是以系统开始运行的第一帧的位姿作为世界坐标系，这样在增强现实系统中就无法预设虚拟物体的位置，然而在人工标识三维注册算法中通常假设人工标识是固定不动的，这样可以规定某个人工标识自身坐标系为增强现实系统的世界坐标系；(2)本专利技术提供一种标识辅助的视觉惯性增强现实注册方法,利用人工标识快速进行重定位和回环检测，提高系统的鲁棒性；视觉SLAM中的回环检测存在一定错误率、受光照和动态环境本文档来自技高网...

【技术保护点】
1.一种标识辅助的视觉惯性增强现实注册方法，其特征在于，包括如下步骤：/n步骤1、预先实验对自然特征容易跟踪失败的区域张贴人工标识，张贴基准人工标识；/n步骤2、在增强现实系统使用场景中放置好所有的人工标识后，开始对相机的实时跟踪，从相机获取图像帧，对每帧图像进行提取特征点和检查人工标识，在获取两帧图像之间进行IMU预积分；/n步骤3、从增强现实系统使用场景中的任意位置开始建立初始地图，如果检测到人工标识，则以人工标识为基准调整坐标系；/n步骤4、随着相机运动，实时估算相邻图像间的位姿，并且不断插入关键帧，如果跟踪失败则进行重定位；/n步骤5、当检测到回环时，优化观测的信息，构建全局一致的地图，以自定义格式保存该地图，可供下次或其他用户在当前环境中使用；/n步骤6、根据环境地图和基准人工标识的位置，对虚拟物体进行三维注册。/n

【技术特征摘要】
1.一种标识辅助的视觉惯性增强现实注册方法，其特征在于，包括如下步骤：
步骤1、预先实验对自然特征容易跟踪失败的区域张贴人工标识，张贴基准人工标识；
步骤2、在增强现实系统使用场景中放置好所有的人工标识后，开始对相机的实时跟踪，从相机获取图像帧，对每帧图像进行提取特征点和检查人工标识，在获取两帧图像之间进行IMU预积分；
步骤3、从增强现实系统使用场景中的任意位置开始建立初始地图，如果检测到人工标识，则以人工标识为基准调整坐标系；
步骤4、随着相机运动，实时估算相邻图像间的位姿，并且不断插入关键帧，如果跟踪失败则进行重定位；
步骤5、当检测到回环时，优化观测的信息，构建全局一致的地图，以自定义格式保存该地图，可供下次或其他用户在当前环境中使用；
步骤6、根据环境地图和基准人工标识的位置，对虚拟物体进行三维注册。


2.如权利要求1所述的一种标识辅助的视觉惯性增强现实注册方法，其特征在于，所述步骤1包括如下步骤：
步骤1.1、在ArUco字典中选择一些标识，按照相机分辨率和工作距离，打印出这些标识，测量标识的边长L；
步骤1.2、预先不粘贴人工标识，在不放置人工标识的增强现实系统使用场景中，使用基于特征点的SLAM算法，同时定位和建图，在此过程中记录算法容易跟踪失败的区域，随后在这些区域按大小增加适当数量的ID不同的人工标识；
步骤1.3、在增强现实系统使用场景中放置人工标识，尤其在容易跟踪失败的区域根据区域大小增加适量工标识。


3.如权利要求1所述的一种标识辅助的视觉惯性增强现实注册方法，其特征在于，所述步骤2包括如下步骤：
步骤2.1、将图像划分网格，每个网格提取一定数量特征点，根据实际效果设置两个阈值T1，T2，分别代表每帧图像和每个网格所需要的特征点数量，若图像或网格特征点数量不足，则舍弃该帧图像或网格；
步骤2.2、对相邻两帧图像间IMU预积分；
步骤2.3、将图像进行自适应二值化和形态学运算：对二值化的图像提取轮廓，过滤掉过大、过小和不是四边形的轮廓，使用单应矩阵将四边形去除透视投影，然后用Otsu的方法二值化，二值化后的图形转换为一个二进制的值和字典中的值对比，从而识别人工标识。


4.如权利要求1所述的一种标识辅助的视觉惯性增强现实注册方法，其特征在于，所述步骤3包括如下步骤：
步骤3.1、分别假设初始化场景为平面和非平面计...

【专利技术属性】
技术研发人员：桂健钧，邓宝松，周明作，张周，李靖，闫野，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京;11