一种基于室内自然场景图像深度学习的增强现实导航方法技术

本发明专利技术公开了一种基于室内自然场景图像深度学习的增强现实导航方法，其特点是，该方法首先通过三维激光扫描仪扫描室内自然场景提取三维场景特征识别点，接着计算智能手机摄像机内参矩阵，使用智能手机采集室内自然场景图像提取二维图像特征识别点，通过室内平面地图建立室内自然场景拓扑网络结构图；将二维图像特征识别点与三维场景特征识别点、拓扑网络路径节点通过特定描述符进行绑定映射；将智能手机采集室内自然场景图像进行基于深度学习图像分类，将室内自然场景分割为多个子场景；接着使用光流追踪算法对三维场景特征识别点进行跟踪和恢复，进一步合成场景注册需要的三维注册矩阵，最后完成虚拟导航物体现实场景注册，完成室内自然场景路径导航。

An augmented reality navigation method based on deep learning of indoor natural scene image

【技术实现步骤摘要】
一种基于室内自然场景图像深度学习的增强现实导航方法
：本专利技术涉及增强现实与室内导航技术，属于计算机视觉和增强现实结合领域，尤其是一种基于室内自然场景图像深度学习的增强现实导航方法。
技术介绍
：增强现实(AugmentReality，简称AR)是近年来科研研究的一个热点，有着广泛的应用前景，通过将虚拟物体与真实环境紧密结合，增强人们对周边环境的认知。增强现实的特性是：虚实结合、实时交互和跟踪注册。它是将计算机产生的信息(图像、模型、动画等)叠加到现实场景中，实现虚拟和现实的无缝融合；增强现实不同与VR的完全虚拟化现实世界，而是对现实环境的补充。增强现实技术增强了用户对现实世界的感知能力和现实世界的交互能力，越来越受到研究者的关注；室内定位导航是指在建筑物内部或者室内环境中位置与目标导航，由于室内结构复杂，单纯的GPS技术无法满足定位要求，因此出现了多种多样的室内定位导航方法。主要包括：WIFI、通讯基站、蓝牙、超声波、地磁等信号定位，以及二维码及特征标识物定位，以及利用手机IMU传感器进行跟踪定位等；深度学习(DL，DeepLearning本文档来自技高网...

【技术保护点】
1.一种基于室内自然场景图像深度学习的增强现实导航方法，其特征在于，包括以下步骤：/na建立室内自然场景三维场景特征识别点信息库，根据三维场景特征识别点对室内自然场景进行三维重建的基本原理，使用三维激光扫描仪扫描室内自然场景，提取室内自然场景三维场景特征识别点；/nb对智能手机摄像机的内参数S进行标定，求解智能手机摄像机内参矩阵A；/nc建立二维图像特征识别点信息库，通过采集室内自然场景多组图片，提取二维图像特征识别点；/nd建立室内自然场景拓扑网络路径地图，拓扑网络路径地图将障碍物、房间区域抽象为节点数据，将通行区域抽象为边，通过边和节点数据组成室内自然场景拓扑网络路径图；/ne用智能手机摄...

【技术特征摘要】
1.一种基于室内自然场景图像深度学习的增强现实导航方法，其特征在于，包括以下步骤：
a建立室内自然场景三维场景特征识别点信息库，根据三维场景特征识别点对室内自然场景进行三维重建的基本原理，使用三维激光扫描仪扫描室内自然场景，提取室内自然场景三维场景特征识别点；
b对智能手机摄像机的内参数S进行标定，求解智能手机摄像机内参矩阵A；
c建立二维图像特征识别点信息库，通过采集室内自然场景多组图片，提取二维图像特征识别点；
d建立室内自然场景拓扑网络路径地图，拓扑网络路径地图将障碍物、房间区域抽象为节点数据，将通行区域抽象为边，通过边和节点数据组成室内自然场景拓扑网络路径图；
e用智能手机摄像机拍摄当前室内自然场景，获取当前室内自然场景视频图像，检测当前室内自然场景视频图像的自然特征；
f利用深度学习图像分类算法对智能手机摄像机当前拍摄室内自然场景视频图像进行场景分类和在线学习；
g将当前室内自然场景视频图像与离线场景图像库的参考图像进行场景匹配识别，判断当前室内自然场景视频图像与离线场景图像库的参考图像是否相似，如果匹配相似则进入步骤i进行转换关系建立，匹配不相似则进入步骤h进行场景识别；
h设定一个室内自然场景识别失败计数器M，3≤M≤5，当识别次数大于M时，说明进入了一个新室内自然场景，进入步骤a对新室内自然场景进行三维重建；否则由于智能手机摄像头移动过快从而导致匹配失败，重新进入步骤e重新拍摄当前室内自然场景；
i建立二维图像特征识别点坐标到三维场景特征识别点空间坐标的投影矩阵G、室内自然场景拓扑网络路径节点映射表转化关系；
j根据投影矩阵G和已知智能手机摄像机内参矩阵A恢复当前室内自然场景视频图像的位姿矩阵[R|T]；
k进行几何校验和反差投影分析当前是否为有效的位姿矩阵[R|T]，如果是有效的位姿矩阵[R|T]，则进入步骤l合成三维注册矩阵K；否则返回步骤e识别室内自然场景视频图像的自然特征；
l判断是否有效位姿矩阵[R|T]，由步骤i建立的投影矩阵G以及建立的世界坐标系和投影坐标系之间的变换关系合成注册所需要的三维注册矩阵K；
m利用光流跟踪算法对室内自然场景二维图像特征识别点进行跟踪和在线学习；
n对跟踪到的二维图像特征识别点进行分析，若跟踪上的特征点个数大于P1并且小于P2，25＜P1＜35，40＜P2＜50，跟踪到的特征点数量影响位姿矩阵的注册精度，则进行确实的特征识别点恢复，P1为跟踪点下限，P2为位姿矩阵[R|T]计算质量控制阈值；
o当跟踪到的二维图像特征识别点小于P1，说明对当前场景跟踪失败，用户到达新的室内自然场景需要进行重建和识别，返回步骤a；
p已知步骤i建立的投影矩阵G以及室内自然场景拓扑网络路径节点映射表转化关系，用真实智能手机摄像头的内参数矩阵A和合成三维注册矩阵K，并设定虚拟摄像头的内外参数，对虚拟导航引导物进行虚拟叠加至现实场景，通过显示设备输出；
q显示现场地图和虚拟导航引导箭头，并将所获得的预存离线场景图像信息对应的预存现场位置信息在现场地图中进行标示；
r执行针对目标位置的增强现实室内导航功能命令，所述执行命令包括从用户所在位置到目标位置的相对位置显示、路径显示与虚拟导航指引箭头叠加在现实场景中。


2.根据权利要求书1所述的一种基于室内自然场景图像深度学习的增强现实导航方法，其特征在于，所述的步骤a中室内自然场景的三维场景特征识别点信息库建立包括如下具体步骤：
a对室内自然场景进行标靶布设，保证扫描物体在有效范围之内，避免扫描盲区、减少重复扫描区域；
b确定坐标配准、转换；
c使用三维激光扫描仪扫描室内自然场景，生成高密度三维场景特征识别点云数据；
d抽稀三维场景特征识别点云数据，保留权重值大、特征明显的三维场景特征识别点；
e根据投影矩阵G重建一组二维图像特征识别点与三维场...

【专利技术属性】
技术研发人员：曹兴文，吴孟泉，陀名熠，张文良，刘韦韦，伯英杰，廖宗钰，周卉林，孙嘉欣，张聪颖，赵紫琦，宁祥雨，唐浩晨，
申请(专利权)人：鲁东大学，
类型：发明
国别省市：山东;37