基于计算机视觉与PDR的行人室内定位与AR导航方法技术

本发明专利技术公开了一种基于计算机视觉与PDR的行人室内定位与AR导航方法。该方法能够自动完成初始化，实现室内精确定位，具有AR导航功能，并能够在导航界面上显示环境三维点云地图。本方法主要包括建图、定位与导航三个部分。建图时，本方法使用深度摄像机获取环境深度图，在云端服务器完成三维点云地图构建。定位时，移动终端调用云端服务器上的视觉定位算法计算PDR中的参数完成自动初始化，之后采集环境RGB图和移动终端IMU信息，使用加权融合解决视觉定位性能受环境影响大和PDR定位漂移问题。导航时，移动终端根据导航算法结果生成AR导航标志，并把三维点云地图显示在界面上。本方法可在大型室内场所用于行人定位导航。在大型室内场所用于行人定位导航。在大型室内场所用于行人定位导航。

【技术实现步骤摘要】
基于计算机视觉与PDR的行人室内定位与AR导航方法


[0001]本专利技术属于定位导航
，尤其涉及一种基于计算机视觉与PDR的行人室内定位与AR导航方法。

技术介绍

[0002]随着城市建设的发展，大型室内场景变得越来越多，最常使用的GPS定位技术在室内因为信号过弱而无法使用，但是商铺导航、室内AR游戏等应用都需要以室内定位导航系统为基础，所以人们对新型室内定位导航系统的需求越来越大。目前面向室内的定位技术有各自的优点但也存在各自的局限性：PDR(行人航迹推算算法)技术通过读取手机IMU模块的数据计算出用户的步长，再结合步频和方向角信息计算得到用户行走路径的长度和方向，最后得到用户的位置，PDR技术在步长计算上有很多种模型，本方法使用的模型定位精度高但在计算用户步长的时候不同用户具有不同的方程参数，用户使用PDR之前需要手动标定这些参数，这一过程增大了PDR的使用难度，此外PDR存在积分漂移问题，连续使用时间越久PDR的误差越大。视觉定位技术定位精度较高、使用成本较小，但易受环境光线影响并在单调环境下无法成功定位。所以研究一种融合型定位方式是当下的热点。目前主流的融合型室内定位技术包括基于粒子滤波的WIFI、PDR融合技术，但该技术的定位精度较差；还有应用于机器人室内定位导航的视觉定位加惯性定位技术，但该技术无法适用于行人的室内定位。
[0003]近些年AR(Augmented Reality增强现实)产品正在不断出现，未来带AR效果的导航系统很有希望成为主流导航工具之一，并会作为其他室内AR产品的一部分。目前的AR导航系统大部分是应用在车辆上的，专门帮助行人在室内进行导航的AR导航系统还很少，少量行人AR室内导航系统的定位方式也是采用主流的WIFI定位、蓝牙定位等，这些定位方式定位效果较差，导致AR导航效果也较差，并且它们没有建图过程，无法做到显示三维地图的功能。

技术实现思路

[0004]本专利技术的目的在于针对室内行人定位困难的问题，基于计算机视觉与PDR技术设计新型融合定位方案，实现室内低成本精确定位。针对二维导航地图用户体验感较差的问题，使用SLAM技术(实时建图定位技术)完成室内环境建图与显示，同时使用AR技术完成AR导航功能，实现更好的导航体验。
[0005]本专利技术的目的是通过以下技术方案实现的：一种基于计算机视觉与PDR的行人室内定位与AR导航方法，该方法包括以下步骤：
[0006](1)通过深度摄像机采集室内RGBD图像发送到云端服务器，在云端服务器构建室内三维点云地图，对所述室内三维点云地图进行坐标线性变换校准，得到旋转矩阵；
[0007](2)基于计算机视觉和坐标变换对移动终端进行定位，得到移动终端世界坐标，包括：
[0008](2.1)通过移动终端采集室内RGB图像发送到云端服务器；
[0009](2.2)云端服务器根据移动终端发送的图像，使用最大似然透视n点算法计算得到移动终端在室内三维点云地图中的位置，结合步骤(1)中的旋转矩阵得到移动终端世界坐标；
[0010](3)在移动终端构建PDR步长估计模型，根据步骤(2)得到的移动终端世界坐标计算步长，根据步长估计PDR步长估计模型中的身高参数和个异性参数，完成PDR自动初始化，在移动终端使用PDR计算得到移动终端世界坐标，然后将世界坐标上传至云端服务器；
[0011](4)使用加权融合定位，云端服务器根据步骤(2)和步骤(3)得到的移动终端世界坐标得到融合后的移动终端世界坐标；在步骤(2)的视觉定位工作环境不满足要求时，提高PDR定位权重，降低视觉定位权重，在步骤(3)的PDR定位工作时间超过阈值时，使用视觉定位结果更新PDR当前位置；
[0012](5)在云端服务器，基于移动终端世界坐标，根据导航算法计算得到路径规划结果并返回移动终端，在移动终端根据路径规划结果显示AR导航标志及环境三维点云地图。
[0013]进一步地，所述云端服务器存放步骤(1)建图时深度摄像机采集的RGB图片、深度图片、记录采集图片时间戳的txt文件，步骤(2)视觉定位时移动终端采集的RGB图片、记录采集图片时间戳的txt文件，以及深度摄像机和移动终端相机的内外参数。
[0014]进一步地，所述步骤(1)中，在云端服务器使用SLAM算法构建室内三维点云地图；为了能够找到视觉定位坐标系下的xz平面和z轴，在建图过程中预设一段在世界坐标系下xz平面和z轴的运动轨迹。
[0015]进一步地，所述步骤(1)中，在云端服务器对室内三维点云地图进行坐标线性变换校准，具体为：
[0016]①
第一次旋转变换，将视觉定位坐标系的xz平面旋转到与世界坐标系的xz平面重合：根据SLAM算法返回的关键帧深度摄像机所在位置构建数据矩阵P
m
×3＝[x，y，z]，x，y，z分别是视觉定位坐标系下的x，y，z轴位置数据向量，m为在建图过程中预设轨迹的关键帧数量；在数据矩阵P
m
×3中找到一个平面Ω：z＝ax+by，满足如下最小化问题：
[0017][0018]其中，a，b是平面方程系数，x
i
，y
i
，z
i
是P
m
×3中的数据点在x，y，z轴的坐标值；求解最小化问题得到平面方程系数解a0，b0；
[0019]根据平面Ω的参数，得到第一次旋转变换的旋转矩阵R
xz
：
[0020][0021]其中，R
x
，R
z
分别为绕x，z轴旋转方向的旋转矩阵；
[0022][0023]②
第二次旋转变换，用于确定绕y轴旋转方向的旋转矩阵R
y
，消去绕y轴旋转的自由度，得到过原点的直线z＝kx；
[0024][0025]其中，k为直线斜率，
[0026]③
计算得到总体旋转矩阵R＝R
y
R
xz
。
[0027]进一步地，所述步骤(1)中，在云端服务器使用SLAM算法构建室内三维点云地图，调用点云库PCL得到稠密化后的点云地图，调用基于八叉树的三维地图创建工具octomap提供的OcTree类，创建一个八叉树对象，并从点云地图中读取坐标插入到八叉树中，获取每个点的体素信息，确定地图中的可行通路，最终得到带连通信息的三维稠密点云地图。
[0028]进一步地，所述步骤(1)中构建的室内三维点云地图存放在云端服务器中，在实时导航时，将室内三维点云地图下发到移动终端，并在导航界面进行展示。
[0029]进一步地，所述步骤(3)中，在移动终端构建的PDR步长估计模型如下：
[0030][0031]其中，SL表示步长，a
′
＝0.371，b
′
＝0.227是模型的两个经验参数，f为步频参数，h为身高参数，c为个异性参数。
[0032]进一步地，所述步骤(3)中，根据步骤(2)得到的移动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉与PDR的行人室内定位与AR导航方法，其特征在于，包括以下步骤：(1)通过深度摄像机采集室内RGBD图像发送到云端服务器，在云端服务器构建室内三维点云地图，对所述室内三维点云地图进行坐标线性变换校准，得到旋转矩阵；(2)基于计算机视觉和坐标变换对移动终端进行定位，得到移动终端世界坐标，包括：(2.1)通过移动终端采集室内RGB图像发送到云端服务器；(2.2)云端服务器根据移动终端发送的图像，使用最大似然透视n点算法计算得到移动终端在室内三维点云地图中的位置，结合步骤(1)中的旋转矩阵得到移动终端世界坐标；(3)在移动终端构建PDR步长估计模型，根据步骤(2)得到的移动终端世界坐标计算步长，根据步长估计PDR步长估计模型中的身高参数和个异性参数，完成PDR自动初始化，在移动终端使用PDR计算得到移动终端世界坐标，然后将世界坐标上传至云端服务器；(4)使用加权融合定位，云端服务器根据步骤(2)和步骤(3)得到的移动终端世界坐标得到融合后的移动终端世界坐标；在步骤(2)的视觉定位工作环境不满足要求时，提高PDR定位权重，降低视觉定位权重，在步骤(3)的PDR定位工作时间超过阈值时，使用视觉定位结果更新PDR当前位置；(5)在云端服务器，基于移动终端世界坐标，根据导航算法计算得到路径规划结果并返回移动终端，在移动终端根据路径规划结果显示AR导航标志及环境三维点云地图。2.根据权利要求1所述的一种基于计算机视觉与PDR的行人室内定位与AR导航方法，其特征在于，所述云端服务器存放步骤(1)建图时深度摄像机采集的RGB图片、深度图片、记录采集图片时间戳的txt文件，步骤(2)视觉定位时移动终端采集的RGB图片、记录采集图片时间戳的txt文件，以及深度摄像机和移动终端相机的内外参数。3.根据权利要求1所述的一种基于计算机视觉与PDR的行人室内定位与AR导航方法，其特征在于，所述步骤(1)中，在云端服务器使用SLAM算法构建室内三维点云地图；为了能够找到视觉定位坐标系下的xz平面和z轴，在建图过程中预设一段在世界坐标系下xz平面和z轴的运动轨迹。4.根据权利要求3所述的一种基于计算机视觉与PDR的行人室内定位与AR导航方法，其特征在于，所述步骤(1)中，在云端服务器对室内三维点云地图进行坐标线性变换校准，具体为：
①
第一次旋转变换，将视觉定位坐标系的xz平面旋转到与世界坐标系的xz平面重合：根据SLAM算法返回的关键帧深度摄像机所在位置构建数据矩阵P
m
×3＝[x，y，z]，x，y，z分别是视觉定位坐标系下的x，y，z轴位置数据向量，m为在建图过程中预设轨迹的关键帧数量；在数据矩阵P
m
×3中找到一个平面Ω：z＝ax+by，满足如下最小化问题：其中，a，b是平面方程系数，x
i
，y
i
，z
i
是P
m
×3中的数据点在x，y，z轴的坐标值；求解最小化问题得到平面方程系数解a0，b0；根据平面Ω的参数，得到第一次旋转变换的旋转矩阵R
xz
：
R...

【专利技术属性】
技术研发人员：陆忆憧，叶江南，黄嘉欣，万世雄，史治国，
申请(专利权)人：浙江大学，
类型：发明
国别省市：