智能移动终端的室内定位方法、装置与电子设备制造方法及图纸

本发明专利技术实施例提供一种智能移动终端的室内定位方法、装置与电子设备，其中方法包括：获取通过智能移动终端拍摄的室内图像，并利用预建的目标检测模型，对室内图像进行目标检测，获取包含目标物体的图像；获取包含目标物体的图像的特征点信息，并根据预建的特征点数据库，进行图像特征点匹配，获取包含目标物体的图像对应的位姿信息；基于该位姿信息，对智能移动终端进行室内定位；其中，目标检测模型为预先利用采集的室内场景中可识别目标的图像数据进行训练获取的，特征点数据库为预先通过对移动测量系统采集的带有位姿信息的图像进行特征点提取构建的。本发明专利技术实施例能够更准确的实现智能移动终端室内定位，并能有效扩展适用范围。

Indoor positioning method, device and electronic equipment of intelligent mobile terminal

【技术实现步骤摘要】
智能移动终端的室内定位方法、装置与电子设备
本专利技术涉及智能定位
，更具体地，涉及一种智能移动终端的室内定位方法、装置与电子设备。
技术介绍
当前室外GNSS定位已经足以提供成熟的服务，但室内定位技术仍处于起步阶段，尚没有一种技术占据绝对的优势。智能手机导航和位置服务已经成为最常用的智能手机应用之一，但是室内空间未能无缝覆盖成为智能手机应用的最大痛点。目前基于智能手机的室内定位技术的种类众多，主要利用射频信号和内置传感器实现，包括惯性PDR、射频信号(WIFI、蓝牙)指纹/测距定位、视觉定位等。惯性PDR利用行人跨步的生理特性，通过加速度计数据对行人进行步态检测和步长估计，并通过融合加速度计、陀螺仪和磁力计数据进行航向角解算，最终实现行人的位置推算。也即，主要利用加速度计来探测步数，再结合步长估计与航向估计，进行位置估计。基于射频信号的定位，主要是利用可与智能手机兼容的WIFI、蓝牙等信号进行定位，一般可分为指纹匹配定位和测距交会定位两种。指纹匹配定位通过建立与位置相关的可测量参数数据库，将测量值与数据库进行匹配，从而获取位置信息。测距定位则通过测量射频信号接收机和基站之间的距离，利用几何交会的方法确定智能手机的位置。基于视觉的室内定位主要分为两个方向，一是借助视觉标志物进行室内定位，如二维码、机器视觉识别路标等；另一种主要基于图像检索的室内定位，通过精确检索后，将问询图像最佳匹配的图像所指向的场景确定为用户所在场景。然而，基于射频信号的定位方式，容易受到复杂室内环境的干扰和非视距误差的影响等，稳定性能差，而且往往需要架设基站或建立指纹数据库，限制了应用场景。惯性PDR通过内置传感器实现自主导航，关键在于航向估计，但由于室内环境磁干扰相当严重，很难准确估计航向，同时PDR是相对定位，航向误差会导致整条航迹的旋转。基于视觉的定位方法定位精度高且能够提供丰富的场景信息，因此避免了无线信号受非视距误差的影响，且能够与智能手机更好的兼容，成为众多室内定位方式中消费级应用较为新颖的一种模式。但是，其定位需要提前布设标志物和获取标志物的地理位置信息，必须在室内各个场景张贴路标，其实是一种标识识别，并不能利用丰富的图像信息。同时，基于图像检索的室内定位通过将图片信息与场景位置数据库关联，并对图像和位置进行标注，位置信息数据库同样需要人工采集，工作方式费时费力，且无法得到准确的位置和姿态信息。
技术实现思路
为了克服上述问题或者至少部分地解决上述问题，本专利技术实施例提供一种智能移动终端的室内定位方法、装置与电子设备，用以更准确的实现目标定位，并有效扩展适用范围。第一方面，本专利技术实施例提供一种智能移动终端的室内定位方法，包括：获取通过智能移动终端拍摄的室内图像，并利用预先建立的目标检测模型，对所述室内图像进行目标检测，获取包含目标物体的图像；获取所述包含目标物体的图像的特征点信息，并根据预先构建的特征点数据库，进行图像特征点匹配，获取所述包含目标物体的图像对应的位姿信息；基于所述位姿信息，对所述智能移动终端进行室内定位；其中，所述目标检测模型为预先利用采集的室内场景中可识别目标的图像数据进行训练获取的，所述特征点数据库为预先通过对移动测量系统采集的带有位姿信息的图像进行特征点提取构建而成的。进一步的，在所述进行图像特征点匹配的步骤之前，本专利技术实施例的方法还包括：构建所述移动测量系统，搭载多线激光、全景相机、惯性导航设备和同步控制器，并利用所述移动测量系统，采集室内场景的三维点云数据和影像数据；基于所述三维点云数据和影像数据，利用多传感器融合的SLAM算法，计算所述影像数据对应的绝对位姿；基于所述影像数据对应的绝对位姿和相机内参信息，计算约定描述子的视觉特征点，并基于所述约定描述子的视觉特征点，依次进行特征点匹配、特征点三角化和光束平差运算，获取所述视觉特征点的三维坐标；基于所述三维坐标，得到已知三维坐标的视觉特征点，并基于所述已知三维坐标的视觉特征点，构建所述特征点数据库。进一步的，在所述对所述室内图像进行目标检测的步骤之前，本专利技术实施例的方法还包括：采集室内场景中给定量的可识别目标的图像数据，并对所述可识别目标的图像数据进行目标图像标注，构成训练样本；初始化构建目标检测初始模型，并利用所述训练样本，对初始化的目标检测初始模型进行循环迭代训练，获取所述目标检测模型。其中可选的，所述目标检测模型具体为Mask-RCNN实例分割模型、特征匹配算法模型、词典模型或者深度信念网络模型。其中可选的，具体采用PnP算法进行所述包含目标物体的图像的位姿解算，相应的，所述获取所述包含目标物体的图像对应的位姿信息的步骤具体包括：将所述包含目标物体的图像的特征点信息与所述特征点数据库中各特征点进行SIFT特征匹配，获取匹配的2D-3D关键点对和描述子数组；随机选取至少六组2D-3D关键点对，利用PnP算法中的DLT算法，根据选取的2D-3D关键点对和所述描述子数组，求解投影矩阵，并利用所述投影矩阵，计算其余未被选取的3D点相对应的2D点坐标，并求取计算出的2D点与所述未被选取的3D点对应的原始2D点间的位置误差，以通过判断所述位置误差是否在设定阈值范围内，求取选取的2D-3D关键点对的内点个数；循环执行所述随机选取至少六组2D-3D关键点对至所述求取选取的2D-3D关键点对的内点个数的步骤，直至循环次数达到设定总次数，获取内点个数最多的一组2D-3D关键点对，并根据内点个数最多的一组2D-3D关键点对，生成所述智能移动终端的位置结果矩阵。其中可选的，当采用Mask-RCNN实例分割模型时，所述对所述室内图像进行目标检测的步骤具体包括：利用Mask-RCNN网络中的卷积网络层和区域建议网络层，处理所述室内图像，获取初始特征图；利用Mask-RCNN网络中的ROI-Align网络层，对所述初始特征图进行区域特征聚类分析，并对聚类结果分别进行卷积操作、全连接操作及分类处理，获取所述目标物体在所述室内图像中的位置及对所述目标物体的分类结果；基于所述分类结果和所述在所述室内图像中的位置，利用Mask-RCNN网络中的全连接层，输出所述目标物体的掩码图像。其中可选的，所述对所述智能移动终端进行室内定位的步骤具体包括：利用DLT-RANSAC算法，根据多个特征点数据库生成多个位置结果，组成3*N的所述位置结果矩阵，并删除所述位置结果矩阵中全为0的行；根据删除全0行后的位置结果矩阵，利用Kmeans聚类算法将所述位置结果矩阵中的数据聚类成两类，并对元素较多的一个分类中的各元素取平均值，作为所述智能移动终端的定位位置。第二方面，本专利技术实施例提供一种智能移动终端的室内定位装置，包括：目标检测模块，用于获取通过智能移动终端拍摄的室内图像，并利用预先建立的目标检测模型，对所述室内图像进行目标检测，获取包含目标物体的图像；特征匹配本文档来自技高网...

【技术保护点】
1.一种智能移动终端的室内定位方法，其特征在于，包括：/n获取通过智能移动终端拍摄的室内图像，并利用预先建立的目标检测模型，对所述室内图像进行目标检测，获取包含目标物体的图像；/n获取所述包含目标物体的图像的特征点信息，并根据预先构建的特征点数据库，进行图像特征点匹配，获取所述包含目标物体的图像对应的位姿信息；/n基于所述位姿信息，对所述智能移动终端进行室内定位；/n其中，所述目标检测模型为预先利用采集的室内场景中可识别目标的图像数据进行训练获取的，所述特征点数据库为预先通过对移动测量系统采集的带有位姿信息的图像进行特征点提取构建而成的。/n

【技术特征摘要】
1.一种智能移动终端的室内定位方法，其特征在于，包括：
获取通过智能移动终端拍摄的室内图像，并利用预先建立的目标检测模型，对所述室内图像进行目标检测，获取包含目标物体的图像；
获取所述包含目标物体的图像的特征点信息，并根据预先构建的特征点数据库，进行图像特征点匹配，获取所述包含目标物体的图像对应的位姿信息；
基于所述位姿信息，对所述智能移动终端进行室内定位；
其中，所述目标检测模型为预先利用采集的室内场景中可识别目标的图像数据进行训练获取的，所述特征点数据库为预先通过对移动测量系统采集的带有位姿信息的图像进行特征点提取构建而成的。


2.根据权利要求1所述的智能移动终端的室内定位方法，其特征在于，在所述进行图像特征点匹配的步骤之前，还包括：
构建所述移动测量系统，搭载多线激光、全景相机、惯性导航设备和同步控制器，并利用所述移动测量系统，采集室内场景的三维点云数据和影像数据；
基于所述三维点云数据和影像数据，利用多传感器融合的SLAM算法，计算所述影像数据对应的绝对位姿；
基于所述影像数据对应的绝对位姿和相机内参信息，计算约定描述子的视觉特征点，并基于所述约定描述子的视觉特征点，依次进行特征点匹配、特征点三角化和光束平差运算，获取所述视觉特征点的三维坐标；
基于所述三维坐标，得到已知三维坐标的视觉特征点，并基于所述已知三维坐标的视觉特征点，构建所述特征点数据库。


3.根据权利要求1或2所述的智能移动终端的室内定位方法，其特征在于，在所述对所述室内图像进行目标检测的步骤之前，还包括：
采集室内场景中给定量的可识别目标的图像数据，并对所述可识别目标的图像数据进行目标图像标注，构成训练样本；
初始化构建目标检测初始模型，并利用所述训练样本，对初始化的目标检测初始模型进行循环迭代训练，获取所述目标检测模型。


4.根据权利要求1或2所述的智能移动终端的室内定位方法，其特征在于，所述目标检测模型具体为Mask-RCNN实例分割模型、特征匹配算法模型、词典模型或者深度信念网络模型。


5.根据权利要求1或2所述的智能移动终端的室内定位方法，其特征在于，具体采用PnP算法进行所述包含目标物体的图像的位姿解算，相应的，所述获取所述包含目标物体的图像对应的位姿信息的步骤具体包括：
将所述包含目标物体的图像的特征点信息与所述特征点数据库中各特征点进行SIFT特征匹配，获取匹配的2D-3D关键点对和描述子数组；
随机选取至少六组2D-3D关键点对，利用PnP算法中的DLT算法，根据选取的2D-3D关键点对和所述描述子数组，求解投影矩阵，并利用所述投影矩阵，计算其余未被选取的3D点相对应的2D点坐标，并求取计算出的2D点与所述未被选取的3D点对应的原始2D点间的位置误差，以通过判断所述...

【专利技术属性】
技术研发人员：李子申，刘振耀，吴海涛，潘军道，李瑞东，
申请(专利权)人：中国科学院光电研究院，
类型：发明
国别省市：北京;11