一种基于图像地磁场和惯性传感器的多模态室内定位方法技术

本发明专利技术公开了一种基于图像地磁场和惯性传感器的多模态室内定位方法，该定位方法采用从粗到细的方法来充分利用每个模态信号的特征进行定位。首先，在室内空间中划分区域，并且在每个区域中选择基本图像以进行图像分类和匹配确定，并且确定整体范围；在此基础上，通过EMD（经验模态分解）对磁场序列信息进行滤波，并通过惯性传感器信息对位置进行精确，细粒度的匹配。该方法无需额外的设备部署即可定位，数据信息收集快速，受环境影响小，相对稳定，运行成本低，维护成本低，推广前景好。

【技术实现步骤摘要】
一种基于图像地磁场和惯性传感器的多模态室内定位方法
本专利技术涉及室内定位
，具体是一种基于图像地磁场和惯性传感器的多模态室内定位方法。
技术介绍
目前室内定位技术应用前景十分广阔，可以广泛应用于服务业、交通、工业制造、安防等多个领域。具体来说，商场和超市中可以利用室内定位技术实现顾客导购、停车场寻车等服务，并可与智能终端应用相结合进行推广使用；在交通领域，可以进行设施导航、行李查询，也可以辅助场站运维管理，如人群分布辅助分析；在工业制造领域，可以利用专用标签等方式，实现人员精准定位、物资实时追踪；在安防领域中，也可以用于可疑物品追踪、应急调度等目前，室内定位技术还没有统一的技术规范，而是在多种实现方式上持续发展。现有的室内定位技术主要有以下几类：红外，蓝牙，射频标签(RFID)，信道状态信息(CSI)，Wi-Fi信号，ZigBee，LED灯，超宽带(UWB)，超声波，地磁，计算机视觉等，常用的定位算法是三角定位算法，指纹定位算法等。这些技术的实现存在一些差异，但总体上来说，该技术的定位精度越高，人工和材料的成本就越高。因此对于实际应用来说，如何在成本和精度之间取得平衡是一个难题。如今，国内外已经提出了许多具体的室内定位方法。如Jung等提出了一种基于LED灯的室内定位方法，利用到达时间差(TDOA)算法进行定位，通过LED辐射光传播模型求出相对距离。Luo等人提出了一种基于超宽带技术的室内定位方法，该方法使用条件最大似然估计器将到达时间(TOA)和到达角度(AOA)算法结合在一起进行定位。这些方法可以实现较高的定位精度，但需要大型或特殊的基础设施安装或特殊的定位设备，导致较高的硬件成本和推广成本。基于Wi-Fi的室内定位技术代表如RADAR方法与Horus方法。RADAR方法通过对比实时收集的Wi-Fi接收信号强度(ReceivedSignalStrengthIndication，简称RSSI)向量与数据库中的数据，从而找到最相似的位置作为定位结果；Horus方法使用Wi-Fi信号强度的概率分布，以求概率方式求出RSSI向量之间的匹配程度。此外，还有在此基础上结合加速度传感器、陀螺仪等惯性传感器获得用户的位置的方法。Wi-Fi技术的主要问题是需要投入较大资源进行前期指纹采集，且Wi-Fi信号在室内环境中定位精度与稳定性都一般，易受环境变化影响，需要经常进行数据更新，带来了较高的运维成本。隐藏马尔可夫模型(HMM)用于基于实时收集的磁场强度和步数根据最大联合概率来估计位置。此外，还有一些使用粒子滤波进行定位的方法，例如MaLoc方法，使用实时收集的磁场强度和运动信息，基于粒子收敛估计位置，同时实时调整权重位置。基于地磁场的定位方法不需要部署任何额外的设备，布局成本非常低，信号稳定性好，易于推广；主要缺点是磁场特征比其他信号少，仅在大范围内作为特征点，定位效果差。而且许多方法与过滤器结合使用都会带来很大的计算成本，有时甚至难以收敛。2D图像检索方法通常需要使用图像特征匹配来确定拍摄照片时用户的特定位置。典型代表是MoVIPS，该方法使用SURF功能，使用像素距离来估计实际地理位置的相对距离，并最终在拍照时获得用户的特定位置。针对室内定位技术存在的问题，本文采用多模式融合，将图像，地磁场和惯性传感器信息相结合，从粗到细设计算法。首先，在室内空间中划分区域，并且在每个区域中选择基本图像以进行图像分类和匹配确定，并且确定整体范围。在此基础上，进一步使用地磁场信号序列和惯性传感器信息来确定精确位置。在不部署其他设备的情况下，将专利技术中的方法应用于实际场景以测试定位效果。达到更好的定位效果。
技术实现思路
本专利技术的目的在于克服现有技术的不足，而提供一种基于图像、地磁场和惯性传感器的多模态室内定位方法，该定位方法定位精度高，定位误差小，效果好。实现本专利技术目的的技术方案是：一种基于图像地磁场和惯性传感器的多模态室内定位方法，包括如下步骤：离线训练阶段：1)将测试场景图与预设的数据采集路径相结合，收集并分析地磁场数据和图像数据，并将地磁场和图像数据进行路径分割，形成子序列特征；2)地磁场预处理：利用经验模态分解(EmpiricalModeDecomposition，EMD)对地磁场数据中的子序列进行预处理，并建立相应的磁场序列图；3)区域基础图像选择：将室内空间划分为区域，并通过地标选择算法在每个区域的地标图像中选择基础图像；在线定位阶段：4)在线定位阶段，完成相关数据采集后，进行路径分割：利用惯性传感器数据进行转向判断，根据转弯信息对路径进行分段，以更好地利用子序列特征进行匹配；5)基于连续图像的区域匹配：对于每个路径分段，将每个区域选择的基础图像与每次选择的连续图像进行匹配，并对连续的多个图像进行分析以减少偶然性并确定整个区域范围；6)磁场数据预处理：对采集到的磁场数据进行转坐标、滤波操作，为磁场匹配进行数据预处理；7)基于动态时间规整(DynamicTimeWarping，DTW)的磁场匹配：使用图像确定的区域范围和步长、步数、方向运动信息筛选磁场序列图中的磁场序列，采用加速DTW方法确定确切位置；8)路径合并：根据上面的方法确定备选子段路径，利用地图信息对匹配分段进行路径合并，确定用户行走轨迹。步骤1)中，所述的离线训练阶段，将测试场景图与预设的数据采集路径结合起来，以收集和分析地磁场和图像数据，实现方法为：离线训练阶段，先获得待定位区域的平面地图；同时对数据采集路径进行设计规划；数据采集路径根据走廊的位置和走向进行规划，同时也考虑横跨大厅和其他周边障碍物，覆盖各种步行方向，对于大的开放空间，添加多条路径，确保使用时可以更准确地获取位置；在离线训练阶段，采集人员沿着预设路径采集对应的磁场、图像数据，对于每条规划路径，在构建地图阶段主要需要采集的数据如表下1所示：数据表示数据含义Bx、By、Bz地磁场信号矢量x、y、z三轴的分量数值Ax、Ay、Az加速度传感器矢量x、y、z三轴的分量数值Rx、Ry、Rz陀螺仪x、y、z三轴的分量数值C步数传感器数值T采集对应时间戳数据步骤2)中，所述的预处理，包括如下步骤：2-1)坐标映射根据数据采集时间戳和预先设定路径的坐标信息，对于磁场数据与实际坐标数据进行映射；根据采集时间戳和总时间间隔，按比例计算中间磁场数据的位置坐标；2-2)地磁坐标转换利用智能手机中的磁场传感器与加速度传感器，计算出智能设备与大地坐标的夹角，利用夹角数据将磁场矢量转化到大地坐标轴，减少手机转动对于磁场数值的影响，提取转化后的x轴、y轴、磁场强度数值，形成新的磁场矢量作为磁场数据的基本存储单元2-3)EMD滤波操作利用EMD对磁场序列数据进行分解本文档来自技高网...

【技术保护点】
1.一种基于图像地磁场和惯性传感器的多模态室内定位方法，其特征在于，包括如下步骤：/n离线训练阶段：/n1)将测试场景图与预设的数据采集路径相结合，收集并分析地磁场数据和图像数据，并将地磁场和图像数据进行路径分割，形成子序列特征；/n2)地磁场预处理：利用经验模态分解(Empirical Mode Decomposition，EMD)对地磁场数据中的子序列进行预处理，并建立相应的磁场序列图；/n3)区域基础图像选择：将室内空间划分为区域，并通过地标选择算法在每个区域的地标图像中选择基础图像；/n在线定位阶段：/n4)在线定位阶段，完成相关数据采集后，进行路径分割：利用惯性传感器数据进行转向判断，根据转弯信息对路径进行分段，以更好地利用子序列特征进行匹配；/n5)基于连续图像的区域匹配：对于每个路径分段，将每个区域选择的基础图像与每次选择的连续图像进行匹配，并对连续的多个图像进行分析以减少偶然性并确定整个区域范围；/n6)磁场数据预处理：对采集到的磁场数据进行转坐标、滤波操作，为磁场匹配进行数据预处理；/n7)基于动态时间规整(Dynamic Time Warping，DTW)的磁场匹配：使用图像确定的区域范围和步长、步数、方向运动信息筛选磁场序列图中的磁场序列，采用加速DTW方法确定确切位置；/n8)路径合并：根据上面的方法确定备选子段路径，利用地图信息对匹配分段进行路径合并，确定用户行走轨迹。/n...

【技术特征摘要】
1.一种基于图像地磁场和惯性传感器的多模态室内定位方法，其特征在于，包括如下步骤：
离线训练阶段：
1)将测试场景图与预设的数据采集路径相结合，收集并分析地磁场数据和图像数据，并将地磁场和图像数据进行路径分割，形成子序列特征；
2)地磁场预处理：利用经验模态分解(EmpiricalModeDecomposition，EMD)对地磁场数据中的子序列进行预处理，并建立相应的磁场序列图；
3)区域基础图像选择：将室内空间划分为区域，并通过地标选择算法在每个区域的地标图像中选择基础图像；
在线定位阶段：
4)在线定位阶段，完成相关数据采集后，进行路径分割：利用惯性传感器数据进行转向判断，根据转弯信息对路径进行分段，以更好地利用子序列特征进行匹配；
5)基于连续图像的区域匹配：对于每个路径分段，将每个区域选择的基础图像与每次选择的连续图像进行匹配，并对连续的多个图像进行分析以减少偶然性并确定整个区域范围；
6)磁场数据预处理：对采集到的磁场数据进行转坐标、滤波操作，为磁场匹配进行数据预处理；
7)基于动态时间规整(DynamicTimeWarping，DTW)的磁场匹配：使用图像确定的区域范围和步长、步数、方向运动信息筛选磁场序列图中的磁场序列，采用加速DTW方法确定确切位置；
8)路径合并：根据上面的方法确定备选子段路径，利用地图信息对匹配分段进行路径合并，确定用户行走轨迹。


2.根据权利要求1所述的一种基于图像地磁场和惯性传感器的多模态室内定位方法，其特征在于，步骤1)中，所述的离线训练阶段，将测试场景图与预设的数据采集路径结合起来，以收集和分析地磁场和图像数据，实现方法为：
离线训练阶段，先获得待定位区域的平面地图；同时对数据采集路径进行设计规划；数据采集路径根据走廊的位置和走向进行规划，同时也考虑横跨大厅和其他周边障碍物，覆盖各种步行方向，对于大的开放空间，添加多条路径，确保使用时可以更准确地获取位置；
在离线训练阶段，采集人员沿着预设路径采集对应的磁场、图像数据，对于每条规划路径，在构建地图阶段主要需要采集的数据如表下1所示：








数据表示
数据含义


Bx、By、Bz
地磁场信号矢量x、y、z三轴的分量数值


Ax、Ay、Az
加速度传感器矢量x、y、z三轴的分量数值


Rx、Ry、Rz
陀螺仪x、y、z三轴的分量数值


C
步数传感器数值


T
采集对应时间戳数据






。


3.根据权利要求1所述的一种基于图像地磁场和惯性传感器的多模态室内定位方法，其特征在于，步骤2)中，所述的预处理，包括如下步骤：
2-1)坐标映射
根据数据采集时间戳和预先设定路径的坐标信息，对于磁场数据与实际坐标数据进行映射；根据采集时间戳和总时间间隔，按比例计算中间磁场数据的位置坐标；
2-2)地磁坐标转换
利用智能手机中的磁场传感器与加速度传感器，计算出智能设备与大地坐标的夹角，利用夹角数据将磁场矢量转化到大地坐标轴，减少手机转动对于磁场数值的影响，提取转化后的x轴、y轴、磁场强度数值，形成新的磁场矢量作为磁场数据的基本存储单元
2-3)EMD滤波操作
利用EMD对磁场序列数据进行分解后去除噪声分解项，对于三维磁场序列，每个维度分别由EMD方法进行分解，形成若干个本征模函数分量和趋势序列，完成分解后即可得到如下公式：



x(t)表示地磁场序列，imf(t)表示分解后的本征模函数分量数组，r(t)表示分解后的本征模函数趋势序列；
经过分解之后，去除其中的噪声分解项，获得聚合近似的磁场数据，即得到每条路径数据的降维路径数据


4.根据权利要求1所述的一种基于图像地磁场和惯性传感器的多模态室内定位方法，其特征在于，步骤3)中，所述的区域基础图像选择：
在定位区域内定义N个地标{1，2，...，N}，每个地标都有ni个候选图像，每个地标选择的基准如下：
M＝{mi|1≤i≤N,1≤mi≤ni}(2)
ni表示参考对象i的候选图像，M＝mi表示参考对象i选择的基准图像的标签；
令x和y分别表示参考对象i和j的选定基准，D＝{di,k,j,y}为i的图像x和j的图像y之间匹配S...

【专利技术属性】
技术研发人员：朱奕杰，关善文，李一超，罗笑南，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45