基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统技术方案

本发明专利技术公开了一种基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统，包括：分别得到基于四元数的方向估计，用于位置估计的补偿后的加速度和补偿后的角速度；得到从相机坐标中的三维点到图像坐标中的二维点之间的映射；利用自适应增益方向滤波器来辅助消除不匹配的特征点；利用自适应帧率的单目视觉算法恢复连续两帧图像之间的相对位移；将基于四元数的方向估计、用于位置估计的补偿后的加速度以及连续两帧图像之间的相对位移输入到自适应增益方向滤波器/线性卡尔曼滤波器，得到被测目标的方向和位置估计。本发明专利技术对单目相机的帧率进行了调整，不仅能实时获得精确的方向，减少计算负荷，还能滤除加速度和角速度中的噪声和偏差。

Pedestrian navigation method and system based on the fusion of wearable monocular vision and inertial sensor

【技术实现步骤摘要】
基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统
本专利技术涉及室内导航定位
，尤其涉及一种基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。最近，人口老龄化已成为全世界的一个亟待解决的问题，我们知道，随着人们年龄的增长，老人的各种生活能力下降，比如听力和视力下降、记忆力下降、健康问题增多等等。因此，他们在日常活动时经常需要一些外在帮助，比如导航系统，可以有效地引导他们，使他们的生活更容易和方便。考虑到人们需要花费大量时间待在如家里、学校、办公楼、购物中心等室内场所，因此，开发一种适用于室内或自由生活环境的可穿戴导航系统是十分必要的。单目视觉和惯性传感器之间的融合是由人类和动物的前庭(内耳)和视觉(眼睛)系统发生的事情所激发的，将单目视觉传感器和惯性传感器相结合的基本原理是它们的互补特性，惯性传感器在快速运动期间提供具有高更新速率的良好信号，然而，直接对惯性传感器的线性加速度进行二重积分会导致在位置估计中产生漂移误差，这也是限制惯性导航精度和性能的一个重要问题。相比之下，单目视觉传感器以较低的速率提供长期、精确的自运动估计，但在快速和不可预测的运动下存在模糊特征，比例因子丢失以及处理速度慢的缺点。单目视觉-惯性传感器融合的目的就是利用视觉和惯性传感器的互补特性来克服各自带来的缺点。尽管融合单目视觉和惯性传感器的动机是它们的互补特性，但要获得鲁棒的融合结果，需要解决以下挑战。首先，漂移累积是惯性传感器的主要缺点，降低该漂移累积不仅要借助于单目视觉传感器，而且要利用惯性传感器本身的特性，如加速度计中的重力加速度和磁力计中的地磁方向。其次，从加速度计中获取准确的读数是准确估计位置的关键，因为位置的估计是通过对该数据的二重积分得到的。第三，由于相机过快的运动，容易造成运动模糊，从而导致特征点的错误匹配，甚至丢失。最后，现有的融合算法通常是对非线性模型采用迭代算法进行处理，而其收敛性不能保证。
技术实现思路
为了解决上述问题，本专利技术提出了一一对应的解决方案。首先，提出了一种基于单目相机平移的特点，利用自适应增益方向滤波器来辅助消除特征点匹配错误的算法，该算法与RANSAC算法相比，显著提高了精度并降低了计算量。其次，提出了基于现有的自适应增益方向滤波器的单目相机的帧率调整算法，可用于检测连续两幅图像之间的运动，并对单目相机的帧率进行实时调整，以防止运动模糊，从而不仅可以恢复更准确的baseline(基线)，而且可降低计算速度和内存。第三，提出了一种基于线性模型的融合算法，从而更进一步降低计算复杂度。最后，可将在单目相机跟踪中丢失的绝对比例因子引入到上述融合算法中，作为其中的一个状态变量，和惯性传感器数据进行融合迭代而使其更新并最终收敛。在一些实施方式中，采用如下技术方案：基于可穿戴单目视觉和惯性传感器融合的行人导航方法，其特征在于，包括：通过惯性传感器获得陀螺仪的测量值、加速度计的测量值和磁力计的测量值；将上述得到的值输入自适应增益方向滤波器，得到基于四元数的方向估计，用于位置估计的补偿后的加速度和补偿后的角速度；通过视觉传感器得到从相机坐标中的三维点到图像坐标中的二维点之间的映射；基于SIFT算法进行特征点提取；利用自适应增益方向滤波器来辅助消除不匹配的特征点；利用自适应帧率的单目视觉算法恢复连续两帧图像之间的相对位移；将基于四元数的方向估计、用于位置估计的补偿后的加速度以及连续两帧图像之间的相对位移输入到自适应增益方向滤波器/线性卡尔曼滤波器，最终得到被测目标的方向和位置估计。在另一些实施方式中，采用如下技术方案：一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于可穿戴单目视觉和惯性传感器融合的行人导航方法。在另一些实施方式中，采用如下技术方案：一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于可穿戴单目视觉和惯性传感器融合的行人导航方法。与现有技术相比，本专利技术的有益效果是：本专利技术利用自适应增益方向滤波器来辅助消除不匹配特征点，显著降低了计算量。基于自适应增益方向滤波器的单目相机的帧率调整算法，用于检测连续两幅图像之间的显著运动。为了避免运动模糊，本专利技术对单目相机的帧率进行了调整，之后通过线性卡尔曼滤波器算法进行处理，不仅能实时获得精确的方向，减少计算负荷，还能滤除加速度和角速度中的噪声和偏差。本专利技术利用惯性传感器进行方向预估，可以根据纯相机平移的性质，消除不匹配的特征点，因此与RANSAC算法相比可以显著减少计算时间。此外，采用自适应帧率的单目相机，不仅避免了基于补偿角速度和加速度的运动模糊，而且在静态运动中，产生了一种对视觉进行零速度更新的效果。附图说明图1为是本专利技术实施例中提出的位置估计方法的架构图；图2为本专利技术实施例中世界坐标系(e)、传感器坐标系(s)与摄像机坐标系(c)之间的关系，以及基于单位四元数方向估计的相应变换；图3(a)为本专利技术实施例中两个连续帧之间的对极几何示意图；图3(b)为本专利技术实施例中单目相机原点的纯平移运动的特性示意图；图4为本专利技术实施例中在走廊环境中的两个连续图像中的检测和匹配的特征点；图5的实验环境为二维平面，行走距离为12米，在xy平面上直线运动的最终位置的估计结果；(a)结果的对比；(b)惯性数据；(c)比例因子估计。图6为半圆轨迹的估计结果；(a)方向比较的结果；(b)估计的半圆轨迹。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本专利技术使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。术语解释：尺度不变特征变换(SIFT)；随机样本一致性(RANSAC)；零速度修正算法(ZUPT)；惯性测量单元(IMU)；卡尔曼滤波器(KF)；扩展的卡尔曼滤波器(EKF)。实施例一本专利技术要解决的主要技术问题有如下几个方面：1)解决了单纯利用惯性传感器而带来的漂移误差累计的缺点；2)提出了一种基于自适应增益方向滤波器的相机帧率调整算法，解决了相机产生的运动模糊、视觉特征点不匹配以及单目相机跟踪中丢失的绝对比例因子的问题；3)实时获得准确的方向，还能去除加速度和角速度中的噪声和偏差。基于此，本本文档来自技高网...

【技术保护点】
1.基于可穿戴单目视觉和惯性传感器融合的行人导航方法，其特征在于，包括：/n通过惯性传感器获得陀螺仪的测量值、加速度计的测量值和磁力计的测量值；/n将上述得到的值输入自适应增益方向滤波器，得到基于四元数的方向估计，用于位置估计的补偿后的加速度和补偿后的角速度；/n通过视觉传感器得到从相机坐标中的三维点到图像坐标中的二维点之间的映射；/n基于SIFT算法进行特征点提取；利用自适应增益方向滤波器来辅助消除不匹配的特征点；/n利用自适应帧率的单目视觉算法恢复连续两帧图像之间的相对位移；/n将基于四元数的方向估计、用于位置估计的补偿后的加速度以及连续两帧图像之间的相对位移输入到自适应增益方向滤波器/线性卡尔曼滤波器，最终得到被测目标的方向和位置估计。/n

【技术特征摘要】
1.基于可穿戴单目视觉和惯性传感器融合的行人导航方法，其特征在于，包括：
通过惯性传感器获得陀螺仪的测量值、加速度计的测量值和磁力计的测量值；
将上述得到的值输入自适应增益方向滤波器，得到基于四元数的方向估计，用于位置估计的补偿后的加速度和补偿后的角速度；
通过视觉传感器得到从相机坐标中的三维点到图像坐标中的二维点之间的映射；
基于SIFT算法进行特征点提取；利用自适应增益方向滤波器来辅助消除不匹配的特征点；
利用自适应帧率的单目视觉算法恢复连续两帧图像之间的相对位移；
将基于四元数的方向估计、用于位置估计的补偿后的加速度以及连续两帧图像之间的相对位移输入到自适应增益方向滤波器/线性卡尔曼滤波器，最终得到被测目标的方向和位置估计。


2.如权利要求1所述的基于可穿戴单目视觉和惯性传感器融合的行人导航方法，其特征在于，通过视觉传感器得到从相机坐标中的三维点到图像坐标中的二维点之间的映射，具体为：



其中，fx和fy是焦距，分别由焦距f乘以kx和ky得到，kx和ky表示x和y方向上的像素数/长度单位，(cx,cy)T表示相机主点，(x,y)T表示二维图像点；(X,Y,Z)T表示三维点。


3.如权利要求1所述的基于可穿戴单目视觉和惯性传感器融合的行人导航方法，其特征在于，利用自适应增益方向滤波器来辅助消除不匹配的特征点，具体为：



其中，m1和m2分别为其在连续两帧图像中所对应的二维点，c1、c2分别为t,t+1时刻相机的中心点，e1和e2是极点，l1和l2是对应于图像点m2和m1的极线，其中和l2＝[e]×m1，为连续两帧图像之间的相对旋转矩阵；[e]×表示的是极点e所对应的斜对称矩阵；l1(1,:)表示的是一个3行1列的一个矩阵，l1(1,:)取的是l1中第1行的数，l1(2,:)取的是第2行的数；l2(1,:)取的是l2中第1行的数，l2(2,:)取的是l2中第2行的数；d表示距离，ε为阈值。
对于满足上述公式的特征点，则与对极几何完全一致，否则，被视为异常点而剔除。


4.如权利要求1所述的基于可穿戴单目视觉和惯性传感器融合的行人导航方法，其特征在于，所述自适应帧率的单目视觉算法具体为：
将单目相机运动分类为快、慢和静态运动三种类型；
当角速度≤εω，并且加速度≤εa时，定义单目相机运动为慢；此时，保持单目相机的预定义帧率；
当角速度≥εω，并且加速度≥εa时，定义单目相机运动为快；此时，增加单目相机的帧率；其中，εω和εa均为预设的角速度阈值和加速度阈值；
根据连续两帧图像之间的二维点的对应关系来确定是否为静态运动；如果...

【专利技术属性】
技术研发人员：田娅，秦瑶，陈哲，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：山东;37