基于惯性引导采样的视觉IMU方向估计方法技术

本发明专利技术提出了一种基于惯性引导采样的视觉IMU方向估计方法，即利用IMU的方向估计信息，引导视觉方向估计中匹配点对的采样过程和误匹配点的移除过程。包括基于增益自适应互补滤波器的IMU方向估计、基于尺度旋转不变的特征检测以及基于视觉IMU融合的方向估计三个步骤。本发明专利技术方法采用增益自适应互补滤波器，能够在初始迭代过程中剔除明显的误匹配点对，提高了方向估计的准确性；将IMU的姿态估计信息作为初值引入到视觉方向估计中，通过迭代移除误匹配点对，加快了方向估计的进程，有效避免了采用随机初始值带来的运算量大的问题。本发明专利技术方法适用性广、鲁棒性好、准确率高，可广泛应用在人体康复训练的动作捕捉过程中。

Visual IMU direction estimation method based on inertial guided sampling

The invention provides a visual IMU inertial guidance direction estimation method based on sampling, namely the use of IMU to estimate the direction of information, to guide the visual estimation of direction matching process of the sampling point and the error matching points of the removal process. Including IMU direction estimation based on gain adaptive complementary filter, feature detection based on scale rotation invariance, and directional estimation based on visual IMU fusion. There are three steps. Gain adaptive complementary filter using the method of the invention can in the initial iterations to get rid of the obvious error of the matching points and improve the accuracy of direction estimation; IMU attitude estimation information as the initial value into the visual estimation of direction, through the iterative removal of false matching points, to speed up the direction estimation process, effectively avoid the the random initial value computation brings big problems. The method of the invention has wide applicability, good robustness and high accuracy, and can be widely used in the action capture process of human rehabilitation training.

【技术实现步骤摘要】
基于惯性引导采样的视觉IMU方向估计方法
本专利技术涉及计算机视觉技术以及数据处理和信息融合技术，具体是一种基于惯性引导采样的视觉IMU方向估计方法。
技术介绍
人体动作捕捉系统获得的高分辨率和大容量的数据可以被用来研究疾病的起因，并有助于疾病的预防和治疗，广泛应用于生物医疗领域，例如，临床的步态分析、门诊病人的身体复原、腿部关节复原、老年人活动监测和评估以及视觉障碍人群的恢复。随着MEMS传感器的成本越来越低、体积越来越小，出现了加速计、陀螺计和磁力计集成的惯性测量单元(InertialMeasurementUnit，IMU)。现有的人体动作捕捉系统就是通过在人体各个部位固定数量不等的IMU来实现的。考虑到传感器模块的配置以及人体的限制，人体的姿势数据可以通过信号融合来获得。IMU优势在于不依赖于某个特定的基础条件，也不受视线的限制；然而，1)方向估测容易受本地磁场的影响，而地球磁场却容易受到周围电子产品或者是铁制材料的影响；2)位置和方向测量是根据集成的双惯性传感器获得的，该方法在长时间的对人体进行跟踪的时候会产生低频漂移以及错误积累的问题，无法对人体动作进行准确的定量评估。上述两个缺点使得IMU不利于其在医疗领域的推广应用。为了克服IMU的局限性，有学者提出了利用可穿戴的摄像机对IMU的漂移进行补偿的视觉IMU方向估计方法，通过采集摄像机对周围环境的观测图像序列，得到基于视觉的方向估计值，再通过卡尔曼滤波的方法与IMU进行融合，从而实现更为准确的方向估计。然而这一补偿方法在图像处理过程中存在相邻帧特征点匹配耗时和误匹配的问题，大大制约了运算速度和计算精度。
技术实现思路
针对现有IMU方向估计方法存在精度低和长时间误差累积的问题，以及基于视觉的方向估计方法存在匹配耗时和误匹配的问题，本专利技术提出了一种基于惯性引导采样的视觉IMU方向估计方法，充分利用IMU的方向估计信息，引导视觉方向估计中匹配点对的采样过程和误匹配点的移除过程，保证了视觉IMU方向估计的精度，提高了视觉IMU方向估计的运算速度。本专利技术为实现上述目的所采用的技术方案是：一种基于惯性引导采样的视觉IMU方向估计方法，包括以下步骤：步骤1：基于增益自适应互补滤波器的IMU方向估计；步骤2：基于尺度旋转不变的特征检测方法，检测与匹配特征点检测与匹配；步骤3：基于视觉IMU融合的方向估计。所述步骤1包括以下步骤：步骤1.1：计算陀螺仪的方向估计；步骤1.2：计算加速计与磁力计的方向估计；步骤1.3：基于互补滤波算法的方向估计；步骤1.4：IMU姿态估计。所述步骤1.1包括以下步骤：步骤1.1.1：求解t+Δt时刻描述IMU方向的四元数的变化率其中，四元数中的q1、q2、q3分量分别对应旋转轴在X、Y、Z方向的投影，q0分量对应IMU围绕旋转轴旋转的角度；符号表示四元数乘积，表示t时刻IMU陀螺仪的四元数估计值，ωt+Δt表示t+Δt时刻陀螺仪的输出值。步骤1.1.2：求解t+Δt时刻四元数的估计值步骤1.1.3：归一化处理四元数估计值，得出t+Δt时刻由陀螺仪估计出的四元数值所述步骤1.2通过高斯牛顿的迭代优化算法计算加速计与磁力计的方向估计值首先确定初始时刻的加速度值zα和磁场强度值zm，再根据t时刻加速计和磁力计的输出值α(t)和m(t)，以最小化估计值误差为目标，建立目标函数：其中，和分别表示由加速计和磁力计估计值的误差，计算过程为：其中，表示的共轭四元数。所述步骤1.3联合t+Δt时刻陀螺仪的方向估计值和以及加速计和磁力计的方向估计值采用增益自适应互补滤波算法求解IMU坐标系下IMU的方向信息其中，kt表示自适应的增益系数，表示t时刻加速计、磁力计、陀螺仪融合后的方向估计信息，表示t时刻加速计与磁力计的方向估计值。所述步骤1.4采用运动力学中的扭转表示和指数映射算法，初步估计IMU的姿态信息，具体包括以下步骤：步骤1.4.1：根据IMU估计出的四元数得到与四元数相对应的旋转轴ω＝(cosωx，cosωy，cosωz)和绕轴旋转的角度θ，求解过程是：θ＝2cos-1q0步骤1.4.2：根据扭转与指数映射理论，将(ω，θ)其映射为坐标系间的旋转和平移。已知初始时刻的位置gglobal，n(0)与坐标系间的转换关系(R，T)后，计算n时刻IMU的位置gglobal，n(θ)，其映射关系如下所示：其中，表示与ω相对应的扭转参数，v表示绕轴旋转的角度。其中，qg表示初始时刻坐标系原点与载体之间的向量。所述步骤2包含以下步骤：步骤2.1：基于SURF算法的特征点检测；步骤2.2：相邻帧间图像特征点的匹配。所述步骤2.2具体为：通过计算特征点描述子之间的欧氏距离实现相邻帧间特征点的匹配，表示P与P1的特征点描述子之间的欧式距离，表示P与P2的特征点描述子之间的距离，如果与的比值小于预定义的阈值δD，即则接受这一对匹配点；其中，对于图像中的某个特征点P，其特征点描述子记为DP＝[x1，x2，…x64]T；待匹配图像中与P点对应的第一近邻点和第二近邻点分别记为P1和P2；所述第一近邻点和第二近邻点分别指待匹配图像的特征点中，与P点描述子欧氏距离最近的描述子的特征点和次近的描述子的特征点；P1和P2的特征点描述子分别记为P点与P1和P2的特征点描述子之间的欧式距离和可表示为分别表示为：所述步骤3包含以下步骤：步骤3.1：期望步骤得到本次迭代的姿态信息；步骤3.2：最大化步骤确定本次迭代中的内点集合；反复迭代步骤3.1和步骤3.2，得到最终的参数估计集合θ*＝{R*，T*，On*}，其中，R*即为可穿戴视觉IMU的方向估计，θ*表示载体姿态与匹配点对集合，T*表示最终解算出的载体的平移分量，On*表示最终做出的匹配点对集合。所述步骤3.1包含以下步骤：步骤3.1.1：利用步骤2中得到的内点集合，通过外级线约束方程和最小二乘法估计本质矩阵E；步骤3.1.2：对本质矩阵E做奇异值分解，估算出载体的姿态信息：旋转分量R和平移分量T；步骤3.1.3：建立后验贝叶斯估计模型：其中，(η1，η2，…ηn)表示相邻帧图像间的匹配的特征点对，θ表示视觉IMU姿态估计值和匹配点对的集合，定义为：θ＝{R，T，On}其中，On＝(o1，o2，…on)表示匹配点对的集合，元素oi服从伯努利分布，用于判断第i个匹配点对是否正确；oi＝1表示样本点为内点；oi＝0表示样本点为外点。所述步骤3.2具体为：判断迭代样本点：P{oi|{R，T}}＝max{P(oi＝1|{R，T})，P(oi＝0|{R，T})}其中，P(oi＝1|{R，T})和P(oi＝0|{R，T})分别表示为：其中，表示Sampson误差，S和σ为预先设定的窗口大小和方差，取决于具体应用；yn表示第n幅图像中的第i个特征点的坐标，f(xn)表示第n幅图像中的第i个特征点所对应的外级线，oi取值为1或0由P(oi＝1|{R，T})和P(oi＝0|{R，T})的大小决定：如果P(oi＝1|{R，T})≥P(oi＝0|{R，T})，则oi取值为1；反之，oi取值为0。本专利技术具有以下优点：1.本专利技术方法采用增益自适应互补滤波器，能够在初始迭代过程中剔除明显的误匹配点对，提高了方向估计的准确性；2.本发本文档来自技高网...

【技术保护点】
一种基于惯性引导采样的视觉IMU方向估计方法，其特征在于，包括以下步骤：步骤1：基于增益自适应互补滤波器的IMU方向估计；步骤2：基于尺度旋转不变的特征检测方法，检测与匹配特征点检测与匹配；步骤3：基于视觉IMU融合的方向估计。

【技术特征摘要】
1.一种基于惯性引导采样的视觉IMU方向估计方法，其特征在于，包括以下步骤：步骤1：基于增益自适应互补滤波器的IMU方向估计；步骤2：基于尺度旋转不变的特征检测方法，检测与匹配特征点检测与匹配；步骤3：基于视觉IMU融合的方向估计。2.根据权利要求1所述的一种基于惯性引导采样的视觉IMU方向估计方法，其特征在于，所述步骤1包括以下步骤：步骤1.1：计算陀螺仪的方向估计；步骤1.2：计算加速计与磁力计的方向估计；步骤1.3：基于互补滤波算法的方向估计；步骤1.4：IMU姿态估计。3.根据权利要求2所述的一种基于惯性引导采样的视觉IMU方向估计方法，其特征在于，所述步骤1.1包括以下步骤：步骤1.1.1：求解t+Δt时刻描述IMU方向的四元数的变化率其中，四元数中的q1、q2、q3分量分别对应旋转轴在X、Y、Z方向的投影，q0分量对应IMU围绕旋转轴旋转的角度；符号表示四元数乘积，表示t时刻IMU陀螺仪的四元数估计值，ωt+Δt表示t+Δt时刻陀螺仪的输出值。步骤1.1.2：求解t+Δt时刻四元数的估计值步骤1.1.3：归一化处理四元数估计值，得出t+Δt时刻由陀螺仪估计出的四元数值4.根据权利要求2所述的一种基于惯性引导采样的视觉IMU方向估计方法，其特征在于，所述步骤1.2通过高斯牛顿的迭代优化算法计算加速计与磁力计的方向估计值首先确定初始时刻的加速度值zα和磁场强度值zm，再根据t时刻加速计和磁力计的输出值α(t)和m(t)，以最小化估计值误差为目标，建立目标函数：其中，和分别表示由加速计和磁力计估计值的误差，计算过程为：其中，表示的共轭四元数。5.根据权利要求2所述的一种基于惯性引导采样的视觉IMU方向估计方法，其特征在于，所述步骤1.3联合t+Δt时刻陀螺仪的方向估计值和以及加速计和磁力计的方向估计值采用增益自适应互补滤波算法求解IMU坐标系下IMU的方向信息其中，kt表示自适应的增益系数，表示t时刻加速计、磁力计、陀螺仪融合后的方向估计信息，表示t时刻加速计与磁力计的方向估计值。6.根据权利要求2所述的一种基于惯性引导采样的视觉IMU方向估计方法，其特征在于，所述步骤1.4采用运动力学中的扭转表示和指数映射算法，初步估计IMU的姿态信息，具体包括以下步骤：步骤1.4.1：根据IMU估计出的四元数得到与四元数相对应的旋转轴ω＝(cosωx，cosωy，cosωz)和绕轴旋转的角度θ，求解过程是：θ＝2cos-1q0步骤1.4.2：根据扭转与指数映射理论，将(ω，θ)其映射为坐标系间的旋转和平移。已知初始时刻的位置gglobal,n(0)与坐标系间的转换关系(R,T)后，计算n时刻IMU的位置gglobal,n(θ)，其映射关系如下所示：

【专利技术属性】
技术研发人员：梁炜，张吟龙，谈金东，张晓玲，李杨，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：辽宁,21