一种被动式光学运动捕捉方法技术

本发明专利技术公开了一种被动式光学运动捕捉方法，涉及运动捕捉技术领域，包括：S1、使用动态调整观测噪声的自适应无迹卡尔曼算法滤波；S2、基于固定靶标的特征重建方法以及基于单目EPnP算法的特征重建方法，进行特征重建作为观测量进行待测目标的状态估计；S3、基于松耦合方案，使用矩阵加权的无迹卡尔曼滤波形式进行多组双目系统间的信息融合。本发明专利技术针对复杂背景下目标提取时二维图像上外点剔除不彻底的问题，提出了三维空间下利用先验体积约束的运动捕捉方法，并基于自适应无迹卡尔曼滤波与靶标特征重建的运动捕捉方法，对于多目系统能够基于松耦合进行信息融合，利用双目相机和逆反射靶标，实现复杂背景下高精度的六自由度位姿测量。测量。测量。

【技术实现步骤摘要】
一种被动式光学运动捕捉方法


[0001]本专利技术涉及运动捕捉
，尤其涉及一种被动式光学运动捕捉方法。

技术介绍

[0002]被动光学式运动捕捉方法是移动机器人进行高精度位姿测量的最有效手段，该方法使用逆反射靶球作为标记点，基于计算机图形学，令相机捕捉标记点的帧间变化从而记录待测物体的运动状况，得到移动机器人的高精度位置和姿态，然而在复杂条件下，被动式光学运动捕捉方法存在局限性，主要为受复杂背景和遮挡条件影响，其位姿测量结果精度下降：在一定自然光光照下，测量场地形成复杂背景，目标粘连及大量反射光点的干扰导致标记点的提取错误和匹配错误；测量过程中靶球会受到静遮挡、互遮挡和自遮挡的遮挡条件影响，使部分标记点无法被相机观测，导致参与位姿估计的标记点数量减少和匹配错误。
[0003]解决遮挡条件下的移动机器人运动捕捉问题，本质是对于遮挡条件下进行跟踪，现有方法包括：基于有效特征信息、状态估计信息、稳定时空信息的目标跟踪算法。
[0004](1)基于有效特征信息的目标跟踪方法。包括光流运动特征法、手工设计的外观特征法及深度特征法等，如使用软图匹配模型，针对遮挡进行姿态重建从而估计缺失的标记位置，但该方法计算复杂，需针对模板进行设计与训练。其中基于深度学习的目标跟踪算法近年来发展迅速，往往能获得更高的跟踪准确度，但精度、速度和鲁棒性等方面仍有待提高。
[0005](2)基于状态估计信息的目标跟踪方法。包括卡尔曼滤波、粒子滤波两种经典方法，能够通过预测实现抗遮挡。如使用离线训练对于严重遮挡使用前几帧位移和角度平均值进行估算，使用基于恒速模型的卡尔曼滤波，对每个缺失的标记点三维坐标进行预测并重建，但该方法运动过程建模较为简单，无法应对复杂的六自由度运动；或使用自适应无迹卡尔曼滤波进行分布式融合，该方法使用平面靶标和单目子系统，但所适用的运动范围过小。
[0006](3)基于稳定时空信息的目标跟踪方法。在本专利技术实施的方法中，主要利用时间、空间及时空上下文提升遮挡场景下的跟踪稳定性。然而本方法对于跟踪稳定性效果提升较多，无法保证遮挡情况下的位姿估计精度提升。
[0007]因此，本领域的技术人员致力于开发一种适用于复杂条件下的被动式光学运动捕捉方法，以解决复杂背景和遮挡条件导致的系统位姿估计精度下降问题。

技术实现思路

[0008]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是基于无迹卡尔曼滤波方法抗遮挡精度不足，复杂背景和遮挡条件导致的系统位姿估计精度下降。
[0009]为实现上述目的，本专利技术提供了一种被动式光学运动捕捉方法，包括如下步骤：
[0010]S1、使用动态调整观测噪声的自适应无迹卡尔曼算法滤波；
[0011]S2、基于固定靶标的特征重建方法以及基于单目EPnP算法的特征重建方法，进行
特征重建作为观测量进行待测目标的状态估计；
[0012]S3、基于松耦合方案，使用矩阵加权的无迹卡尔曼滤波形式进行多组双目系统间的信息融合。
[0013]在本专利技术的较佳实施方式中，所述S1中自适应无迹卡尔曼滤波算法，包括：
[0014]系统初始化并生成Sigma点；
[0015]计算每个Sigma点对立的权值；
[0016]计算一步预测的状态均值与协方差；
[0017]计算预测观测值的均值和方差；
[0018]更新得到k时刻状态均值与协方差；
[0019]更新观测噪声R
k
。
[0020]在本专利技术的另一个较佳实施方式中，所述每个Sigma点对立的权值为：
[0021][0022][0023][0024]其中，和为初始Sigma点对立的均值权值和协方差权值，W
im
和W
ic
为第i 个Sigma点对立的均值权值和协方差权值，α取0.001，β取2，λ为比例因子。
[0025]在本专利技术的另一个较佳实施方式中，所述S2中基于单目EPnP算法的特征重建方法，包括：
[0026]对于待重建的特征点P
iω
，有：
[0027][0028]其中，为靶球二维像素坐标，为固定靶标在世界坐标系中的变换矩阵：
[0029][0030]其中，为当前靶标坐标系相对于世界坐标系的平移向量，为前靶标坐标系相对于世界坐标系的旋转矩阵；
[0031]所述通过未受遮挡影响的逆反射靶球求出，其余缺失点基于固定的靶标坐标系进行特征重建，从而补全特征信息，作为观测量进行状态估问题的更新。
[0032]在本专利技术的另一个较佳实施方式中，所述计算如下：
[0033]对于每个靶球的初始三维世界坐标P0，有初始三维世界坐标质心p0：
[0034][0035]定义该时刻，所述P0的质心为：
[0036][0037]经由双目深度估计，得到某时刻至少三个靶球的三维世界坐标P
b
：
[0038][0039]其中n为≥3的正整数，同时定义该时刻，所述P
b
的质心为：
[0040][0041]由于存在遮挡情况，当前只有n个靶球的三维世界坐标已知，且n≥3，则第i个靶球所对应第i个点的去质心坐标分别为：
[0042][0043][0044]其中，为某时刻第i个点的去质心坐标，为第i个点的去质心初始三维世界坐标，p0为初始三维世界坐标质心，为第i个点的初始三维世界坐标，p
b
为某时刻靶球的质心，为某时刻第i个靶球的坐标。
[0045]根据下式优化问题，计算靶标整体相对于初始状态的旋转矩阵R
*
：
[0046][0047]使用SVD分解解出最优R，即得所述为：
[0048][0049][0050]其中，U和V由W的SVD分解得：
[0051]W＝UΣV
T
[0052]Σ为奇异值组成的对角矩阵；
[0053]求得旋转矩阵后，可得所述为：
[0054][0055]则在遮挡部分靶球的特征重建中，可以使用靶标上可观测靶球及整体的固定位置关系进行特征重建。
[0056]在本专利技术的另一个较佳实施方式中，所述S2中基于单目EPnP算法的特征重建方法，利用单目相机中观测到的靶球二维像素坐标P
ib
和固定的靶标坐标系，求解出固定靶标在相机坐标系的变换矩阵相机坐标系相对于世界坐标系的变换矩阵通过双目外参标定求出，则经过PnP方法重建的靶球三维世界坐标P
iw
'为：
[0057][0058]通过已知的未遮挡靶球像素坐标和各靶球在靶球坐标系的相对位置关系，计算求解固定靶标在相机坐标系的变换矩阵从而进行缺失靶球的特征重建。
[0059]在本专利技术的另一个较佳实施方式中，所述基于单目EpnP算法将已知特征点的三维坐标使用四个虚拟控制点的加权和进行表示，令已知特征点的三维世界坐标为：
[0060][0061]其中，a
ij...

【技术保护点】

【技术特征摘要】
1.一种被动式光学运动捕捉方法，其特征在于，包括如下步骤：S1、使用动态调整观测噪声的自适应无迹卡尔曼算法滤波；S2、基于固定靶标的特征重建方法以及基于单目EPnP算法的特征重建方法，进行特征重建作为观测量进行待测目标的状态估计；S3、基于松耦合方案，使用矩阵加权的无迹卡尔曼滤波形式进行多组双目系统间的信息融合。2.如权利要求1所述的被动式光学运动捕捉方法，其特征在于，所述S1中自适应无迹卡尔曼滤波算法，包括：系统初始化并生成Sigma点；计算每个Sigma点对立的权值；计算一步预测的状态均值与协方差；计算预测观测值的均值和方差；更新得到k时刻状态均值与协方差；更新观测噪声R
k
。3.如权利要求2所述的被动式光学运动捕捉方法，其特征在于，所述每个Sigma点对立的权值为：的权值为：的权值为：其中，和为初始Sigma点对立的均值权值和协方差权值，W
im
和W
ic
为第i个Sigma点对立的均值权值和协方差权值，α取0.001，β取2，λ为比例因子。4.如权利要求1所述的被动式光学运动捕捉方法，其特征在于，所述S2中基于单目EPnP算法的特征重建方法，包括：对于待重建的特征点P
iω
，有：其中，为靶球中心所对应的特征点的二维像素坐标，为固定靶标在世界坐标系中的变换矩阵：其中，为当前靶标坐标系相对于世界坐标系的平移向量，为前靶标坐标系相对于世界坐标系的旋转矩阵；所述通过未受遮挡影响的逆反射靶球求出，其余缺失点基于固定的靶标坐标系进行特征重建，从而补全特征信息，作为观测量进行状态估问题的更新。5.如权利要求4所述的被动式光学运动捕捉方法，其特征在于，所述计算如下：对于每个靶球的初始三维世界坐标P0，有初始三维世界坐标质心p0：
定义该时刻，所述P0的质心为：经由双目深度估计，得到某时刻至少三个靶球的三维世界坐标P
b
：其中n为≥3的正整数，同时定义该时刻，所述P
b
的质心为：由于存在遮挡情况，当前只有n个靶球的三维世界坐标已知，且n≥3，则第i个靶球所对应第i个点的去质心坐标分别为：应第i个点的去质心坐标分别为：其中，为某时刻第i个点的去质心坐标，为第i个点的去质心初始三维世界坐标，p0为初始三维世界坐标质心，为第i个点的初始三维世界坐标，p
b
为某时刻靶球的质心，为某时刻第i个靶球的坐标。根据下式优化问题，计算靶标整体相对于初始状态的旋转矩阵R
*
：使用SVD分解解出最优R，即得所述为：为：其中，U和V由W的SVD分解得：W＝UΣV
T
Σ为奇异值组成的对角矩阵；求得旋转矩阵后，可得所述为：则在遮挡部分靶球的特征重建中，可以使用靶标上可观测靶球及整体的固定位置关系进行特征重建。6.如权利要求5所述的被动式光学运动捕捉方法，其特征在于，所述S2中基于单目EPnP算法的特征重建方法，利用单目相机中观测到的靶球二维像素坐标P
ib
和固定的靶标坐标系，求解出固定靶标在相机坐标系的变换矩阵相机坐标系相对于世界坐标系的变换矩阵通过双目外参标定求出，则经过PnP方法重建的靶球三维世界坐标P

【专利技术属性】
技术研发人员：陶卫，刘沅秩，王义轩，雷家荟，秦明辉，许保鑫，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：