机械臂动作捕捉方法、介质、电子设备及系统技术方案

本发明专利技术公开了一种机械臂动作捕捉方法，包括：S1、在机械臂上固定视觉传感器采集数据作为源域，对应人体手臂固定惯性传感器采集数据作为目标域，建立系统的状态空间表达式；S2、利用全概率理论以源域观测预测分布为条件，设置最优未知状态观测联合分布，分解条件联合观测分布模型，并用KL散度来求解最优分布；S3、在卡尔曼滤波器的基础上结合全概率理论，将视觉传感器测量的源域知识转移到惯性传感器测量的目标域中，进行基于卡尔曼滤波的数据融合，预测系统下一时刻的状态，以实现机械臂的动作捕捉。本发明专利技术综合考虑了视觉传感和惯性传感的不足，通过迁移学习的思想将视觉传感作为源域进而改善惯性传感的目标域，从而提高预测精度。从而提高预测精度。从而提高预测精度。

【技术实现步骤摘要】
机械臂动作捕捉方法、介质、电子设备及系统


[0001]本专利技术涉及机械臂动作捕捉和机械臂同步现实操作
，特别涉及一种机械臂动作捕捉方法、介质、电子设备及系统。

技术介绍

[0002]工业生产、医疗等行业应用机械臂面对最重要的挑战之一就是如何操作机械臂。相比于通过计算机指令、操作杆操作而言，人体动作捕捉实现同步现实的操作方式更加简单、直接、高效。目前应用的非接触的动作捕捉，大多是基于视觉的技术标记人体部位，跟踪人体运动，从而通过姿态解析等控制远程机械臂上。但是存在标记物遮挡的问题，在黑暗环境视觉采集数据准确性大大下降，并且受到光线亮度影响，无法精准获得姿态。基于的视觉的动作捕捉的方式受到很大限制。
[0003]对于动态的机械臂动作捕捉，通过外骨骼传感系统来跟踪人体更加直接，但是接触式的操作方式会阻碍人体运动，不利于实际操作。而采用无标记非接触的跟踪方法可以应用惯性传感器来获得人体运动的姿态信息。惯性导航是利用前一时刻已知的信息和当前时刻的测量信息推算当前时刻的导航参数，在这个过程，将连续、往复地进行下去，由于外部干扰和传感误差的存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.机械臂动作捕捉方法，其特征在于，包括以下步骤：S1、在机械臂上固定视觉传感器采集数据作为源域，对应人体手臂固定惯性传感器采集数据作为目标域，建立系统的状态空间表达式；S2、基于状态空间表达式，利用全概率理论以源域观测预测分布为条件，设置最优未知状态观测联合分布，分解条件联合观测分布模型，并用KL散度来求解最优分布；S3、在卡尔曼滤波器的基础上结合全概率理论，将视觉传感器测量的源域知识转移到惯性传感器测量的目标域中，进行基于卡尔曼滤波的数据融合，预测系统下一时刻的状态，以实现机械臂的动作捕捉。2.如权利要求1所述的机械臂动作捕捉方法，其特征在于，步骤S1中，对人体动作捕捉建立系统状态空间表达式如下：X
i
＝AX
i
‑1+Bu
i
‑1+w
i
‑1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)Z
i
＝CX
i
+v
i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)Z
i,s
＝C
s
X
i
+v
i,s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，手臂运动过程中运动角度θ
i
以及角速度组成系统的状态矩阵X
i
，Z
i
为系统的测量矩阵，由惯性传感测量的目标域，Z
i,s
是系统的源域的测量矩阵；A、B、C、C
s
由系统的参数要求确定，u
i
‑1为系统的控制输入；w
i
‑1为系统的过程噪声，v
i
、v
i,s
为测量噪声，假定它们均符合均值为零的高斯白噪声。3.如权利要求2所述的机械臂动作捕捉方法，其特征在于，步骤S2包括：S21、利用全概率理论以源域观测预测分布f
s
为条件，设置最优未知状态观测联合分布，如下：m(X
i
,Z
i
|f
s
)＝m(Z
i
|X
i
,f
s
)m(X
i
|f
s
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，定义理想状态观测分布模型为：S22、将条件联合观测分布模型分解为：S22、将条件联合观测分布模型分解为：其中，假定在指定的源域知识条件约束下公式(4)未知状态观测联合分布变为：m(X
n
,Z
n
|f
s
)＝f
s
(Z
n
)m(X
n
|f
s
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)其中，f
s
(Z
n
)是源域需要转移到目标域的知识信息，在f
s
(Z
n
)固定已知的条件下，m(X
n
|f
s
)成为了唯一可以优化设计的部分；S23、用KL散度来求解最优分布为：
其中，γ(x
i
‑1)为归一化函数。4.如权利要求3所述的机械臂动作捕捉方法，其特征在于，步骤S3包括：S31、假设机械臂动作捕捉的手臂运动符合一个线性高斯情况，如下：S31、假设机械臂动作捕捉的手臂运动符合一个线性高斯情况，如下：S31、假设机械臂动作捕捉的手臂运动符合一个线性高斯情况，如下：根据卡尔曼滤波的显示递归计算可以得到对应状态先验、后验分布以及观测先验分布，如下：布，如下：布，如下：布，如下：S32、根据全概率理论，在f
s
(Z
n
)固定已知的条件下，m
o
(X
n
|f
s
)是目标域状态预测最优分布，其中γ(x
i
‑1)是归一化函数，即：根据观测预测分布可以推导归一化函数为：其中，参数递归形式为：参数递归形式为：并且满足当i＝n
‑
1,
…
,2时，r
i|i
＝r
i|i+1
+C
T
R
‑1z
i|i
‑
1,s
,S
i|i
＝S
i|i+1
+C
T
R
‑1C，当i＝n时，r
n|n
＝C
T
R
‑1z
n|n
‑
1,s
,S
n|n
＝C
T
R
‑1C，归一化函数递归表示动态转移源域n个时刻观测信息，目标域在此条件下得到最优分布；S33、根据步骤S31得到的归一化函数递归表示形式，可以得到目标域状态预测最优分布为：其中，根据卡尔曼滤波器的状态先验分布公式(14)可以得到由源域转移知识到目标域进行融合后的最优状态先验预测
分布为：分布为：5.计算机可读存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行如权利要求1
‑
4任意一项所述的机械臂动作捕捉方法。6.电子设备，其特征在于，包括：一个或多个处理器，存储器以及一个或多个程序，其中，所述一个或多个程...

【专利技术属性】
技术研发人员：赵顺毅，王伟，栾小丽，刘飞，
申请(专利权)人：江南大学，
类型：发明
国别省市：