基于动态运动原语和自适应控制的机械臂模仿学习方法技术

本发明专利技术公开了基于动态运动原语和自适应控制的机械臂模仿学习方法,包括以下步骤：1)机械臂拖动示教；2)动态运动原语建模动作；3)动态运动原语模型泛化；4)控制机械臂完成动作复现，本发明专利技术提供了一种机械臂模仿学习方法，其可以有效简化机器人技能学习过程。其可以有效简化机器人技能学习过程。其可以有效简化机器人技能学习过程。

【技术实现步骤摘要】
基于动态运动原语和自适应控制的机械臂模仿学习方法


[0001]本专利技术涉及机械臂的技能学习
，具体涉及一种基于动态运动原语和自适应控制的机械臂模仿学习方法。

技术介绍

[0002]近年来，机器人逐渐被应用到人类的日常生活中，比如家庭服务、照顾老人以及医疗服务等。但这也就要求机器人具有更高的智能，能通过学习技能来完成更为复杂的任务，而模仿学习就是一种简化机器人技能学习的有效方法，其可以避免复杂的手动编程。
[0003]模仿学习一般包含演示、学习和复现三个阶段。演示阶段一般由示教人员拖动机械臂完成任务，同时记录下动作特征的数据；学习阶段主要是对动作特征进行建模，得到动作的模型；复现阶段则是将学习到的动作模型用于控制机械臂复现动作。
[0004]在研究过程中发现现有的模仿学习，只对动作的轨迹进行建模，但机械臂在完成任务的过程中往往需要抓取或者向外施加力等，而这会影响轨迹的跟踪效果；机械臂的力矩控制需要考虑机械臂的动力学模型，而模型的精度影响控制的效果；另外如何控制机械臂安全的执行任务，这涉及到系统的稳定性。

技术实现思路

[0005]鉴于上述现有技术的不足，本专利技术提供了一种基于动态运动原语和自适应控制的机械臂模仿学习方法，能够让机械臂更好的进行模仿学习。
[0006]为实现上述目标，本专利技术提供了如下技术方案：
[0007]基于动态运动原语和自适应控制的机械臂模仿学习方法，其特征在于，包括以下步骤：
[0008]1)拖动示教：通过拖动机械臂完成所需的任务，在拖动的过程中记录机械臂关节位置、速度、加速度和机械臂外部负载力矩，通过重复N
d
次该示教过程，得到示教动作的数据集；
[0009]2)动作建模：得到多次示教的动作数据集后，对轨迹特征和负载力矩特征进行建模，用于生成动作序列控制机械臂复现动作；
[0010]3)动作泛化：考虑到动作需要泛化，在得到模型后，通过参数来调整生成动作的轨迹，泛化出所需的动作；然后通过泛化后的模型生成位置、速度、加速度和负载力矩控制量，同时机械臂反馈位置、速度和力矩到动态运动原语模型中，用于生成下一周期的动作序列；
[0011]4)动作复现，通过自适应神经网络控制器控制机械臂复现建模的动作。
[0012]进一步的，所述的步骤2)具体为：
[0013]2.1)将示教动作数据分离为轨迹特征和负载力矩特征；
[0014]2.2)通过引入高斯混合模型和高斯混合回归的动态运动原语对轨迹特征进行建模；
[0015]2.3)通过结合径向基神经网络的动态运动原语对负载力矩特征进行建模。
[0016]进一步的，所述步骤2)中：针对示教数据中的轨迹特征，将高斯混合模型和高斯混合回归应用于动态运动原语中，从而使动态运动原语能从多组示教轨迹中建模轨迹特征，其建模过程如下：
[0017]a)对于采集的多组示教轨迹数据集其中θ
k,n
、分别是t时刻的位置、速度、加速度，通过动态运动原语模型从示教轨迹数据集中得到强迫项数据集{(x
k
,f
k,n
)|k＝1,2,
…
,T；n＝1,2,
…
,N
d
}，其中x
k
为系统上的等时间间隔采样，τ
s
为系统的相位参数用于控制系统状态的持续时间，T和N
d
分别为单条轨迹的最大采样次数和示教轨迹条数，α
z
和β
z
为正常数，通常选取β
z
＝α
z
/4使得系统达到临界阻尼，x为相位系统的状态，α
x
用于调节相位系统的收敛速度；
[0018]b)为对数据集进行高斯混合模型建模，高斯混合模型联合概率密度函数定义如下：
[0019][0020]其中，μ
x,k
和μ
f,k
是第k个高斯分布的相位和强迫项均值，Σ
x,k
、Σ
xf,k
、Σ
fx,k
、Σ
f,k
是第k个高斯分布的相位与强迫项的方差以及其之间的协方差方差，N(
·
)是高斯概率分布，α
k
≥0是权重，K是高斯基的总个数，和表示的是第K个高斯基分布的均值和方差；为获得初始高斯混合模型参数，对数据集进行K
‑
means聚类，即其中，x＝[x
k
,f
k,n
]T
，m
k
是集合D
k
的均值，把数据集分成K个部分D＝{D1,D2,
…
,D
k
}后，初始参数为D
i
为第i个部分所有点的集合；
[0021]c)通过EM算法求取最优参数π
k
＝(α
k
,μ
k
,Σ
k
)，得到最终的高斯混合模型；
[0022]d)通过高斯混合回归估计真实的f(x)，即其中N(x；μ
x,k
,Σ
x,k
)为由数据集中获取的均值和方差组成的高斯分布，然后在等时间间隔选取高斯基中心位置
的情况下，利用局部线性回归求取动态运动原语高斯基权重，即可得到动态运动原语参数模型。
[0023]进一步的，所述步骤2)中：针对示教数据中的外部负载力矩特征，将神经网络应用到动态运动原语的强迫项拟合中，使改进后的动态运动原语不仅能从多示教轨迹中建模动作，而且具有更高的动作建模精度，其建模过程步骤如下：
[0024]e)对于采集的负载力矩{τ
t,n
|t＝1,2,
…
,T；n＝1,2,
…
,N
d
}，其中τ
t,n
是t时刻的负载力矩，通过动态运动原语模型分解出其中的强迫项得到强迫项的数据集{(x
k
,F
n
(x
k
))|k＝1,2,
…
,T；n＝1,2,
…
,N
d
}，其中：
[0025][0026]利用径向基神经网络拟合该数据，通过梯度下降的方式得到最优权重，即:其中R
N
是N维实数向量张成的空间，Ω
x
为x的取值空间，S(x)为径向基函数神经网络，其可以由以下径向基函数组成：F(x)即强迫项数据集，x为相位系统的状态，c
i
为高斯基函数的中心位置，σ
i
为高斯基函数的方差；
[0027]f)将得到的网络参数用于生成强迫项函数f(x)＝F(x)x(τ
g
‑
τ0)，其中τ
g
和τ0分别为力矩目标值和力矩初始值，即可得到负载力矩的参数模型。
[0028]进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于动态运动原语和自适应控制的机械臂模仿学习方法，其特征在于，包括以下步骤：1)拖动示教：通过拖动机械臂完成所需的任务，在拖动的过程中记录机械臂关节位置、速度、加速度和机械臂外部负载力矩，通过重复N
d
次该示教过程，得到示教动作的数据集；2)动作建模：得到多次示教的动作数据集后，对轨迹特征和负载力矩特征进行建模，用于生成动作序列控制机械臂复现动作；3)动作泛化：考虑到动作需要泛化，在得到模型后，通过参数来调整生成动作的轨迹，泛化出所需的动作；然后通过泛化后的模型生成位置、速度、加速度和负载力矩控制量，同时机械臂反馈位置、速度和力矩到动态运动原语模型中，用于生成下一周期的动作序列；4)动作复现，通过自适应神经网络控制器控制机械臂复现建模的动作。2.根据权利要求1所述的基于动态运动原语和自适应控制的机械臂模仿学习方法，其特征在于，所述的步骤2)具体为：2.1)将示教动作数据分离为轨迹特征和负载力矩特征；2.2)通过引入高斯混合模型和高斯混合回归的动态运动原语对轨迹特征进行建模；2.3)通过结合径向基神经网络的动态运动原语对负载力矩特征进行建模。3.根据权利要求2所述的基于动态运动原语和自适应控制的机械臂模仿学习方法，其特征在于，所述步骤2)中：针对示教数据中的轨迹特征，将高斯混合模型和高斯混合回归应用于动态运动原语中，从而使动态运动原语能从多组示教轨迹中建模轨迹特征，其建模过程如下：a)对于采集的多组示教轨迹数据集其中θ
k,n
、分别是k时刻的位置、速度、加速度，通过动态运动原语模型从示教轨迹数据集中得到强迫项数据集{(x
k
,f
k,n
)|k＝1,2,
…
,T；n＝1,2,
…
,N
d
}，其中x
k
为系统上的等时间间隔采样，τ
s
为系统的相位参数用于控制系统状态的持续时间，T和N
d
分别为单条轨迹的最大采样次数和示教轨迹条数，α
z
和β
z
为正常数，通常选取β
z
＝α
z
/4使得系统达到临界阻尼，x为相位系统的状态，α
x
用于调节相位系统的收敛速度；模型联合概率密度函数定义如下：其中，μ
x,k
和μ
f,k
是第k个高斯分布的相位和强迫项均值，Σ
x,k
、Σ
xf,k
、Σ
fx,k
、Σ
f,k
是第k个高斯分布的相位与强迫项的方差以及其之间的协方差，N(
·
)是高斯概率分布，α
k
≥0是权重，K是高斯基的总个数，和
表示的是第K个高斯基分布的均值和方差；为获得初始高斯混合模型参数，对数据集进行K
‑
means聚类，即其中，x＝[x
k
,f
k,n
]
T
，m
k
是集合D
k
的均值，把数据集分成K个部分D＝{D1,D2,
…
,D
k
}后，初始参数为D
i
为第i个部分所有点的集合；c)通过EM算法求取最优参数π
k
＝(α
k
,μ
k
,Σ
k
)，得到最终的高斯混合模型；d)通过高斯混合回归估计真实的f(x)，即其中N(x；μ
x,k
,Σ
x,k
)为由数据集中获取的均值和方差组成的高斯分布，然后在等时间间隔选取高斯基中心位置的情况下，利用局部线性回归求取动态运动原语高斯基权重，即可得到动态运动原语参数模型。4.根据如权利要求2所述的基于动态运动原语和自适应控制的机械臂模仿学习方法，其特征在于，所述步骤2)中：针对示教数据中的外部负载力矩特征，将神经网络应用到动态运动原语的强迫项拟合中，使改进后的动态运动原语不仅能从多示教轨迹中建模动作，而且具有更高的动作建模精度，其建模过程步骤如下：e)对于采集的负载力矩{τ
t,n
|t＝1,2,
…
,T；n＝1,2,
…
,N
d
}，其中τ
t,n
是t时刻的负载力矩，通过动态运动原语模型分解出其中的强迫项得到强迫项的数据集{(x
...

【专利技术属性】
技术研发人员：张文安，高伟展，刘安东，付明磊，徐建明，杨旭升，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：