一种基于深度强化学习的链式多杆柔性关节机械臂的动力学仿真方法技术

本发明专利技术公开了一种基于深度强化学习的链式多杆柔性关节机械臂动力学仿真方法，是一种基于模型驱动的方法。首先在深度强化学习和链式多杆柔性关节动力学理论的基础上，接着通过浮动坐标系法建立了考虑关节柔性和关节阻尼的链式多杆机械臂的刚柔耦合动力学模型，最后在此数学模型的基础上结合深度学习对轨迹跟踪问题进行了研究。本发明专利技术的基于深度强化学习的链式柔性关节机械臂动力学仿真方法有较好的轨迹跟踪效果，对实际链式多杆柔性关节的轨迹跟踪控制具有重要的价值。迹跟踪控制具有重要的价值。迹跟踪控制具有重要的价值。

【技术实现步骤摘要】
一种基于深度强化学习的链式多杆柔性关节机械臂的动力学仿真方法


[0001]本专利技术属于多体系统动力学控制领域，具体是一种链式多杆柔性关节机械臂动力学仿真方法。

技术介绍

[0002]机械臂作为最常用的机器人或是机器人的构件，广泛应用于工业制造、航天航空、医疗服务等重要领域。考虑到人机协同的安全性，因此提出了新的机械臂——柔性关节机械臂。如何准确控制链式多杆柔性关节机械臂这一课题具有实用性和重要性，链式多杆柔性关节机械臂的高精度轨迹跟踪控制技术是评估机械臂性能的关键，也是机械臂研究领域的重点和难点。由于链式多杆柔性关节机械臂的模型具有不确定性，从上个世纪以来，学者们开始将强化学习和深度学习应用到机器人运动控制中，深度强化学习结合了深度学习的感知力与强化学习的决策力，在一定程度上弥补了二者的缺点并发挥了各自的优势。目前，使用深度强化学习的机械臂控制方法一般是基于数据驱动的方法，脱离了机械臂的数学模型，很容易导致轨迹跟踪误差较大。因此，将链式多杆柔性关节机械臂的数学模型与深度强化学习方法结合，实现基于模型的驱动有着重要的使用价值。

技术实现思路

[0003]本专利技术以深度强化学习和链式多杆柔性关节机械臂数学模型理论为理论基础，目的在于提供一种基于深度强化学习的链式多杆柔性关节机械臂动力学仿真方法，实现链式多杆柔性关节机械臂的高精度轨迹跟踪。
[0004]实现本专利技术目的的技术解决方案为：一种基于深度强化学习的链式多杆柔性关节机械臂的动力学仿真方法，包括以下步骤：
[0005]步骤1，建立链式多杆柔性关节机械臂的物理模型，并设置链式多杆柔性关节机械臂的参数；
[0006]步骤2，在浮动坐标系下，首先建立链式多杆柔性关节机械臂中柔性关节的数学模型，再利用第二类拉格朗日方程建立链式多杆柔性关节机械臂刚柔耦合动力学方程；
[0007]步骤3，设置链式多杆柔性关节机械臂的期望末端轨迹，并按照轨迹完成的总时间将轨迹均分；
[0008]步骤4，构建深度强化学习系统，通过深度神经网络学习各关节的输出转动角度、电机转动角度、输出转动角速度、输出转动角加速度，以及各关节处电机输出力矩，代入链式柔性关节机械臂的动力学方程计算不平衡项，并基于不平衡项构造损失函函数，与设定的阈值进行比较，判断是否满足训练终止条件，进而完成链式多杆柔性关节机械臂的轨迹跟踪。
[0009]一种基于深度强化学习的链式多杆柔性关节机械臂的动力学仿真系统，基于所述的链式多杆柔性关节机械臂的动力学仿真方法，实现基于深度强化学习的链式多杆柔性关
节机械臂的动力学仿真。
[0010]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，基于所述的链式多杆柔性关节机械臂的动力学仿真方法，实现基于深度强化学习的链式多杆柔性关节机械臂的动力学仿真。
[0011]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，基于所述的链式多杆柔性关节机械臂的动力学仿真方法，实现基于深度强化学习的链式多杆柔性关节机械臂的动力学仿真。
[0012]本专利技术与现有技术相比，其显著优点为：(1)将深度强化学习方法与链式多杆柔性关节机械臂数学模型结合，所需样本数据少，仿真时间短。(2)能够将深度学习与数学模型结合，实现基于模型的驱动，实现高精度的轨迹跟踪。
附图说明
[0013]图1为本专利技术的流程图。
[0014]图2为二连杆柔性关节机械臂示意图。
[0015]图3为三连杆柔性关节机械臂示意图。
[0016]图4柔性关节简化模型。
[0017]图5为机械臂期望末端轨迹。
[0018]图6为二连杆柔性关节机械臂期望关节旋转角度。
[0019]图7为第i个时间段的仿真步骤。
[0020]图8为二连杆柔性关节机械臂输出角与期望角误差。
[0021]图9为二连杆柔性关节机械臂输出轨迹与期望轨迹误差。
[0022]图10为三连杆柔性关节机械臂输出轨迹与期望轨迹误差。
具体实施方式
[0023]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本专利技术基于深度强化学习对链式柔性关节机械臂的仿真方法，包括以下步骤：
[0024]如图1所示，本专利技术基于深度强化学习的链式多杆柔性关节机械臂动力学仿真方法，包括以下步骤：
[0025]步骤1，建立链式多杆柔性关节机械臂的物理模型，并设置链式多杆柔性关节机械臂的参数。
[0026](1)链式多杆柔性关节机械臂的物理模型
[0027]链式多杆柔性关节机械臂包括柔性关节和刚性连杆。
[0028]链式多杆柔性关节机械臂中的柔性关节的数学模型分为两个部分：刚性减速装置，它由谐波减速齿轮简化而成；柔性扭杆，它由扭转弹簧串联并简化而成。整个柔性关节的左端为电机侧，右端为连杆侧，中间为谐波减速齿轮和扭簧。
[0029]刚性连杆的重心在杆件末端，第一根杆可绕其一端(原点)旋转且末端连接一个柔性关节，第二根杆承接上根杆末端的柔性关节可绕该柔性关节旋转且末端连接另一个柔性
关节，下一根杆按照前面的连接方式依次连接。整个链式多杆柔性关节机械臂做平面运动。
[0030](2)链式多杆柔性关节机械臂的物理参数
[0031]链式多杆柔性关节机械臂的物理参数：刚性连杆的长度L、质量m，柔性关节的刚度K、阻尼系数c，关节处电机的转动惯量J。
[0032]步骤2，在浮动坐标系下，首先建立链式多杆柔性关节机械臂中柔性关节的数学模型，再利用第二类拉格朗日方程建立链式多杆柔性关节机械臂刚柔耦合动力学方程。
[0033](1)链式多杆柔性关节机械臂的柔性关节的数学模型
[0034]电机减速比为N，电机转动惯量与经过谐波减速端的电机转动惯量关系为J＝N2J
p
，输出力矩与经过谐波减速端的输出力矩关系为τ
m
＝Nτ
pm
，输出角度与经过谐波减速端的输出角度关系为q＝q
p
/N。为了方便叙述，在下文中提到的值都是经过谐波减速的值。
[0035]基于上述柔性关节简化模型和假设，得出关节的柔性变形。
[0036]关节的弹簧扭转力为：
[0037]τ
m
＝K(q
‑
θ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0038]其中，τ
m
—弹簧扭转力及电机输出力矩；
[0039]K—关节刚度；
[0040]q—电机角位移；
[0041]θ—连杆角位移。
[0042]关节的弹簧阻尼力为：
[0043][0044]其中，τ
K
—弹簧阻尼力；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的链式多杆柔性关节机械臂的动力学仿真方法，其特征在于，包括以下步骤：步骤1，建立链式多杆柔性关节机械臂的物理模型，并设置链式多杆柔性关节机械臂的参数；步骤2，在浮动坐标系下，首先建立链式多杆柔性关节机械臂中柔性关节的数学模型，再利用第二类拉格朗日方程建立链式多杆柔性关节机械臂刚柔耦合动力学方程；步骤3，设置链式多杆柔性关节机械臂的期望末端轨迹，并按照轨迹完成的总时间将轨迹均分；步骤4，构建深度强化学习系统，通过深度神经网络学习各关节的输出转动角度、电机转动角度、输出转动角速度、输出转动角加速度，以及各关节处电机输出力矩，代入链式柔性关节机械臂的动力学方程计算不平衡项，并基于不平衡项构造损失函函数，与设定的阈值进行比较，判断是否满足训练终止条件，进而完成链式多杆柔性关节机械臂的轨迹跟踪。2.根据权利要求1所述的基于深度强化学习的链式多杆柔性关节机械臂的动力学仿真方法，其特征在于，步骤1，建立链式多杆柔性关节机械臂的物理模型，并设置链式多杆柔性关节机械臂的参数，具体方法为：(1)链式多杆柔性关节机械臂的物理模型链式多杆柔性关节机械臂包括柔性关节和刚性连杆；链式多杆柔性关节机械臂中的柔性关节的数学模型分为两个部分：刚性减速装置，它由谐波减速齿轮简化而成；柔性扭杆，它由扭转弹簧串联并简化而成；整个柔性关节的左端为电机侧，右端为连杆侧，中间为谐波减速齿轮和扭簧；刚性连杆的重心在杆件末端，第一根杆可绕其一端旋转且末端连接一个柔性关节，第二根杆承接上根杆末端的柔性关节可绕该柔性关节旋转且末端连接另一个柔性关节，下一根杆按照前面的连接方式依次连接，整个链式多杆柔性关节机械臂做平面运动；(2)链式多杆柔性关节机械臂的物理参数链式多杆柔性关节机械臂的物理参数：杆的长度L、质量m，柔性关节的刚度K、阻尼系数c，关节处电机的转动惯量J。3.根据权利要求1所述的基于深度强化学习的链式多杆柔性关节机械臂的动力学仿真方法，其特征在于，步骤2，在浮动坐标系下，首先建立链式多杆柔性关节机械臂中柔性关节的数学模型，再利用第二类拉格朗日方程建立链式多杆柔性关节机械臂刚柔耦合动力学方程，具体方法为：(1)链式多杆柔性关节机械臂的柔性关节的数学模型基于上述柔性关节简化模型和假设，得出关节的柔性变形；关节的弹簧扭转力为：τ
m
＝K(q
‑
θ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，τ
m
—弹簧扭转力及电机输出力矩；K—关节刚度；q—电机角位移；θ—连杆角位移；关节的弹簧阻尼力为：
其中，τ
K
—弹簧阻尼力；c—弹簧阻尼系数；—连杆角速度；—电机角速度；(2)链式多杆柔性关节机械臂的动力学方程利用第二类Lagrange方程，建立链式多杆柔性关节机械臂的刚柔耦合动力学方程；机械臂的总动能E
k
分为电机转动动能和连杆转动动能：其中，J—电机转动惯量矩阵；J
l
—连杆转动惯量矩阵；—电机角速度矢量；—连杆角速度矢量；机械臂的总势能E
p
分为柔性关节的弹性势能和连杆重力势能：其中，m—连杆的质量行矢量；g—重力加速度；h—连杆重心离零势能面的距离列矢量；第二类Lagrange方程，一般写作：考虑关节阻尼，将E
k
和E
p
代入式(5)，得到链式多杆柔性关节机械臂的动力学方程组：其中，τ
m
—电机输出力矩矢量；—电机输出角加速度矢量；K—关节刚度系数矩阵；θ—连杆角位移矢量；τ—关节输出力矩矩阵；M(θ)—连杆惯量矩阵；—关节输出角加速度矢量；c—弹簧阻尼系数矩阵；—离心力项和科氏力项矢量；
G(θ)—重力项。4.根据权利要求3所述的基于深度强化学习的链式多杆柔性关节机械臂的动力学仿真方法，其特征在于，步骤4，构建深度强化学习系统，通过深度神经网络学习各关节的输出转动角度、电机转动角度、输出转动角速度、输出转动角加速度，以及各关节处电机输出力矩，代入链式柔性关节机械臂的动力学方程计算不平衡项，并基于不平衡项构造损失函函数，与设定的阈值进行比较，判断是否满足训练终止条件，进而完成链式多杆柔性关节机械臂的轨迹跟踪，其中：深度强化学习模型包括两个DNN，每个时间段中选取的M个时间点作为2个DNN的输入；第1个DNN的总层数是3层，第一层为输入层共有32个神经元，第二层为隐藏层共有64个神经元，第三层为输出层共有32个神经元，输出各关节的输出转动角度、电机转动角度、输出转动角速度、输出转动角加速度，以及各关节处电机输出力矩；第2个DNN的总层数是1层，为输入输出层，共有32个神经元，输出的数值为标准偏差；机械臂末端期望轨迹是仿真目标，由...

【专利技术属性】
技术研发人员：章定国，左曼，郭晛，黎亮，郭永彬，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：