一种基于制造技术

本发明专利技术属于自动控制技术领域，具体涉及一种基于全状态反馈的

【技术实现步骤摘要】
一种基于Actor
‑
Critic网络全状态反馈的柔性关节机械臂控制方法


[0001]本专利技术属于自动控制
，具体涉及一种基于
Actor
‑
Critic
网络全状态反馈的柔性关节机械臂控制方法
。

技术介绍

[0002]近年来，柔性关节机械臂的控制技术得到了突飞猛进的发展，且应用极为广泛，柔性机械臂的控制考虑机械臂关节柔性与弹性变形之间的耦合，因此它的运动方程是高度非线性的
。
同时，柔性机械臂是一个由柔性关节组成的集中式参数系统和由柔性杆组成的分布式参数系统组成的混合系统，其动态特性采用偏微分方程
(PDE)
来描述，这也增加了控制器设计的难度
。
[0003]由于运动过程中关节和连杆的柔性效应增加，导致结构变形，降低了执行任务的精度
。
因此，必须考虑机器人机械臂的结构柔性特性
。
连杆为柔性时，早期研究学者通常采用假设模态法
、
有限元法
、
集总质量法
、
传递矩阵法等方法来描述柔性机械臂的柔性变形，然后根据需要进行截断
。
又因为柔性变形只考虑弯曲变形，而忽略轴向变形和剪切变形，因此，从动力角度来看，每个柔性构件都可以看作是一根欧拉伯努利梁，即考虑到机械手连杆的长度总是远远大于其横截面尺寸；与此同时，与振动控制有关的问题便随之产生
。
[0004]目前，越来越多的研究者采用自适应方法来控制柔性关节机械臂，包括基于径向基函数神经网络的机械臂自适应滑模鲁棒控制，基于自适应模糊滑模控制的机器人轨迹跟踪研究基于模糊干扰观测器的机械手自适应反步滑模控制策略等等
。
但上述方法在更加复杂的环境下还是难以适应，产生较大的稳态误差，另外，柔性关节机械臂的位置控制精度一直是研究人员关注的问题
。
研究人员在控制器的设计上做了大量的努力，但控制精度和灵活性都没有达到预期的要求，因此如何设计一种高效可行的控制方法是本领域技术人员亟需解决的技术问题
。

技术实现思路

[0005]本专利技术的目的就在于提供一种基于
Actor
‑
Critic
网络全状态反馈的柔性关节机械臂控制方法，以解决
技术介绍
中提出的问题
。
[0006]本专利技术通过以下技术方案来实现上述目的：
[0007]一种基于
Actor
‑
Critic
网络全状态反馈的柔性关节机械臂控制方法，步骤包括：
[0008]S1、
搭建机器人仿真环境，选取
Baxter
模型作为柔性关节机械臂的动力学模型，并设定所述机械臂末端执行关节的期望轨迹
、
以及末端执行关节的约束力矩增益参数；
[0009]S2、
预先构建
Actor
和
Critic
神经网络，在设定仿真循环的时间周期内，依据所述期望轨迹，通过仿真环境输出末端执行关节的仿真结果，将所述仿真结果输入所述
Critic
神经网络中，将输出结果输入所述
Actor
神经网络中进行训练，并实时输出基于所述
Actor
神经网络控制下的
Baxter
模型末端执行关节的实际轨迹；
[0010]S3、
在所述仿真环境中，输出基于所述时间周期内期望轨迹和实际轨迹的轨迹误差，根据所述轨迹误差来验证所述机械臂控制方法
。
[0011]作为本专利技术的进一步优化方案，步骤
S1
具体包括：
[0012]S1.1、
基于
ROS
系统创建工作空间；
[0013]S1.2、
在所述工作空间中安装与所述
Baxter
模型相关依赖；
[0014]S1.3、
完成
Baxter
模型编译后执行
IP
连接，并创建仿真环境；
[0015]S1.4、
基于所述仿真环境下启动
Baxter
模型机器人仿真测试；
[0016]S1.5、
重复执行上述步骤直至仿真测试运行正常，启动仿真环境并运行
Baxter
模型机器人的设定仿真指令；
[0017]S1.6、
生成
Baxter
模型机器人的执行控制例程
。
[0018]作为本专利技术的进一步优化方案，步骤
S2
中，预先构建的
Actor
和
Critic
神经网络中包括自定义训练方法，其中包括设置
Za
函数，
Za
函数将设定构型机械臂所有关节的实际角度向量
、
实际速度向量
、
期望角度向量
、
期望速度向量与期望加速度向量连接为一组列向量
。
[0019]作为本专利技术的进一步优化方案，所述
Actor
神经网络中还包括：
Sa
函数
、
权重
W
a
、
学习率以及通过优化器输出的权重
W
a
的矩阵
Q
；其中，
Sa
函数用于将
Za
函数得到的列向量转化为一维数组并进行正弦运算
。
[0020]作为本专利技术的进一步优化方案，所述
Critic
神经网络中还包括：奖励函数
r、
学习率以及通过优化器输出奖励函数
r
的奖励值；其中，将所有关节的跟踪误差和误差导数构成误差矩阵的转置
、
与新设定的权重矩阵
Q、
与误差矩阵做矩阵运算得到的负值作为所述奖励值
。
[0021]作为本专利技术的进一步优化方案，步骤
S2
中，将所述仿真结果输入所述
Critic
神经网络中，将输出结果输入所述
Actor
神经网络中进行训练基于如下公式实施：
[0022]用
V
表示经过
Critic
神经网络训练过的
Za
函数与奖励函数，用
T
表示
Critic
神经网络的输出，最后得到的权重自适应率为：
[0023][0024]再将权重输入至所述
Actor
神经网络进行训练
。
[0025]作为本专利技术的进一步优化方案，步骤
S2
中，当所述机械臂末端执行关节具体为两个关节时，基于所述
Actor
神经网络控制下的
Baxter
模型机械臂两个关节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
Actor
‑
Critic
网络全状态反馈的柔性关节机械臂控制方法，其特征在于，步骤包括：
S1、
搭建机器人仿真环境，选取
Baxter
模型作为柔性关节机械臂的动力学模型，并设定所述机械臂末端执行关节的期望轨迹
、
以及末端执行关节的约束力矩增益参数；
S2、
预先构建
Actor
和
Critic
神经网络，在设定仿真循环的时间周期内，依据所述期望轨迹，通过仿真环境输出末端执行关节的仿真结果，将所述仿真结果输入所述
Critic
神经网络中，将输出结果输入所述
Actor
神经网络中进行训练，并实时输出基于所述
Actor
神经网络控制下的
Baxter
模型末端执行关节的实际轨迹；
S3、
在所述仿真环境中，输出基于所述时间周期内期望轨迹和实际轨迹的轨迹误差，根据所述轨迹误差来验证所述机械臂控制方法
。2.
根据权利要求1所述的一种基于
Actor
‑
Critic
网络全状态反馈的柔性关节机械臂控制方法，其特征在于：步骤
S1
具体包括：
S1.1、
基于
ROS
系统创建工作空间；
S1.2、
在所述工作空间中安装与所述
Baxter
模型相关依赖；
S1.3、
完成
Baxter
模型编译后执行
IP
连接，并创建仿真环境；
S1.4、
基于所述仿真环境下启动
Baxter
模型机器人仿真测试；
S1.5、
重复执行上述步骤直至仿真测试运行正常，启动仿真环境并运行
Baxter
模型机器人的设定仿真指令；
S1.6、
生成
Baxter
模型机器人的执行控制例程
。3.
根据权利要求1所述的一种基于
Actor
‑
Critic
网络全状态反馈的柔性关节机械臂控制方法，其特征在于：步骤
S2
中，预先构建的
Actor
和
Critic
神经网络中包括自定义训练方法，其中包括设置
Za
函数，
Za
函数将设定构型机械臂所有关节的实际角度向量
、
实际速度向量
、
期望角度向量
、<...

【专利技术属性】
技术研发人员：高赫佳，张芷铭，胡钜奇，何传峰，孙长银，
申请(专利权)人：安徽大学，
类型：发明
国别省市：