基于强化学习的阀控液压缸分数阶控制方法及控制系统技术方案

本发明专利技术公开了一种基于强化学习的阀控液压缸分数阶控制方法及控制系统，根据阀控液压缸控制原理，建立阀控液压缸的数学模型；设计分数阶PID控制器对阀控液压缸系统进行控制；通过强化学习对分数阶PID控制器的参数进行优化调整；通过强化学习优化后的分数阶PID控制器对阀控液压缸进行控制。通过构建一个分数阶PID控制器来对系统进行优化控制，充分发挥了分数阶PID更强的适应性和更好的性能。利用强化学习算法来补充传统控制器调参技术的设计方案。使分数阶PID参数的调节无需过多的人工干预，能基于目前系统状态自动优化参数。能基于目前系统状态自动优化参数。能基于目前系统状态自动优化参数。

【技术实现步骤摘要】
基于强化学习的阀控液压缸分数阶控制方法及控制系统


[0001]本专利技术涉及阀控液压缸控制，具体是涉及一种基于强化学习的阀控液压缸分数阶控制方法及控制系统。

技术介绍

[0002]阀控液压缸是一种常见的液压执行元件，在工业和机械控制领域具有广泛的应用。它具有以下优点：高力密度、平稳运动、可靠性高和负载适应性强。阀控液压缸能够提供高力输出，适用于需要大功率输出的应用。通过精确的液压控制，它能够实现平稳、精确的运动，具有较高的运动控制精度。阀控液压缸的结构简单、操作可靠，具有较长的使用寿命和稳定的性能。此外，它可以适应不同负载和工况条件下的工作，能够实现力、速度的调节和控制。
[0003]阀控液压缸的应用领域广泛。它常用于工业自动化设备，如机床、搬运设备、装配线等，用于实现工件夹持、运输、定位和加工等操作。在建筑工程中，阀控液压缸可用于挖掘机、推土机、起重机等设备，用于实现重物的举升、转动和定位等功能。在农业机械领域，它可以应用于拖拉机、收割机、灌溉设备等，用于实现农田作业、种植和灌溉等操作。此外，阀控液压缸在航空航天和机器人
也有重要应用，用于实现飞机和航天器的控制和机器人的运动、抓取、定位和力控制等功能。
[0004]综上所述，阀控液压缸凭借其优越的性能特点，在多个领域都发挥着重要作用，并具有广阔的应用前景。
[0005]分数阶PID控制器是一种新型的PID控制器，它可以更好地描述分数阶动力学系统。与传统的PID控制器不同，分数阶PID控制器的控制器输出与误差的分数阶次之间存在比例关系。因此，优化分数阶PID控制器的参数是一项非常具有挑战性的任务。

技术实现思路

[0006]专利技术目的：针对以上缺点，本专利技术提供一种更好地控制阀控液压缸系统的基于强化学习的阀控液压缸分数阶控制方法及控制系统。
[0007]技术方案：为解决上述问题，本专利技术采用一种基于强化学习的阀控液压缸分数阶控制方法，包括以下步骤：（1）根据阀控液压缸控制原理，建立阀控液压缸的数学模型；（2）设计分数阶PID控制器对阀控液压缸系统进行控制；（3）通过强化学习对分数阶PID控制器的参数进行优化调整；（4）通过强化学习优化后的分数阶PID控制器对阀控液压缸进行控制。
[0008]进一步的，所述步骤(1)中阀控液压缸数学模型的动态特性方程式为：，
，，其中，为液压缸活塞作用面积，为负载位移，为对求一阶导，为对求二阶导，为液压缸总的内泄漏系数，为液压缸两腔压差，为液压缸油腔总的体积，为油液体积弹性模量，液压缸的压力
‑
流量方程，为滑阀的流量增益，为滑阀的流量压力放大系数，为伺服阀阀芯输入位移，为控制窗口处的流系数，为伺服阀节流口面积梯度，为油液密度，为供油压力，是活塞及负载折算到活塞上的总质量，是活塞及负载的粘性阻尼系数，是弹簧度，为阀控液压缸系统未知摩擦力和未知干扰力，是控制器增益，是伺服阀增益，是控制信号。
[0009]进一步的，定义状态变量，阀控液压缸的系统状态方程为：，其中，，，，，为阀控液压缸的系统复合扰动，是无控制器情况下的伺服阀增益，为对求一阶导，为对求一阶导，为对求一阶导。
[0010]进一步的，所述系统复合扰动的表达式为：，其中，为的误差，为粘性摩擦系数，为负载质量，为系统未知摩擦力和未知干扰力。
[0011]进一步的，所述分数阶PID控制器的表达式为：
，其中，为比例系数，为积分系数，为积分算子，为积分阶次，为微分系数，为微分算子，为微分阶次，表示系统误差函数。
[0012]进一步的，所述步骤(3)中采用Critic网络和Actor网络对分数阶PID控制器的参数进行优化调整，其中，Actor网络的输入为系统状态信号，输出为动作信号，；Critic网络的输入包括系统状态信号，以及基于Actor网络做出动作信号下的系统奖励信号以及Actor网络的t时刻与t+1时刻的动作信号，系统奖励信号与系统状态信号均由系统误差函数计算而来；奖励信号的表达式为：，其中，为系统的期望输出，为系统的实际输出，为当前系统状态。
[0013]进一步的，所述Actor网络包括输入层、隐含层和输出层；所述输入层将系统状态直接输入到隐藏层进行计算，系统状态；在隐藏层中，是一个n维向量，即，其中n是隐藏单元的数量，选择高斯函数作为其核函数；输出层直接输出动作信号，Actor网络的输出是隐含层输出的简单加权和，故有：，，，其中，表示第j个隐藏单元与输出层之间的权重。
[0014]进一步的，所述Critic网络包括输入层、隐含层和输出层；Critic网络输入层的输入是一个七维向量，即，；在隐藏层中，是一个m维向量，即，其中m是隐藏单元的数量，选择高斯函数作为其核函数，输出层直接输出Critic网络对动作信号的打分，Critic网络的输出是仍然是隐含层输出的简单加权和，故有：，其中，表示第i个隐含单元与输出层之间的权重。
[0015]进一步的，Critic网络参数更新算法为：，其中，为学习率，为时序误差；Actor网络参数更新采用梯度上升法，具体算法如下所示：，其中，为学习率，为代价函数。
[0016]本专利技术还采用一种基于强化学习的阀控液压缸分数阶控制系统，包括模型建立模块，用于根据阀控液压缸控制原理，建立阀控液压缸的数学模型，设计分数阶PID控制器对阀控液压缸系统进行控制；优化模块，用于通过强化学习对分数阶PID控制器的参数进行优化调整；控制模块，通过强化学习优化后的分数阶PID控制器对阀控液压缸进行控制。
[0017]有益效果：本专利技术相对于现有技术，其显著优点是通过构建一个分数阶PID控制器来对系统进行优化控制，充分发挥了分数阶PID更强的适应性和更好的性能。利用强化学习算法来补充传统控制器调参技术的设计方案。使分数阶PID参数的调节无需过多的人工干预，能基于目前系统状态自动优化参数。
附图说明
[0018]图1为本专利技术阀控液压缸分数阶控制方法的流程示意图。
实施方式
[0019]如图1所示，本实施例中的一种基于强化学习的阀控液压缸分数阶控制方法，包括以下步骤：步骤1：根据阀控液压缸控制原理，建立阀控液压缸的数学模型。
[0020]阀控液压缸系统中的单向阀、定量泵、电机和油箱为对整个系统供油的元件，溢流阀起到定压溢流作用；双出杆对称液压缸为作动器，位移信号通过位移传感器进行反馈；控制器基于位移误差对伺服阀进行控制，最终实现作动器的位移跟踪控制。
[0021]由牛顿第二定律可得惯性负载的动力学方程为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)，其中，为负载位移；为液压缸活塞作用面积；液压缸两腔压差（，分别为液压缸两腔的压力）；为负载质量；是活塞及负载的粘性阻尼系数；为系统未知摩擦力和未知干扰力。
[0022]液压缸的压力
‑
流量方程为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)，其中，为油液体积弹性模量；为液压缸油腔总的体积；为负载流量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的阀控液压缸分数阶控制方法，其特征在于，包括以下步骤：（1）根据阀控液压缸控制原理，建立阀控液压缸的数学模型；（2）设计分数阶PID控制器对阀控液压缸系统进行控制；（3）通过强化学习对分数阶PID控制器的参数进行优化调整；（4）通过强化学习优化后的分数阶PID控制器对阀控液压缸进行控制。2.根据权利要求1所述的阀控液压缸分数阶控制方法，其特征在于，所述步骤(1)中阀控液压缸数学模型的动态特性方程式为：，，，其中，为液压缸活塞作用面积，为负载位移，为对求一阶导，为对求二阶导，为液压缸总的内泄漏系数，为液压缸两腔压差，为液压缸油腔总的体积，为油液体积弹性模量，液压缸的压力
‑
流量方程，为滑阀的流量增益，为滑阀的流量压力放大系数，为伺服阀阀芯输入位移，为控制窗口处的流系数，为伺服阀节流口面积梯度，为油液密度，为供油压力，是活塞及负载折算到活塞上的总质量，是活塞及负载的粘性阻尼系数，是弹簧度，为阀控液压缸系统未知摩擦力和未知干扰力，是控制器增益，是伺服阀增益，是控制信号。3.根据权利要求2所述的阀控液压缸分数阶控制方法，其特征在于，定义状态变量，阀控液压缸的系统状态方程为：，其中，，，，
，为阀控液压缸的系统复合扰动，是无控制器情况下的伺服阀增益，为对求一阶导，为对求一阶导，为对求一阶导。4.根据权利要求3所述的阀控液压缸分数阶控制方法，其特征在于，所述系统复合扰动的表达式为：，其中，为的误差，为粘性摩擦系数，为负载质量，为系统未知摩擦力和未知干扰力，为对求一阶导。5.根据权利要求4所述的阀控液压缸分数阶控制方法，其特征在于，所述分数阶PID控制器的表达式为：，其中，为比例系数，为积分系数，为积分算子，为积分阶次，为微分系数，为微分算子，为微分阶次，表示系统误差函数。6.根据权利要求5所述的阀控液压缸分数阶控制方法，其特征在于，所述步骤(3)中采用Critic网络和Actor网络对分数阶PID控制器的参数进行优化调整，其中，...

【专利技术属性】
技术研发人员：邵书义，焦广鑫，陈谋，孙栋，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：