【技术实现步骤摘要】
本专利技术涉及液压控制领域，尤其涉及一种基于强化学习自适应鲁棒控制的双阀液压系统的控制方法。
技术介绍
1、电液伺服控制系统以其控制精度高、负载能力大等特点，广泛应用于各种工程领域，如船舶领域、机械加工领域等。
2、目前，应用于电液伺服控制系统的方法以经典的pid控制方法居多，在特定的工况下，只要设置合适的参数，系统便能获得理想的跟踪精度。但在应对复杂多变的场景时，由于经典控制算法存在参数不可调节的缺点，使得电液伺服控制系统无法在各种未知工况下保证其控制精度。
3、在实现大流量、高精度的位置控制中，一般采用大流量伺服阀控制的电液伺服系统。然而我国大流量的高端电液伺服阀目前仍然依靠国外进口，其昂贵的成本问题限制着我国电液伺服系统发展。针对这个问题，国内很多学者提出多阀并联控制的方案。但由于多阀并联电液伺服系统存在一定的耦合性，如果各阀流量分配方法不合理，系统就会出现震荡现象。对于多阀并联控制，中国专利cn 110873083 a公开了“一种双阀并联的电液伺服系统及其控制方法”，以及中国专利cn 111622996a“异构多阀并联驱动电液伺服系统及控制方法”介绍了通过直接的方式来进行流量分配。但这种流量分配机制主要是先把伺服阀的流量补充满后，再补充比例阀的流量。然而这种流量分配机制，当流量处于伺服阀最大流量的临界值时，会使得两个液压阀出现同时工作的情况，系统会出现一定的抖动与震荡。
4、中国专利cn104092208 a公开了“一种直流输电工程双阀组并联运行的控制方法和装置”，通过对多个并联阀给予
技术实现思路
1、专利技术目的：本专利技术旨在提供一种可以抗外部扰动和内部干扰的高鲁棒性和控制精度的基于强化学习自适应鲁棒控制的双阀液压系统的控制方法。
2、技术方案：本专利技术所述的基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，所述控制方法如下：
3、实时跟踪获取双阀液压系统的数据，数据包括液压缸的活塞杆实际的跟踪误差e，理想的液压缸的活塞杆跟踪位置xp，液压缸的活塞杆实际的跟踪位置xd，液压缸的活塞杆理论的跟踪速度vp，液压缸的活塞杆实际的跟踪速度vd，比例阀的输入信号u1，伺服阀的输入信号u2；
4、构建智能体ⅰ和智能体ⅱ，并对两个智能体进行内部参数定义，基于强化学习ddpg算法的训练优化调节输出空间；
5、智能体ⅰ被构建为根据第一状态空间state1＝[e,xp,xd,vp,vd]输出第一动作空间action1＝[λ,kys]，其中，λ为模型反馈项参数，kys为鲁棒反馈项参数；根据模型反馈项参数λ和鲁棒反馈项参数kys，基于自适应鲁棒算法，计算液压缸进油腔的双阀合流量q；
6、智能体ⅱ被构建为根据第二状态空间state2＝[e,u1,u2]输出第二动作空间action2＝[qsf,qbc]，其中，qsf为伺服阀的分配流量，qbc为补偿流量；智能体ⅱ的流量分配策略为q＝qsf+qbl+qbc，其中，qbl为比例阀的流量；
7、通过伺服阀与比例阀流量与电压的映射关系输出控制信号，从而控制双阀并联液压系统的运动控制。
8、进一步的，所述液压缸进油腔的双阀合流量q为
9、
10、其中，φ为回归量更新速率，e为液压缸的活塞杆实际的跟踪误差，为参数估计误差，为液压缸的活塞杆实际的跟踪速度。
11、进一步的，所述液压缸的活塞杆实际的跟踪误差e为
12、e＝xp-xd。
13、进一步的，所述智能体ⅰ的奖励函数r1(t)：
14、
15、其中，ka1、ka2、ka3、ka4为奖励分配系数，et表示当前时刻t液压缸的活塞杆实际的跟踪误差，et-1为上一时刻t-1液压缸的活塞杆的实际跟踪误差，at为当前时刻t液压缸的活塞杆实际跟踪系统的加速度，ra1表示对液压缸的活塞杆跟踪误差的负奖励，ra2表示当前时刻t液压缸的活塞杆跟踪误差与上一时刻t-1液压缸的活塞杆跟踪误差之间的对比，若|et|＞|et-1|，则系统给出的奖励值为-k2，反之为k3；当活塞杆速度变化频繁时，会导致系统产生震荡，ra3为活塞杆速度变化绝对值的负奖励，用于减少跟踪曲线的震荡。
16、进一步的，所述智能体ⅱ的奖励函数r2(t)：
17、
18、其中，kb1、kb2、kb3为奖励分配系数，et表示当前时刻实际t的跟踪误差，u1t为当前时刻t比例阀的输入信号，u2t为当前时刻t伺服阀的输入信号，rb1表示对跟踪误差的奖励，rb2表示双阀流量冲突奖励。
19、进一步的，所述比例阀的流量qbl与比例阀输入电压u1关系为
20、
21、其中，k1为比例阀流量信号比例系数，u1(t)为比例阀在时刻t的输入信号，b为比例阀的死区值。
22、进一步的，所述伺服阀的分配流量qsf与伺服阀输入电压u2关系为
23、qsf(t)＝k2u2(t)
24、其中，qsf(t)为伺服阀流量，k2为伺服阀流量信号比例系数，u2(t)为伺服阀在时刻t输入信号。
25、本专利技术所述基于强化学习自适应鲁棒控制的双阀液压系统的控制系统，所述双阀液压系统包括伺服阀、比例阀、液压缸、液压泵和控制器，所述控制系统包括：
26、上层控制器，包括智能体ⅰ和智能体ⅱ；智能体ⅰ，用于通过强化学习ddpg算法训练，优化自适应鲁棒算法的模型反馈项参数λ和鲁棒反馈项参数kys；智能体ⅱ用于通过强化学习ddpg算法训练，优化调节伺服阀的分配流量和补偿流量；
27、下层控制器，用于接收上层控制器中智能体ⅰ发送的模型反馈项参数λ和鲁棒反馈项参数kys，基于自适应鲁棒算法计算液压缸进油腔的双阀合流量q；同时接收上层控制器中智能体ⅱ发送的伺服阀的分配流量qsf和补偿流量qbc，基于流量分配策略和伺服阀与比例阀流量与电压的映射关系输出控制信号关系，实时调节并分配伺服阀与比例阀的流量。
28、本专利技术所述计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
29、本专利技术所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处本文档来自技高网...
【技术保护点】
1.一种基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述控制方法如下：
2.根据权利要求1所述基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述液压缸进油腔的双阀合流量Q为
3.根据权利要求2所述基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述液压缸的活塞杆实际的跟踪误差e为
4.根据权利要求1所述基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述智能体Ⅰ的奖励函数r1(t)：
5.根据权利要求4所述基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述智能体Ⅱ的奖励函数r2(t)：
6.根据权利要求1所述基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述比例阀的流量Qbl为
7.根据权利要求1所述基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述伺服阀的分配流量Qsf为
8.一种基于强化学习自适应鲁棒控制的双阀液压系统的控制系统，所述双阀液压系统包括伺服阀、比例阀、液压缸
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一所述方法的步骤。
...【技术特征摘要】
1.一种基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述控制方法如下：
2.根据权利要求1所述基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述液压缸进油腔的双阀合流量q为
3.根据权利要求2所述基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述液压缸的活塞杆实际的跟踪误差e为
4.根据权利要求1所述基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述智能体ⅰ的奖励函数r1(t)：
5.根据权利要求4所述基于强化学习自适应鲁棒控制的双阀液压系统的控制方法，其特征在于，所述智能体ⅱ的奖励函数r2(t)：
6.根据权利要求1所述基于强化学习自适应鲁棒控...
【专利技术属性】
技术研发人员：苏世杰，何建辉，张建，陈赟，殷宝吉，齐继阳，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。