一种基于强化学习的液压挖掘机系统流量匹配优化方法技术方案

一种基于强化学习的液压挖掘机系统流量匹配优化方法，属于工程机械挖掘机控制技术领域。本方法将挖掘机内部控制对象转至液压泵，构造闭合回路。利用强化学习算法，构造离线控制器，计算合适的控制电流。通过控制电磁阀电流量来控制液压泵的斜盘倾角来控制液压泵的输出油量，减少液压油的无效流动，降低溢流损失。同时也进一步减低了液压回路的泄露损失与粘性损失来减小液压油的消耗。不仅从新的角度进行了液压挖掘机的流量控制，同时也降低该类控制算法在液压类工程机械控制方面的应用要求。求。求。

【技术实现步骤摘要】
一种基于强化学习的液压挖掘机系统流量匹配优化方法


[0001]本专利技术属于工程机械挖掘机控制
，具体是一种基于强化学习的液压系统流量匹配方法的控制技术。

技术介绍

[0002]强化学习，又称增强学习，主要用于控制智能体在与环境的交互过程中通过学习策略来达成回报最大化或实现设定的特定目标。目前，强化学习算法已在无人驾驶、工业自动化、机器翻译、机器人控制等领域中有较好的应用。但对于工程机械领域，强化学习算法应用较少，针对挖掘机方向，只有少量混合动力型挖掘机研究中应用了强化学习的相关算法。强化学习算法作为一种最优控制算法，在满足精度条件下，可以迭代计算出最优控制解，应用于工程机械的挖掘机领域中，有助于开发最佳控制路径，实现高效经济等多重目标。
[0003]液压挖掘机是一种通过液压循环驱动的大型工作装置，是通过挖斗进行挖掘作业的工程机械。其作为一种重要的重型工程机械，广泛应用于各种基础设施建设当中。目前，世界上约65％
‑
70％的土方工程是由液压挖掘机来完成的。由于液压挖掘机强大的多功能适应性与较低的工作环境要求，用量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的液压挖掘机系统流量匹配优化方法，其特征在于，步骤如下：步骤1、挖掘信号的采集及预处理在轻载、中载、重载三种不同负载功率下进行预挖掘，采集数据：液压泵压力信号、溢流阀流量信号、液压泵流量信号、电磁阀电流信号；预处理采集的数据：利用采集的数据绘制信号波形图，利用低通滤波器过滤干扰信号，对波形曲线进行模糊处理；步骤2、系统环境模型的建立系统环境模型包括三种负载功率，每种负载功率包括五种工作阶段；三种负载功率为轻载、中载和重载；五种工作阶段是由预处理后的数据根据波形进行图像划分获得的，包括挖掘、提升回转、卸载、空斗返回和挖掘准备；对于每个信号数据，选取步骤1预处理后的数据中可用的波形区段，在可用波形区段中对应同时间点的电磁阀电流
‑
液压泵压力
‑
溢流阀流量；在对应后数据中，划分得到不同负载功率下不同工作阶段的电磁阀电流总区间；系统环境模型依据三种负载功率及其五种工作阶段搭建成15
×
n型的矩阵；n表示在某一负载功率中某一工作阶段电磁阀电流总区间基础上，划分的某一负载功率中某一工作阶段电磁阀电流划分的区间数量；步骤3、智能体利用奖励机制寻找最佳控制电流将液压泵作为智能体，通过Amesim搭建一个液压系统；1)对于某一负载功率中某一工作阶段，电磁阀电流总区间为[i1‑
i
h
]，将[i1‑
i
h
]划分为n个子区间，[i1‑
i2]、[i2‑
i3]、
…
、[i
h
‑1‑
i
h
]2)第一次随机选择一个子区间，通过液压泵数学模型计算得到该子区间下的液压泵流量值，将液压泵流量值输入液压系统中，在液压系统中模拟挖掘机在某一负载功率中某一工作阶段的动作，获得溢流阀流量；其中液压泵数学模型为：该模型表明：电磁阀电流i在(0,m]区间内，液压泵流量为一常数值q1；电磁阀电流i在(m，n]区间内，液压泵流量随电流值呈一次函数变化；电磁阀电流i在(n，h]区间内,液压泵流量为一常数值q2；3)再次重复步骤(2)，但是该次随机选择的子区间与步骤(2)的不同；4)计算步骤2)和步骤3)所得溢流阀流量的差值，通过奖励机制判断步骤3)选取子区间方向的正确性；正确则继续往该方向选取，否则反方向选取；5)重复步骤...

【专利技术属性】
技术研发人员：刘伟嵬，张靖文，邓剑洋，宋学官，桑勇，曹旭阳，李国锋，牛东东，罗旋，康杰，孙伟奇，
申请(专利权)人：徐州徐工挖掘机械有限公司，
类型：发明
国别省市：