一种基于深度强化学习的铣削参数优化方法技术

本发明专利技术属于数控加工相关技术领域，其公开了一种基于深度强化学习的铣削参数优化方法，基于BPNN回归方法建立机床功耗模型，实现机床功耗状态预测的连续性，并建立加工成本模型；然后，定义了相应的状态、动作、奖励函数和约束；最后，结合机床功耗模型和加工成本模型建立仿真环境，提出BP

【技术实现步骤摘要】
一种基于深度强化学习的铣削参数优化方法


[0001]本专利技术属于数控加工相关
，更具体地，涉及一种基于深度强化学习的铣削参数优化方法。

技术介绍

[0002]提高铣削过程加工系统能效对绿色制造具有重要意义。零件加工过程中的铣削参数对加工系统的材料去除率、加工时间、能源效率和经济性都有很大的影响。传统的铣削参数往往是根据操作人员经验和加工手册选择的，缺少对节能和经济性的重视，同时常常忽略主轴转速和进给速度变化所消耗的能量。
[0003]在机床加工过程的参数优化以降低能源消耗问题的研究中，首先需要建立准确的加工功耗预测模型。当前大多数研究基于经验模型，考虑更多的功耗因素，提高功耗预测模型的完整度也导致模型计算复杂，机床加工各部分功耗公式系数繁多，分析计算工作量增大；此外，建立加工功耗预测模型后，通常使用的优化方法主要是群体启发式算法和个体启发式算法两大类，针对较大任务空间进行优化时容易陷入局部最优解，且优化计算时间较长。
[0004]因此，本领域目前亟需研究一种加工功耗建模方法简单、优化效果好、速度快的铣削参数优化方法，用以解决较大任务空间的数控加工中心铣削加工参数优化问题。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于深度强化学习的铣削参数优化方法，旨在提出一种建模简单、优化效果好、速度快的铣削参数优化方法，以解决较大任务空间的数控加工中心铣削加工参数优化问题。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种基于深度强化学习的铣削参数优化方法，所述方法包括：S1：采用BPNN回归方法构建以铣削参数为输入并以铣削功率为输出的BPNN功耗模型；S2：根据BPNN功耗模型输出的铣削功率构建加工成本模型；S3：构建以迭代过程中铣削参数和加工成本为参数的状态函数、待优化铣削参数的动作参数范围、以上次迭代加工成本与本次迭代加工成本为参数的奖励函数，以及迭代过程中的约束条件；S4：构建仿真环境模型，所述仿真环境模型包括所述BPNN功耗模型、加工成本模型、奖励函数以及状态函数，所述BPNN功耗模型根据铣削参数输出铣削功率，加工成本模型根据铣削功率获取本次迭代加工成本并将其输入奖励函数得到奖励值，根据奖励值判断是否结束任务；S5：将所述仿真环境模型与TD3模型进行耦合得到BP
‑
TD3模型，以使的所述TD3模型根据所述仿真环境模型的观测状态在所述动作参数范围内选择铣削参数；S6：以最小化加工成本为目标对所述BP
‑
TD3模型进行训练，将待优化铣削参数输入训练好的BP
‑
TD3模型即可获得优化后的铣削参数。
[0007]优选地，所述加工成本模型包括：
[0008][0009]其中，cost为加工成本，SEC为能源成本，T
p
为加工时间成本，λ1和λ2为平衡因子，P
cutting
为机床的铣削功率，MRR为材料的去除率，ψ为时间成本因子，L
c
为铣削长度，f
c
为铣削进给速度，MRR＝a
p
·
a
e
·
f
c
，a
p
为铣削深度，a
e
为铣削宽度。
[0010]优选地，步骤S3中所述状态函数s
t
为：
[0011]s
t
＝[a
p
(t)，a
e
(t)，n(t)，f
c
(t)，Cost(t)，Done(t)][0012]其中，t为第t次优化迭代，a
p
(t)为第t次优化迭代对应的铣削深度，a
e
(t)为第t层次优化迭代对应的铣削宽度，n(t)为第t次优化迭代时的主轴转速，f
c
(t)为第t次优化迭代时的进给速度，Cost(t)为第t次优化迭代时的加工成本，Done(t)第t次优化迭代时的布尔变量；
[0013]动作参数范围a
t
为：
[0014]a
t
＝[n(t)，f
c
(t)][0015]其中，[n(t)，f
c
(t)]表示二元向量；
[0016]奖励函数r
t
为：
[0017]r
t
＝Cost(t
‑
1)
‑
Cost(t)
[0018]约束条件为：
[0019][0020]其中，τ
i
(t)表示第i个优化任务的第t次优化迭代；x
min
和x
max
是铣削参数(a
p
，a
e
，n，f
c
)的上下边界，P
r
为机床额定功率，η为相应的效应因子，j＝1，2，3。
[0021]优选地，步骤S4中若奖励函数的奖励值小于0则结束该幕优化并赋值Done(t)＝1，反之则继续优化并赋值Done(t)＝0。
[0022]优选地，所述铣削参数和铣削功率通过对机床进行正交实验获得。
[0023]优选地，通过以下步骤获得所述铣削参数和铣削功率：S11：根据铣削参数范围设计正交实验表，按照正交实验表在机床上进行铣削实验，采集铣削过程中的机床主轴伺服电流和进给轴伺服电流；S12：将所述机床主轴伺服电流和进给轴伺服电流转化为铣削功率，进而建立铣削参数对应的铣削功率。
[0024]优选地，所述TD3模型包括1组Actor网络、2组Critic网络和经验寄存器，其中，所述Actor网络用于在动作参数范围内为所述仿真环境模型选择铣削参数，接收来自仿真环境的状态参数、奖励值以及铣削参数；所述经验寄存器用于存储所述状态参数、奖励值以及铣削参数，形成样本；所述2组Critic网络用于根据所述样本进行学习并训练获得最优铣削参数，并将所述最优铣削参数输入所述仿真环境模型进行计算。
[0025]优选地，所述状态参数包括本次迭代的状态参数以及更新的状态参数。
[0026]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，本专利技术提供的一种基于深度强化学习的铣削参数优化方法：
[0027]1.本申请根据BPNN回归方法构建BPNN功耗模型，而后根据BPNN功耗模型的输出建立加工成本模型，所需数据量少，建模过程简单；并且将仿真环境模型与TD3模型耦合实现快速迭代过程寻优，效率高，精度高；
[0028]2.定义了相应的状态函数、动作参数范围、约束条件和奖励函数，使得铣削参数优化问题可以通过强化学习方法解决，与传统优化方法不同，提出了一种新的铣削参数优化方法。
[0029]3.本专利技术建立了BP
‑
TD3铣削参数优化深度强化学习模型，以BPNN功耗模型为基础建立仿真环境，同时建立TD3强化学习智能体，经过交互训练，能够在较大空间铣削本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的铣削参数优化方法，其特征在于，所述方法包括：S1：采用BPNN回归方法构建以铣削参数为输入并以铣削功率为输出的BPNN功耗模型；S2：根据BPNN功耗模型输出的铣削功率构建加工成本模型；S3：构建以迭代过程中铣削参数和加工成本为参数的状态函数、待优化铣削参数的动作参数范围、以上次迭代加工成本与本次迭代加工成本为参数的奖励函数，以及迭代过程中的约束条件；S4：构建仿真环境模型，所述仿真环境模型包括所述BPNN功耗模型、加工成本模型、奖励函数以及状态函数，所述BPNN功耗模型根据铣削参数输出铣削功率，加工成本模型根据铣削功率获取本次迭代加工成本并将其输入奖励函数得到奖励值，根据奖励值判断是否结束任务；S5：将所述仿真环境模型与TD3模型进行耦合得到BP
‑
TD3模型，以使的所述TD3模型根据所述仿真环境模型的观测状态在所述动作参数范围内选择铣削参数；S6：以最小化加工成本为目标对所述BP
‑
TD3模型进行训练，将待优化铣削参数输入训练好的BP
‑
TD3模型即可获得优化后的铣削参数。2.根据权利要求1所述的方法，其特征在于，所述加工成本模型包括：其中，cost为加工成本，SEC为能源成本，T
p
为加工时间成本，λ1和λ2为平衡因子，P
cutting
为机床的铣削功率，MRR为材料的去除率，ψ为时间成本因子，L
c
为铣削长度，f
c
为铣削进给速度，MRR＝a
p
·
a
e
·
f
c
，a
p
为铣削深度，a
e
为铣削宽度。3.根据权利要求1所述的方法，其特征在于，步骤S3中所述状态函数s
t
为：s
t
＝[a
p
(t)，a
e
(t)，n(t)，f
c
(t)，Cost(t)，Done(t)]其中，t为第t次优化迭代，a
p
(t)为第t次优化迭代对应的铣削深度，a
e
(t)为第t层次优化迭代对应的铣削宽...

【专利技术属性】
技术研发人员：李斌，李伟业，贺松平，毛新勇，刘红奇，赵尊元，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：