一种基于深度强化学习的通风阻力系数反演方法技术

本发明专利技术属于矿井通风技术领域，具体涉及一种基于深度强化学习的通风阻力系数反演方法，包括如下步骤：S1：定义智能体交互环境env；S2：定义智能体Agent，智能体包括θ参数化的策略神经网络Actor‑Net和w参数的价值神经网络Critic‑Net；S3：初始化智能体参数和学习训练参数；S4：收集智能体与环境交互的轨迹数据；S5：取样采集轨迹数据，计算优势函数更新θ和w，完成max‑epochs次智能体策略更新，输出最优阻力系数。本发明专利技术为智能获取通风阻力系数提供了一种新方法，为实时通风网络解算提供技术支持。

【技术实现步骤摘要】

本专利技术属于矿井通风，具体涉及一种基于深度强化学习的通风阻力系数反演方法。

技术介绍

1、矿井通风阻力系数分布不仅与矿井通风系统的稳定性紧密相关，同时也是通风系统数字化、智能化中的核心参数，其准确性直接关系到实时通风网络解算的可靠性。矿井通风阻力系数作为实时通风网络解算的决定性参数，准确无误的通风阻力系数应使得实时矿井通风网络风量解算结果与监测系统的传感器风量示值保持一致。通风阻力系数可以通过测量来获取，但是对于大型复杂通风系统，测量的巷道多达上百条，工作难度大。在实际中，往往只测量部分巷道的通风阻力系数，同时测量的准确性会受到井下生产活动的影响，仪器本身也会存在一定误差。另外，通风阻力系数也可利用经验公式获取，但经验公式无法解决通用性和精准性的矛盾。邓立军提出使用传统的遗传算法对风阻系数进行反演，但传统的启发式算法容易陷入局部最优，且难以解决高维问题。上述问题制约着通风阻力系数的获取和准确性，直接限制了通风系统数字孪生的程度。因此，提出使用深度强化学习人工智能算法来对通风风阻系数进行反演，对通风系统安全管理、数字化和智能化具有重要意义。

...

【技术保护点】

1.一种基于深度强化学习的通风阻力系数反演方法，其特征在于，具体步骤如下：

2.根据权利要求1所述的一种基于深度强化学习的通风阻力系数反演方法，其特征在于：在步骤S1中，定义智能体交互环境env，其环境其中MVSS为通风仿真系统，R为奖励函数，为监测风量值，R(St,At)表示在环境状态St下采取动作At时环境的奖励反馈值，St为t-1时刻的通风阻力系数分布rt-1＝{r(t-1)1,r(t-1)2,r(t-1)3,r(t-1)n}，At为t时刻智能体输出的通风阻力系数，所述的奖励函数定义为：

3.根据权利要求1所述的一种基于深度强化学习的通风阻力系数反演方法，其...

【技术特征摘要】

1.一种基于深度强化学习的通风阻力系数反演方法，其特征在于，具体步骤如下：

2.根据权利要求1所述的一种基于深度强化学习的通风阻力系数反演方法，其特征在于：在步骤s1中，定义智能体交互环境env，其环境其中mvss为通风仿真系统，r为奖励函数，为监测风量值，r(st,at)表示在环境状态st下采取动作at时环境的奖励反馈值，st为t-1时刻的通风阻力系数分布rt-1＝{r(t-1)1,r(t-1)2,r(t-1)3,r(t-1)n}，at为t时刻智能体输出的通风阻力系数，所述的奖励函数定义为：

3.根据权利要求1所述的一种基于深度强化学习的通风阻力系数反演方法，其特征在于：在步骤s2中，定义智能体，智能体agent包括θ参数化的策略神经网络actor-net和w参数的价值神经网络critic-net，actor-net根据当前的环境状态st输出通风阻力系数分布πθ，at取样于πθ，critic-net根据当前的状态st输出状态价值vt，所述的神经网络结构为多层感知机(mlp)模型，包括输入层(input layer)、隐藏层(hidden layers)、激活层(activat...

【专利技术属性】
技术研发人员：刘剑，曹鹏，刘丽，王东，董勇，刘学，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：