基于多智能体深度强化学习的虚拟综采生产系统推演方法技术方案

本发明专利技术涉及一种基于多智能体深度强化学习的虚拟综采生产系统推演方法，根据综采工作面“三机”各自的结构参数与自由度特点进行煤机装备智能体本体的三维建模，以及根据煤层探测信息与采煤机截割信息进行虚拟煤层的建模；将建立的模型导入至Unity3D中，作为整个综采工作面“三机”的初始场景，将装备开采过程中的历史运行信息接入场景中，提取煤机装备运行关键信息作为初始运行的数据驱动来源；将装备运行数据进行集中迭代训练，采用分布式控制方式获得装备运行的决策信息，最终在决策结果的控制下实现综采工作面“三机”协同推进以及与工作空间的动态耦合，为综采工作面生产系统高效运行提供技术平台支撑。运行提供技术平台支撑。运行提供技术平台支撑。

【技术实现步骤摘要】
基于多智能体深度强化学习的虚拟综采生产系统推演方法


[0001]本专利技术涉及综采工作面仿真
，具体而言，是一种基于多智能体深度强化学习的虚拟综采工作面生产系统推演方法。

技术介绍

[0002]随着国家智能制造的推进，数字孪生技术在制造过程中的地位逐渐增加，追求更高效、更安全、更透明化的生产制造模式，以上内容的实现离不了虚拟场景的映射作用，需要建立与物理生产制造场景完全等价的虚拟场景。煤矿开采属于深部作业空间，其开采的特殊性使得煤矿智能化的进展较其他行业的发展来说比较慢，因而亟需建立煤矿开采过程的完整映射的虚拟开采过程。
[0003]综采工作面的开采作业作为煤矿开采过程的重要一环，其开采过程涉及的装备较多，对开采过程中装备间的协同要求较高，开采中对工艺与直线度要求也比较高，因此在实现综采工作面全生命周期的协同推进问题上面临的挑战比较大。
[0004]公开号CN111140231A的专利技术专利公开了一种面向综采装备时空运动学的煤层顶底板路径虚拟规划方法，通过Unity3D软件建立固有煤层顶底板；利用物理引擎构建综采装备和煤层顶底板的时空运动学关系，利用mesh组件动态生成单循环煤层顶底板,刮板输送机和液压支架随着采煤机的引领进行协同推进。公开号CN109783962A的专利技术专利公开了基于虚拟现实物理引擎的综采装备协同推进仿真方法，是将虚拟综采装备经模型刚体化修补后，与虚拟煤层进行虚拟接触，进而模拟装备井下运行信息，虚拟实时更新煤层是通过实时记录采煤机前后滚筒截割轨迹在Unity3D软件中进行Mesh网格碰撞体重构，通过控制固有煤层信息和虚拟实时更新煤层属性的有无和显示，实时更新虚拟煤层数据信息，真实再现井下煤层环境下装备自适应推进过程。公开号CN108643884A的专利技术专利公开了一种锚杆钻机推进回转系统及其协同自适应控制方法，对推进系统和回转系统单回路实施自抗扰控制，增强钻进过程鲁棒性；采用复合控制方式，根据预估的岩石硬度系数，确定钻机当次钻进的最优推进力和最优旋转速度，进而实现锚杆回转与推进系统的协同动作。公开号CN112392485A的专利技术专利公开了一种煤矿综采工作面透明化数字孪生自适应开采系统和方法，构建了基于统一大地坐标系的数字孪生三维虚拟开采场景，利用智能感知技术实时获取设备端信息；通过信息驱动虚拟场景中的孪生模型，实现井上对井下采煤作业场所的开采环境的透明化感知、设备的智能监控、可视化自适应开采及故障预测等，减少采煤作业人员,提高煤矿智能开采水平。公开号CN111208759A的专利技术专利公开了一种通过构建数字孪生模型，基于三维可视化虚拟场景，利用卷积网络深度学习算法进行感知分析、仿真模拟、迭代优化与决策控制。基于数据孪生和数据驱动,通过虚拟空间数字孪生无人化综采工作面实现对远程物理空间矿井无人化综采工作面的实时监控、智能感知、精准定位和健康预测。公开号CN111210359A的专利技术专利公开了面向智能矿山场景的数字孪生演化机理及方法，通过构建数字孪生模型,实现数字孪生体与物理实体之间的数据镜像与信息交互,实现物理空间物理实体与虚拟空间数字孪生体的对象孪生、过程孪生和性能孪生；本专利技术通过
数字孪生演化机理与方法，在虚拟空间智能矿山场景实现对物理空间智能矿山场景远程可视化监控。公开号为CN112945160A的专利技术专利提供了一种虚实融合的液压支架间相对位姿试验平台及试验方法，采用虚实融合方法模拟真实煤层环境下相邻液压支架工作流程及支护场景，多支架虚拟测试场景模拟真实井下相邻支架动作流程、实时相对位姿状态及煤层倾斜情况，通过相邻虚拟液压支架及实际受试液压支架的交替动作显示液压支架间的实时位姿画面、相对位姿数据及实际受试液压支架的实时压力数据；公开号CN109989751A的专利技术专利公开了一种综采三机跨平台远程实时运动跟踪方法，构建了综采三机虚拟模型驱动模块,实现三机虚拟模型的实时驱动，动态地展示综采三机设备的实时运行状态,并显示到客户端计算机上。公开号CN113128109A的专利技术专利公开了一种面向智能化综采机器人生产系统的测试与评估方法，AI机器人系统基于传感误差分析、执行误差的误差分析，构建虚拟装备的深度强化学习模型，确定仿真初始数据和虚拟场景运行数据，将装备及地质探测手段按照未来智能化发展运行参数进行输入，根据输入参数进行虚拟预演与迭代优化；构建考虑截割轨迹、直线度、工作空间和动态煤层的全面评价指标，对未来的综采机器人运行进行模拟，确定发展趋势，测试机器人运行性能。
[0005]由以上研究内容可以看出虚拟模型的建立及其健康运行对数字孪生技术的实现具有重要作用，虚拟模型的构建精度对场景运行的可靠性影响巨大，但是当前研究中仍然存在以下问题：(1)当前在虚拟综采工作面协同推进的实现过程中环境对装备运行的影响，主要局限于虚拟仿真引擎的附加作用，没有全面考虑其他装备的运行状况对其运行的影响；(2)数据驱动的影响主要体现在对模型的构建过程中，历史开采数据的影响应该贯穿于装备的虚拟运行全过程中，即从历史数据中提取装备运行的关键信息，这些信息需要与装备的虚拟运行结合；(3)在深度强化学习知识在装备上的应用方面，全局目标局限于工程问题，在迭代训练时仅利用单个装备运行信息与历史开采信息，未考虑装备间的相互作用、联合动作的影响。
[0006]综上所述，针对数字孪生综采工作面运行过程中进行虚拟调试、工艺设计以及后期的服务方面需要虚拟场景的实时更新，现有技术中，虚拟环境下综采工作面“三机”运行过程的虚拟重构灵活性差，满足不了当前数字孪生综采工作面运维要求，使得虚拟综采工作面“三机”自主协同能力欠缺。
[0007]因此，在虚拟环境下建立物理综采工作面高度映射的基础上，需要在装备运行的过程中建立一种基于数据驱动的、在场景运行时兼顾煤层环境与装备间相互影响的耦合运行机制。

技术实现思路

[0008]本专利技术的目的是提供一种基于多智能体深度强化学习的虚拟综采生产系统推演方法，以提高虚拟场景运行的灵活性，考虑装备间、装备与煤层间的相互影响与相互作用，保证在虚拟煤层与装备共同构建的工作空间下，虚拟煤机装备高效、平稳运行，为实际综采工作面的生产运行提供指导与服务。
[0009]为实现上述目的，本专利技术采用的技术方案是：一种基于多智能体学习的虚拟综采生产系统耦合推演方法，根据综采工作面“三机”各自的结构参数与自由度特点进行煤机装备智能体本体的三维建模，以及根据煤层探测信息与采煤机截割信息进行虚拟煤层的建
模；将建立的模型导入至Unity3D中，作为整个综采工作面“三机”的初始场景，将装备开采过程中的历史运行信息接入场景中，提取煤机装备运行关键信息作为初始运行的数据驱动来源；
[0010]将装备运行数据进行集中迭代训练，采用分布式控制方式获得装备运行的决策信息，最终在决策结果的控制下实现采煤机智能体的调速、滚筒调高、推进，刮板输送机智能体自适应弯曲与推演下一循环开采轨迹，液压支架智能体的推溜、移架、升/降柱、伸/收互帮板以及智能体间的纠架，根据采煤机的截割信息进行煤层的更新；
[0011]以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体深度强化学习的虚拟综采生产系统推演方法，其特征在于：根据综采工作面“三机”各自的结构参数与自由度特点进行煤机装备智能体本体的三维建模，以及根据煤层探测信息与采煤机截割信息进行虚拟煤层的建模；将建立的模型导入至Unity3D中，作为整个综采工作面“三机”的初始场景，将装备开采过程中的历史运行信息接入场景中，提取煤机装备运行关键信息作为初始运行的数据驱动来源；将装备运行数据进行集中迭代训练，采用分布式控制方式获得装备运行的决策信息，最终在决策结果的控制下实现采煤机智能体的调速、滚筒调高、推进，刮板输送机智能体自适应弯曲与推演下一循环开采轨迹，液压支架智能体的推溜、移架、升/降柱、伸/收互帮板以及智能体间的纠架，根据采煤机的截割信息进行煤层的更新；以上所述的“三机”为液压支架、刮板输送机和采煤机，所建立的煤机装备智能体为采煤机智能体、液压支架智能体群、刮板输送机智能体。2.根据权利要求1所述的基于多智能体深度强化学习的虚拟综采生产系统推演方法，其特征在于：在虚拟环境下，对煤机装备智能体的运动进行决策，实现综采工作面“三机”协同推进过程，包括以下步骤：(1)利用Unity3D的Ml
‑
Agents插件构建运行环境，确定各智能体关于自身的信息以及关于其他智能体的信息，即自身的关节信息、在虚拟煤层上的方位信息、自身的关键运行动作信息，与其他智能体间的相对方位信息及其他智能体的自身的位置信息、关键运行动作信息；(2)煤机装备智能体根据当前的煤层环境以及装备间的相对状态信息进行选择并执行各自的动作，进而影响环境状态的转移与更新，该过程通过<S,A1,
…
,A
n
,T,R1,
…
,R
n
>分别表示状态集合(S)，动作集合(A
i
)，奖励集合(R
i
)，状态转移的概率(T)；(3)利用Unity3D中机器学习的“好奇心选项”，建立单个智能体的累积奖励机制如下:将s
t
，a
t
，s
t+1
，输出为通过输入的s
t
，a
t
预测下一个状态与s
t+1
的差距，差距越大，a
t
对未知状态的好奇心越大，奖励越大；通过训练一个过滤器，将一些与煤机装备智能体行为无关的特性进行过滤，将过滤后的行为状态输入另外一个网络中，得到关的特性进行过滤，将过滤后的行为状态输入另外一个网络中，得到(4)将整个开采过程的期望效果，即保证安全开采的前提下，实现最大开采率这一期望记为Q(s,a)，并将其分解为局部Qi(si,ai)的加权和，煤机装备智能体均有各自的局部值函数，将综采工作面“三机”的开采目标分解为单个煤机装备的运行目标；(5)对单个煤机装备的运行决策过程进行整合，确定综采工作面“三机”运行的最大期望值，采用混合网络模块QMIX方法对单个煤机装备智能体的决策过程进行合并，最大化全局Qtot值对应的运行动作是各局部Qa值的组合；
(6)建立综采工作面“三机”多智能体在虚拟煤层上运行的全局Q值与单个设备的局部Q值的单调性约束关系，采用集中式的学...

【专利技术属性】
技术研发人员：王学文，李素华，谢嘉成，刘曙光，焦秀波，蔡宁，王振威，董梦瑶，郝梓翔，葛福祥，孟浩，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：