本发明专利技术提供一种货运列车运行控制方法、装置、电子设备及存储介质，涉及轨道交通技术领域，所述方法包括：对货运列车运行的初始状态进行编码处理，获取与初始状态相对应的特征编码；将特征编码输入强化学习模型，获取强化学习模型输出的目标控制级位；基于目标控制级位控制货运列车运行；其中，强化学习模型是以最小化货运列车的运行能耗和车钩力为目标构建的。本发明专利技术通过基于强化学习模型获取目标控制级位来控制货运列车运行，由于强化学习模型是以最小化货运列车的运行能耗和车钩力为目标构建的，则由强化学习模型得到的目标控制级位可以保证货运列车在运行安全的前提下降低货运列车的运行能耗，并提高货运列车的运输效率。率。率。
【技术实现步骤摘要】
货运列车运行控制方法、装置、电子设备及存储介质
[0001]本专利技术涉及轨道交通
，尤其涉及一种货运列车运行控制方法、装置、电子设备及存储介质。
技术介绍
[0002]货运列车作为货运铁路的承运工具，其安全和高效地运行是关乎货运铁路运输效能的重要因素。
[0003]目前货运列车运行依靠人工驾驶，但由于货运列车编组多、长度大，并且牵引制动响应时间长，故驾驶操作难度大，对货运列车驾驶员的驾驶操作技术要求较高，而且货运列车驾驶员频繁操作导致能耗和设备损耗严重。同时，复杂的线路条件也对货运列车的运输效率产生了一定的影响。
[0004]因此，如何在保证货运列车运行安全的前提下提高货运列车的运输效率，降低运行能耗，成为业界亟需解决的问题。
技术实现思路
[0005]针对现有技术存在的问题，本专利技术提供一种货运列车运行控制方法、装置、电子设备及存储介质。
[0006]第一方面，本专利技术提供一种货运列车运行控制方法，包括：
[0007]对货运列车运行的初始状态进行编码处理，获取与所述初始状态相对应的特征编码；
[0008]将所述特征编码输入强化学习模型，获取所述强化学习模型输出的目标控制级位；
[0009]基于所述目标控制级位控制所述货运列车运行；
[0010]其中，所述强化学习模型是以最小化所述货运列车的运行能耗和车钩力为目标构建的。
[0011]可选地，根据本专利技术提供的一种货运列车运行控制方法，在所述对货运列车运行的初始状态进行编码处理，获取与所述初始状态相对应的特征编码之前，所述方法还包括：
[0012]确定所述货运列车运行的初始状态，所述初始状态包括所述货运列车的初始运行速度和初始位置。
[0013]可选地，根据本专利技术提供的一种货运列车运行控制方法，所述对货运列车运行的初始状态进行编码处理，获取与所述初始状态相对应的特征编码，包括：
[0014]对所述货运列车的初始运行速度和初始位置进行网格离散化，获取多个瓦片；
[0015]基于瓦片编码方法分别对各瓦片进行编码，获取与各瓦片分别对应的编码数据；
[0016]基于多个所述编码数据，生成与所述初始运行速度和初始位置相对应的特征编码。
[0017]可选地，根据本专利技术提供的一种货运列车运行控制方法，所述强化学习模型是由
携带有经验回放的卷积神经网络构建的。
[0018]可选地，根据本专利技术提供的一种货运列车运行控制方法，所述强化学习模型包括训练网络、目标网络和经验回放池；所述训练网络和所述目标网络均是基于相同结构的所述卷积神经网络构建的；
[0019]所述强化学习模型的求解过程包括：
[0020]基于所述货运列车的运行状态，通过所述训练网络、所述目标网络和所述经验回放池至少执行一次智能体与环境的交互过程；
[0021]在所述智能体与环境交互的回合数达到预设的最大回合数的情况下，获取所述强化学习模型输出的目标控制级位。
[0022]可选地，根据本专利技术提供的一种货运列车运行控制方法，一次所述智能体与环境的交互过程包括：
[0023]基于所述货运列车的运行状态，初始化所述强化学习模型的初始状态，利用ε
‑
greedy算法获取与所述强化学习模型的初始状态相对应的动作，所述动作用于表征所述强化学习模型在当前状态下输出的控制级位；
[0024]执行所述动作，获取所述强化学习模型的初始状态的下一个状态，以及与所述下一个状态相对应的收益，所述收益用于表征所述货运列车的运行能耗和车钩力；
[0025]将所述初始状态对应的特征编码、所述动作、所述下一个状态对应的收益，以及所述下一个状态对应的特征编码进行组合后存储至所述经验回放池中；
[0026]从所述经验回放池中随机采样预设数目个目标样本，基于所述目标样本和均方差损失函数更新所述训练网络的网络参数，并间隔预设网络参数更新周期，基于所述训练网络的网络参数更新所述目标网络的网络参数。
[0027]可选地，根据本专利技术提供的一种货运列车运行控制方法，所述基于所述目标控制级位控制所述货运列车运行，包括：
[0028]基于所述目标控制级位，控制列车执行器系统输出与所述目标控制级位相对应的目标牵引制动等级；
[0029]基于所述目标牵引制动等级，对所述货运列车的运行速度与位置进行控制。
[0030]第二方面，本专利技术还提供一种货运列车运行控制装置，包括：
[0031]编码模块，用于对货运列车运行的初始状态进行编码处理，获取与所述初始状态相对应的特征编码；
[0032]获取模块，用于将所述特征编码输入强化学习模型，获取所述强化学习模型输出的目标控制级位；
[0033]控制模块，用于基于所述目标控制级位控制所述货运列车运行；
[0034]其中，所述强化学习模型是以最小化所述货运列车的运行能耗和车钩力为目标构建的。
[0035]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述货运列车运行控制方法。
[0036]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述货运列车运行控制方法。
[0037]第五方面，本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述货运列车运行控制方法。
[0038]本专利技术提供的货运列车运行控制方法、装置、电子设备及存储介质，通过对货运列车运行的初始状态进行编码，将编码后得到的特征编码输入强化学习模型获取目标控制级位，进而基于目标控制级位控制货运列车运行，由于强化学习模型是以最小化货运列车的运行能耗和车钩力为目标构建的，则由强化学习模型得到的目标控制级位可以保证货运列车在运行安全的前提下降低货运列车的运行能耗，并提高货运列车的运输效率。
附图说明
[0039]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是本专利技术提供的货运列车运行控制方法的流程示意图；
[0041]图2是本专利技术提供的瓦片编码的示意图；
[0042]图3是本专利技术提供的卷积神经网络的结构示意图；
[0043]图4是本专利技术提供的货运列车运行控制强化学习模型的架构示意图之一；
[0044]图5是本专利技术提供的货运列车运行控制强化学习模型的架构示意图之二；
[0045]图6是本专利技术提供的货运列车运行控制装置的结构示意图；
[0046]图7是本专利技术提供的电子设备的实体结构示意图。
具体实施方式
[0047]为本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种货运列车运行控制方法，其特征在于，包括：对货运列车运行的初始状态进行编码处理，获取与所述初始状态相对应的特征编码；将所述特征编码输入强化学习模型，获取所述强化学习模型输出的目标控制级位；基于所述目标控制级位控制所述货运列车运行；其中，所述强化学习模型是以最小化所述货运列车的运行能耗和车钩力为目标构建的。2.根据权利要求1所述的货运列车运行控制方法，其特征在于，在所述对货运列车运行的初始状态进行编码处理，获取与所述初始状态相对应的特征编码之前，所述方法还包括：确定所述货运列车运行的初始状态，所述初始状态包括所述货运列车的初始运行速度和初始位置。3.根据权利要求2所述的货运列车运行控制方法，其特征在于，所述对货运列车运行的初始状态进行编码处理，获取与所述初始状态相对应的特征编码，包括：对所述货运列车的初始运行速度和初始位置进行网格离散化，获取多个瓦片；基于瓦片编码方法分别对各瓦片进行编码，获取与各瓦片分别对应的编码数据；基于多个所述编码数据，生成与所述初始运行速度和初始位置相对应的特征编码。4.根据权利要求1所述的货运列车运行控制方法，其特征在于，所述强化学习模型是由携带有经验回放的卷积神经网络构建的。5.根据权利要求4所述的货运列车运行控制方法，其特征在于，所述强化学习模型包括训练网络、目标网络和经验回放池；所述训练网络和所述目标网络均是基于相同结构的所述卷积神经网络构建的；所述强化学习模型的求解过程包括：基于所述货运列车的运行状态，通过所述训练网络、所述目标网络和所述经验回放池至少执行一次智能体与环境的交互过程；在所述智能体与环境交互的回合数达到预设的最大回合数的情况下，获取所述强化学习模型输出的目标控制级位。6.根据权利要求5所述的货运列车运行控制方法，其特征在于，一次所述智能体与环境的交互过程包括：基于所述货运列车的运行状态，初始化所述强化学习模型的初始状态，利用ε
‑
greedy算法获取与所述强化学习模型的初始状态...
【专利技术属性】
技术研发人员：陈斌，李申，宋亚京，张蕾，
申请(专利权)人：交控科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。