山区铁路线路优化的深度强化学习方法技术

本发明专利技术提出了一种山区铁路线路优化的深度强化学习方法，属于通信技术领域。本发明专利技术从组合优化的角度对提出了一种基于深度强化学习的山区铁路线路优化新框架，称为深度确定性政策梯度，重新设计了目标函数、环境、状态和动作，同时考虑各种对齐约束，深度确定性政策梯度模型生成铁路线形解决方案，无需预先确定交叉口或HPI的垂直点数量，也无需首先找到初始走廊。本发明专利技术深度确定性政策梯度模型生成铁路线形解决方案，无需预先确定交叉口或HPI的垂直点数量，也无需首先找到初始走廊，提高了运算效率。算效率。算效率。

Deep reinforcement learning method for railway route optimization in Mountainous Areas

【技术实现步骤摘要】
山区铁路线路优化的深度强化学习方法


[0001]本专利技术属于无线通信
，尤其涉及一种山区铁路线路优化深度强化学习方法。

技术介绍

[0002]最近，中南大学的研究人员在考虑建设成本、地震风险和地质灾害的情况下，提出了山 区铁路线路的优化方法。一些学者在2019年结合改进的距离变换和遗传算法从各种有前途的 替代品中获得精确的比对。随后，这些学者在2019年创造性地将逐步和混合粒子群算法与遗 传算法相结合，用于山区铁路路径规划，采用逐步粒子群算法满足各种铁路约束条件，降低 综合成本。上述研究能很好地处理铁路建设成本和多种约束条件，并从环境和地质灾害两方 面考虑了其影响。一些学者考虑了地震风险和三种类型的地质灾害，即山体滑坡、泥石流和 落石，以设计更安全的铁路路线。

技术实现思路

[0003]本专利技术的目的提出了一种山区铁路线路优化的深度强化学习方法，基于深度强化学习的 山区铁路线路优化新框架，称为深度确定性政策梯度，其中我们重新设计了基于深度强化学 习算法的目标函数、环境、状态和动作，同时考虑了各种对齐约束。深度确定性政策本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种山区铁路线路优化的深度强化学习方法，其特征在于，其包括如下步骤：S1：将优化下的铁路路线表示为有一个N个状态过渡步骤的事件，其中状态的第i步骤结尾的空间被定义为S；S2：在S
i
和S
i+1
之间所采取的操作A
i
，动作Ai从A表示的动作空间中选择；S3：根据S
i
，A
i
与S
i
+1的关系，计算下一个状态S
i
+1；S4：通过采取A
i
操作，可以将代理的状态从S
i
转换为S
i
+1，Ri表示在从S
i
到S
i
+1的状态过渡过程，评估其单位建设成本和其他项目的奖励；S5：被添加到奖励中函数，其中表示生存状态，以确保代理能够在满足所有约束的同时找到端点。2.根据权利要求1所述山区铁路线路优化的深度强化学习方法，其特征在于，所述S1中，第i步骤结尾的空间被定义为Si如下表示：S＝{[x
i
，y
i
，h
i
，x
i
‑1，y
i
‑1，h
i
‑1，x
i
‑2，y
i
‑2，h
i
‑2]
T
|x
i
∈[0，W]，y
i
∈[0，H]}其中，i＝1，2，
…
，N；xi和yi为水平坐标；i＝1，2，
…
，N；χ
i
和y
i
为水平坐标，h
i
为第i步骤结束时代理的高度，W和H分别为水平坐标中目标区域的宽度和高度的上界。3.根据权利按要求2所述山区铁路线路优化的深度强化学习方法，其特征在于，当i＝1时，所述代理位于铁路路线的起点。4.根据权利要求2所述山区铁路线路优化的深度强化学习方法，其特征在于，所述步骤S1中，满足以下的约束条件：所述水平平面的约束条件如下：在水平平面上的一条圆形曲线的长度应超过L
Cmin
，它可以表示为：L
Cmin
‑
α
i
R
i
≤0，其中R
i
为(i+1)步骤后水平曲线的半径，满足R
min
‑
R
i
≤0；相邻两条水平曲线之间的切线长度Lci
i
至少为：L
Tmin
‑
L
Ti
≤0所述垂直平面的约束条件如下：其中，垂直平面上的约束包括垂直梯度、坡度截面长度和相邻梯度之间的代数差异；垂直平面上的梯度G
i
应小于最大允许梯度G
max
，表示为下式：坡断面长度不小于L
Smin
最小值，表示为下式：
相邻梯度之间的代数差异最大值不应超过ΔG
max
，表示为下式：|G
i+1
‑
G
i
|≤ΔG
max
；所述不同结构的约束条件如下：每一个过渡步骤后，代理应根据路基隧道边界深和路基桥边界高设置相应的铁路基础设施，包括路基、隧道、桥梁，对这些铁路基...

【专利技术属性】
技术研发人员：蔡长青，汤铭柯，贾羽彤，彭俊源，甘淞宇，
申请(专利权)人：广州大学，
类型：发明
国别省市：