一种基于近端策略的铁路纵断面设计学习模型的构建方法技术

本发明专利技术公开了一种基于近端策略的铁路纵断面设计学习模型的构建方法，涉及深度强化学习理论在铁路智能选线领域的应用，是一种基于近端策略算法(Proximal Policy Optimization，PPO)的铁路纵断面方案智能设计方法。发明专利技术构建了基于近端策略优化的铁路纵断面设计学习模型，结合铁路纵断面切割线模型以及深度强化学习理论，定义了切割线模型中的状态向量、动作向量，利用奖励函数处理了铁路纵断面设计中的各种约束，同时给出了铁路纵断面成本奖励函数的形式。自动优化后的纵断面方案能综合考虑工程费用和运营环境，较好地绕避障碍物和适应地形，为工程设计人员提供前期设计参考。参考。参考。

【技术实现步骤摘要】
一种基于近端策略的铁路纵断面设计学习模型的构建方法


[0001]本专利技术涉及深度强化学习理论在铁路智能选线领域的应用，是一种基于近端策略算法(Proximal Policy Optimization，PPO)的铁路纵断面方案智能设计方法。

技术介绍

[0002]强化学习是一种通过智能体与环境交互的过程中，不断学习和优化策略来最大化奖励或者实现特定目标的机器学习方法。传统的强化学习方法一般利用价值迭代、策略迭代、Q学习来求解贝尔曼最优方程。当待解决的问题所涉及的环境特别复杂的时候，智能体所处理的信息会不断增大，如果继续采用上述方法，迭代过程则会十分复杂和漫长。随着近年来深度学习的急速发展，运用深度学习的非线性特点来求解强化学习问题，则逐渐流行开来，形成了深度强化学习理论，发展出了不同的深度强化学习算法，这些深度强化学习方法已经在Atari游戏、路径规划、机器人控制等研究领域得到广泛应用，其中近端策略优化算法应用最普遍。

技术实现思路

[0003]本专利技术利用强化学习理论，构建了基于近端策略优化算法的纵断面设计学习模型，主要专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于近端策略的铁路纵断面设计学习模型的构建方法，其特征在于，包括以下步骤：步骤1、根据纵断面切割线模型，确定切割线初始位置和变坡点位置；步骤2、确定优化目标、约束条件；步骤3、确定近端策略优化算法(PPO)的奖励函数，构建铁路纵断面设计学习模型，进行方案优化求解。2.根据权利要求1所述的一种基于近端策略的铁路纵断面设计学习模型的构建方法，其特征在于，步骤1中所述纵断面切割线模型，指在平面直角坐标系以平面里程为S轴，以高程为Z轴；线路起点是S(S
S
,Z
s
)，终点是E(S
E
,Z
E
)，两点距离l
s
＝S
E
‑
S
S
；假定纵断面初始方案有M个变坡点，等间距地作垂直于S轴的M1,M2,L,M
M
共M条切割线，相邻两切割线初始间距d
s
＝l
s
/(M+1)，令切割线与基线的交点为B
m
(m＝1,2,L,M)，其在S
‑
Z坐标系下的坐标为Z坐标系下的坐标为Z坐标系下的坐标为建立以B
m
(m＝1,2,L,M)点为原点的s
‑
z坐标系，s
‑
z坐标系是相对于S
‑
Z坐标系的局部坐标系，变坡点VI
m
(m＝1,2,L,M)在s
‑
z坐标系下的坐标为(s
m
,z
m
)，而在S
‑
Z坐标系下变坡点的坐标为(S
m
,Z
m
)：3.根据权利要求1所述的一种基于近端策略的铁路纵断面设计学习模型的构建方法，其特征在于，步骤2中所述优化目标包括土石方、桥梁和隧道造价，步骤2中所诉的约束条件指的是设计结果符合行业设计规范：方案的坡长、坡度、坡度差满足要求的范围，方案中线形会经过起终点和控制点处、缓和曲线与竖曲线不重叠。4.根据权利要求1所述的一种基于近端策略的铁路纵断面设计学习模型的构建方法，其特征在于，步骤3中所诉的铁路纵断面设计学习模型，考虑变坡点数量、变坡点里程、变坡点高程以及起终点高程作为设计变量，并定义了PPO算法相应的强化学习要素：纵断面切割线模型基于强化学习理论，定义的强化学习要素，包括状态向量(s)、动作向量(a)和奖励函数值(r)。5.根据权利要求4所述的一种基于近端策略的铁路纵断面设计学习模型的构建方法，其特征在于，纵断面切割线模型的状态向量(s)和动作向量(a)指的是：每个方案的约束条件有坡长M+1个，坡度M+1个，坡度差M个，起终点3个(包含起终点连线的坡度)，控制点N
c
个(取决于设计时的控制点数目)，缓和曲线与竖曲线重叠N
h
个(N
h
为缓和曲线数和竖曲线数中的较大值)，定义某方案违约数变量f为该方案违背约束的计数，则f的最大值f
max
＝3M+5+N
c
+N
h
，以M
max
表示最大变坡点个数，l
s
＝S
E
‑
S
S
为起终点的距离，Z
...

【专利技术属性】
技术研发人员：缪鹍，戴炎林，况卫，周启航，肖智，王介源，
申请(专利权)人：中南大学，
类型：发明
国别省市：