基于强化学习的LTE-R切换参数选择方法技术

本发明专利技术公开了一种基于强化学习的LTE‑R切换参数选择方法。当列车在相邻两个基站之间进行越区切换时，本发明专利技术依据不同事件下的切换算法，构建对应的状态集合S和动作集合A，通过获取历史不同速度、不同参数下的切换成功率作为经验值，利用强化学习的方法对经验值进行学习，选择合理的切换算法和切换参数，以达到最优切换性能，提高LTE‑R系统的切换成功率和平均吞吐量。本发明专利技术克服了现有切换机制中切换参数一旦设定就保持不变，从而影响切换参数准确性的不足，能够在列车速度发生改变时实现动态更新切换参数，具有自适应性，保证LTE‑R系统具有最优的切换性能。

Selection of lte-r switching parameters based on Reinforcement Learning

【技术实现步骤摘要】
基于强化学习的LTE-R切换参数选择方法
本专利技术涉及认知无线电与智能交通
，尤其涉及一种基于LTE-R系统的切换算法中的切换机制和切换算法以及机器学习。
技术介绍
目前，GSM-R(GlobalSystemforMobileCommunications–Railway)铁路无线通信系统技术标准已经在我国铁路无线通信中取得了成熟的应用。但随着列车无线通信需求的提高，也对铁路无线通信技术提出更高要求。基于LTE技术标准的LTE-R铁路通信技术标准是下一代无线铁路通信的首选。LTE-R通信技术具有服务能力更高，技术更加成熟，安全性能更强等优势。目前，我国高铁列车运行速度已经可以达到350km/h，列车中的用户由于快速移动带来的多普勒效应对越区切换时的测量和判决将会产生很大影响。由于LTE-R标准遵从LTE技术标准，因此，当用户移动速度过快时，LTE-R技术的切换性能将明显下降。另外，由于LTE-R技术标准中的基站拓扑架设结构不同于目前的商用基站拓扑结构，其覆盖范围和重叠区域等因素，将会造成乒乓效应，过早、过晚切换等问题。因此，合理设本文档来自技高网...

【技术保护点】
1.一种基于强化学习的LTE-R切换参数选择方法，其特征在于包括以下步骤：/n（1）依据LTE-R结构，建立基站的拓扑架构；/n（2）依据不同事件下的切换算法，构建对应的状态集合S和动作集合A，所述状态集合S和动作集合A的结构相同，集合的元素包括LTE-R结构中切换参数的阈值、偏置值、切换触发时间和裕度；/n（3）分别构建切换成功率的集合R和值函数Q，所述R、Q的维度与集合S和集合A的维度相同，对R和Q进行全零值的初始化；/n（4）以步骤（2）构建的状态集合S和动作集合A为切换参数选择依据，在步骤（1）构建的基站中进行切换参数选择试验，得到在所有状态S下选择不同参数A的切换成功率的集合R的全部...

【技术特征摘要】
1.一种基于强化学习的LTE-R切换参数选择方法，其特征在于包括以下步骤：
（1）依据LTE-R结构，建立基站的拓扑架构；
（2）依据不同事件下的切换算法，构建对应的状态集合S和动作集合A，所述状态集合S和动作集合A的结构相同，集合的元素包括LTE-R结构中切换参数的阈值、偏置值、切换触发时间和裕度；
（3）分别构建切换成功率的集合R和值函数Q，所述R、Q的维度与集合S和集合A的维度相同，对R和Q进行全零值的初始化；
（4）以步骤（2）构建的状态集合S和动作集合A为切换参数选择依据，在步骤（1）构建的基站中进行切换参数选择试验，得到在所有状态S下选择不同参数A的切换成功率的集合R的全部值；
（5）利用强化学习中的算法，以切换成功率的集合R为回报值函数R，输入集合S，A，R进行运算处理，更新所对应值函数Q的值，以找到R中最大值为目标进行学习，当找到回报值函数R的最大值时，学习结束；
（6）输出学习结束后的值函数Q，以值函数Q集合中的最大值所对应的切换参数为在当前环境下学习得到的切换参数；
（7）将步骤（6）得到的切换参数应用到LTE-R系统的切换算法中。


2.根据权利要求1所述的一种基于强化学习的LTE-R切换参数选择方法，其特征在于：所述的不...

【专利技术属性】
技术研发人员：吴澄，盛洁，汪一鸣，蔡兴强，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏;32