一种无线通信中性能切换与用户服务质量联合优化方法技术

本发明专利技术公开了一种无线通信中性能切换与用户服务质量联合优化方法。该方法首先将用户服务质量评价指标、切换性能评价指标与乒乓切换率结合作为切换参数优化问题的优化目标，再将此切换参数优化问题抽象为马尔科夫决策过程，然后利用无模型的强化学习方法，通过基站本身与网络环境的交互，对每一个状态‑动作对训练得到一个Q值来评估在特定网络状态下使用特定切换参数组合所获得的奖励期望值，最后根据训练好的策略对后续切换参数组合进行选择使得综合切换性能最优。本发明专利技术所述方法能够在保证网络切换性能的同时提升用户的吞吐量。

【技术实现步骤摘要】
一种无线通信中性能切换与用户服务质量联合优化方法
本专利技术属于无线通信中的切换技术，具体涉及一种无线通信中性能切换与用户服务质量联合优化方法。
技术介绍
移动鲁棒性优化(MobilityRobustnessOptimization,MRO)能够根据网络环境自动调整网络中的切换参数—切换迟滞(HandoverMargin,HOM)和触发时间(Time-to-Trigger,TTT)，以提升网络的切换性能。现有的切换参数优化方法中通常忽视了用户服务质量，会出现即使网络性能达到最优，但是数据传输速率较低的情况。本专利技术中采用基于强化学习的切换性能与用户服务质量联合优化方法，该方法能够通过基站与环境交互的方式自动地学习参数调整策略以优化网络切换性能与用户服务质量，在保证切换性能的同时提升用户平均吞吐量。
技术实现思路
专利技术目的：针对上述现有技术中切换参数优化导致的数据传输速率低等问题，本专利技术提供一种无线通信中性能切换与用户服务质量联合优化方法。为实现上述目的，本专利技术所提供的技术方案如下：<br>一种无线通信中本文档来自技高网...

【技术保护点】
1.一种无线通信中性能切换与用户服务质量联合优化方法，其特征在于，所述方法基于强化学习过程，首先将用户服务质量评价指标、切换性能评价指标和乒乓切换率结合作为切换参数的优化目标，然后将切换参数优化抽象为马尔科夫决策过程，通过无模型进行强化学习，通过基站本身与网络环境的交互，对每一个状态-动作对训练得到一个Q值来评估在当前网络状态下使用对应的切换参数组合所获得的奖励期望值，最后根据训练好的策略对后续切换参数组合进行选择，以提高无线通信系统的切换性能。/n

【技术特征摘要】
1.一种无线通信中性能切换与用户服务质量联合优化方法，其特征在于，所述方法基于强化学习过程，首先将用户服务质量评价指标、切换性能评价指标和乒乓切换率结合作为切换参数的优化目标，然后将切换参数优化抽象为马尔科夫决策过程，通过无模型进行强化学习，通过基站本身与网络环境的交互，对每一个状态-动作对训练得到一个Q值来评估在当前网络状态下使用对应的切换参数组合所获得的奖励期望值，最后根据训练好的策略对后续切换参数组合进行选择，以提高无线通信系统的切换性能。


2.根据权利要求1所述的无线通信中性能切换与用户服务质量联合优化方法，其特征在于，包括如下步骤：
(1)采集网络信息，并初始化切换参数，所述的切换参数为切换迟滞参数HOM和切换触发时间TTT，并初始化自定义优化周期T和始化化Q学习参数；
(2)通过强化学习获得最优切换参数选取策略π*(s)，使在特定网络状态s下选取未来切换性能最优的切换参数组合a；具体步骤如下：
(21)初始化t＝1，由基站统计上一优化周期内的切换性能指标，包括切换失败率、乒乓切换率和用户服务质量评价指标，得到状态st；
(22)在当前切换性能指标状态st下，通过ε-贪心法根据Q表选取切换参数组合HOM-TTT，记为at；
(23)将原切换参数组合替换为at直至下一优化周期结束的t+1时刻；
(24)令t＝t+1，重复步骤(21)，得到当前优化周期内切换性能指标集合，记为st+1，并由空间状态及回报函数计算得所选切换参数组合相较原切换参数组合获得的回报rt+1；
(25)根据切换参数替换后转移至的状态st+1与获得的回报rt+1更新Q(st,at)，计算表达式如下：



其中，α∈[0,1]为学习速率，用于衡量之前训练结果与未来训练结果的保留比重；γ∈...

【专利技术属性】
技术研发人员：潘志文，曹琪，刘楠，尤肖虎，
申请(专利权)人：东南大学，网络通信与安全紫金山实验室，
类型：发明
国别省市：江苏;32