基于马尔科夫决策过程的网络选择方法及装置制造方法及图纸

本发明专利技术实施例提供一种基于马尔科夫决策过程的网络选择方法及装置，所述方法包括：建立马尔科夫决策过程模型，并确定终端选择网络的状态空间、行为空间和转移概率；获取每一网络的网络性能归一化权重向量，以及预先设置的服务质量性能指标权重向量；根据网络性能归一化权重向量、服务质量性能指标权重向量、状态空间和行为空间，获取转移收益；根据转移收益和转移概率，获取长期收益最大时对应的系统状态，得到终端选择网络的结果。本发明专利技术实施例提供的基于马尔科夫决策过程的网络选择方法及装置，充分考虑终端任务在不同服务质量下的性能需求差异，来获取转移收益，并且考虑系统的长期收益，计算系统最大收益时的系统状态，得到终端网络选择方案。

Network selection method and device based on Markov decision process

【技术实现步骤摘要】
基于马尔科夫决策过程的网络选择方法及装置
本专利技术涉及5G超密集网络和异构网络
，尤其涉及一种基于马尔科夫决策过程的网络选择方法及装置。
技术介绍
随着移动互联网和物联网的快速发展，移动通信业务增长迅速，预计到2021年，全球移动数据业务量将增长7倍。与2010年相比，蜂窝无线网络在2020年将面临着1000倍的数据量挑战。为满足数据流量的高速增长、海量设备连接以及不断涌现的新业务和新应用需求，提出了新一代5G移动网络的部署需要。5G移动网络具有更高的数据流量、用户体验速率、海量终端连接以及更低时延、更高可靠性等特征。通过在室内外热点区域密集部署低功率小基站，形成超密集网络，是解决5G移动网络数据流量爆炸式增长有效解决方案。在这样的无线环境中，用户在任何时候选择最佳的接入网都是一个重要的问题。网络选择方案是影响用户体验和网络整体资源利用率的重要因素。LTE-A场景中，有许多工作已经对该问题展开了深入的研究。从不同的角度来考虑了网络选择问题以实现系统的QoS最优化。一些方案中，采用终端获得功率强度、信干噪比或传输速率，来实现用户收益最大化。另一些方案中，同时考虑终端侧和网络侧，本文档来自技高网...

【技术保护点】
1.一种基于马尔科夫决策过程的网络选择方法，其特征在于，包括：根据超密集接入网系统的当前状态信息，建立马尔科夫决策过程模型，并确定终端选择网络的状态空间、行为空间和转移概率；获取所述超密集接入网系统中每一网络的网络性能归一化权重向量，以及预先设置的服务质量性能指标权重向量；根据所述网络性能归一化权重向量、所述服务质量性能指标权重向量、所述状态空间和所述行为空间，获取每一动作下，从一个状态转移到另一个状态的转移收益；根据所述转移收益和所述转移概率，获取长期收益最大时对应的系统状态，得到终端选择网络的结果。

【技术特征摘要】
1.一种基于马尔科夫决策过程的网络选择方法，其特征在于，包括：根据超密集接入网系统的当前状态信息，建立马尔科夫决策过程模型，并确定终端选择网络的状态空间、行为空间和转移概率；获取所述超密集接入网系统中每一网络的网络性能归一化权重向量，以及预先设置的服务质量性能指标权重向量；根据所述网络性能归一化权重向量、所述服务质量性能指标权重向量、所述状态空间和所述行为空间，获取每一动作下，从一个状态转移到另一个状态的转移收益；根据所述转移收益和所述转移概率，获取长期收益最大时对应的系统状态，得到终端选择网络的结果。2.根据权利要求1所述的基于马尔科夫决策过程的网络选择方法，其特征在于，所述当前状态信息包含超密集接入网系统包含的接入网络，以及每一接入网络的最大负载用户数。3.根据权利要求1所述的基于马尔科夫决策过程的网络选择方法，其特征在于，所述状态空间中包含若干种状态，每一状态表示一种可能的网络选择结果。4.根据权利要求1所述的基于马尔科夫决策过程的网络选择方法，其特征在于，所述马尔科夫决策过程模型中终端到达接入网络服从独立泊松分布，终端离开接入网络也服从独立泊松分布。5.一种基于马尔科夫决策过程的网络选择装置，其特征在于，包括：模型构建模块，用于根据超密集接入网系统的当前状态信息，建立马尔科夫决策过程模型，并确定终端选择网络的状态空间、行为空间和转移概率；网络性能获取模块，用于获取所述超密集接入...

【专利技术属性】
技术研发人员：陈莹，唐超，陈昕，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：北京,11