基于POMDP的受控无线网络系统动态资源分配方法技术方案

基于POMDP的受控无线网络系统动态资源分配方法，属于受控无线网络与通信资源分配领域。通过构造小区用户接入基站数的状态转移矩阵和反馈观测矩阵，计算用户信度状态概率和用户依据基站天线开启数所获得的传输速率，从而判决系统获得最大收益时的基站天线开启数与最优用户接入数，完成小区内最优资源分配。本发明专利技术是在小区中存在多个用户和一个多天线基站的情况下，分别以小区内用户接收功率最大和用户数据传输误码率最小，从而获得最大系统收益为目标，确定最终的基站天线开启数和用户接入基站数。本发明专利技术克服了能源过度消耗、小区基站负载较大、天线开启与用户接入数不匹配等问题。在提高用户接收功率、抗干扰和系统整体收益方面具有一定的优势。

【技术实现步骤摘要】

本专利技术涉及一种基于部分可观察马尔可夫决策过程（P0MDP)的受控无线通信网 络系统动态资源分配方法，通过P0MDP方法，设计一种有利于无线通信网络的资源分配的 选择方案，属于受控无线网络与通信资源分配研究的相关领域。
技术介绍
移动通信在近几十年来得到了迅猛发展，用户对无线通信网络的服务质量需求也 在不断提高，促使无线通信系统正在从2G、3G、B3G、4G以及5G演进，网络主体也将从语音主 导的网络向着高速数据为主导的网络转型。与此同时，移动多媒体业务对带宽的要求越来 越高，"宽带化"成为移动通信技术的发展趋势。目前，影响无线通信网络服务质量（Quality ofService，QoS)主要有以下三个方面：第一，无线移动通信网络的高动态性、用户位置的 随机改变带来的频繁切换操作和网络拓扑的易变性，将会导致数据传输速率和连通性的不 稳定；第二，无线通信网络的信道衰落和移动终端的功率或能量受限等特性，导致小区用户 接收到基站的功率损耗占有很大比重；第三，受基站和用户间的信道衰落、基站和用户的天 线开启数、用户的信噪比等影响，数据传输中的误码率也会受很大影响，从而影响数据链路 传输的可靠性。多年来，尽管业内对无线通信网络的设计算法等不断优化改进，提出了诸多 改善网络服务质量的方法，推动了无线通信网络设计向前发展，但始终无法彻底解决诸如 网络功耗损失、数据传输可靠性等问题，因此，基于传统的无线通信网络系统架构以及通信 分层协议体系的设计和部署已不能更有效解决这些矛盾。 在控制工程领域，反馈控制策略作为最基本的控制方法，成为闭环控制系统的核 心，对系统各个节点状态的控制、调节起到了至关重要的作用。反馈策略从提出之始，便在 工业系统的闭环控制、信息论以及信道编码等领域获得了广泛而深入的应用。借助于反馈 策略，控制系统本身具备了自调整、自适应和自镇定的能力，系统性能指标得到了全面的提 高。与此同时，无线网络控制系统（WirelessNetworkControlSystems,WNCS)的研究引 起国内外学者的高度关注。德国凯泽斯劳滕大学的L.Litz教授和A.Chamaken博士提出 将无线通信网络嵌入工业控制系统中，设计满足控制系统性能指标需求的系统架构、控制 算法以及无线通信网络架构和通信协议，从而提升系统的传感器、控制器和执行器之间对 信息的处理和对系统的控制，实现了对工业控制系统的预测和优化。意大利拉奎拉大学的 M.D.DiBenedetto等学者对WNCS设计有深入研究，他们提出了一个相关代价函数，利用该 函数，首先将控制系统的噪声、编码、调制方式以及系统功率等参数映射到无线网络中，然 后选择适当的无线网络类型，从而满足提升控制系统的鲁棒性和灵活性的需要。 部分可观察马尔可夫决策过程（P0MDP)是通过引入信念状态空间将非马尔可夫 链问题转化为马尔可夫链问题来求解，其最大的特点在于假设系统的状态信息不能直接观 测得到，是部分可知的，对只有不完全状态信息的系统建模，依据当前的不完全状态信息做 出决策，从而获得最大收益。这种状态转移模型更符合于无线通信网络场景中的部分状态 信息不完全可知，需要通过观测从而获得最优资源分配的特点。 综上所述，本专利技术的主要目的是引入控制反馈优化策略，将P0MDP模型应用于受 控无线通信网络系统，通过给定小区用户接入数构成的状态转移概率矩阵和反馈网络QoS 服务指标（用户接收功率和用户传输误码率）构成的观测概率矩阵，并根据某时刻的小区 用户接入状态（BeliefState)和对应的基站开启天线数的收益，从而预测判断下一时刻小 区用户最优接入数；同时，根据最大收益，判决此时刻小区基站天线开启数，最终达到小区 内基站天线、用户接入的最优资源分配。
技术实现思路
本专利技术的主要目的是在小区通信网络最优资源分配的角度上，考虑小区网络中存 在一个多天线基站和多个用户的情况下，以每时刻接入用户数与小区开启天线数动态资源 分配最优为优化目标，通过P0MDP模型以及控制反馈策略的应用，完成小区基站天线开启 与接入用户的最优资源分配策略。本方法解决了在小区网络中有多个天线的基站和多个通 信用户的情况下，如何选择确定最优资源分配的问题，并通过最优资源分配获得小区无线 通信网络系统的最大收益。 本专利技术所适应的小区环境场景模型见图1。 本专利技术技术方案中的系统运行原理流程图见图2。 本专利技术系统用户接收功率基站情况对比图见图3。 本专利技术系统误码率情况对比图见图4。 本专利技术系统小区内不同条件下平均收益对比图见图5。 本专利技术系统小区接入用户数情况与基站开启天线数对比图见图6。 本专利技术的小区环境场景模型示意图如图1所示，基于P0MDP的受控无线网络系统 动态资源分配方法，其特点在于：在某个通信小区内，包含有一个具有N根天线的基站和 M个单天线的用户，当已知小区用户接入数的状态转移概率矩阵和反馈网络QoS指标（用 户接收功率和用户传输误码率）的观测矩阵后，依据某一时刻用户接入数的信度状态概率 (beliefstate，BS)，从而获得此时刻具有最大收益的基站天线开启数和下一时刻小区用 户最优接入数，具体依次按以下步骤实现： 步骤（1)，系统初始化，根据实际情况有： 小区内包含有M个单天线用户，某一时刻，需要接入基站的用户数表示为Sl，s2，~ ，Sni，…，sM，Sni表示有m个用户接入基站，同时，包含有一个N根天线的基站，开启天线数表示 为1'1，1'2，~，1；，一，1；，1；表示基站开启11根天线。基站与各用户之间的传输带宽为8，信道 衰落系数均为hSiD，基站发送功率为Ptotal，各发送天线均相同，对应每根天线的发送功率P& =Ptotal/N，系统噪声功率表示为〇 ; 步骤（2)，构造用户接入基站数的状态转移矩阵：根据基站开启各个天线数，确定 小区内用户接入数的转移概率矩阵，当基站开启天线数为1；时，小区用户接入数转移概率 矩阵Sn可以表示为： 用Si表示当前时亥I」，用户接入基站数为i(l彡i彡M)个，s' .j表示下一时亥I」，用户 接入基站数为j(1 <j<M)个，Pu表示用户接入基站数从i个到j个的概率，其计算方法 表示如下： 当基站开启天线数为1；时，随机重复A次观测，观察用户接入数转移情况，当用户 接入基站数从i个转移到j个共有B(B<A)次时，概率Plj表示为： 步骤（3)，构造反馈观测矩阵：根据反馈控制策略，针对系统待优化的反馈QoS目 标，即用户接收功率和用户传输误码率，确定观测矩阵，具体步骤如下： 步骤（3. 1)，当开启天线数为!；，用户接入基站数为m时，计算用户接收功率，表示 为： 其中，基站的发射功率为Ptotal，每一根天线的发射功率可以表示为Ptl=Ptotal/N， ln为基站与用户之间的距离，Hn为用户天线当前第1页1 2 3 本文档来自技高网...

【技术保护点】
基于POMDP的受控无线网络系统动态资源分配方法，其特征在于：在某个通信小区内，包含有一个具有N根天线的基站和M个单天线的用户，当已知小区用户接入数的状态转移概率矩阵和反馈网络用户接收功率和数据传输误码率的QoS指标的观测矩阵后，依据某一时刻用户接入数的信度状态概率，从而获得此时刻具有最大收益的基站天线开启数和下一时刻小区用户最优接入数，具体依次按以下步骤实现：步骤(1)，系统初始化，根据实际情况有：小区内包含有M个单天线用户，某一时刻，需要接入基站的用户数表示为s1,s2,…,sm,…,sM，sm表示有m个用户接入基站，同时，包含有一个N根天线的基站，开启天线数表示为T1,T2,…,Tn,…,TN，Tn表示基站开启n根天线；基站与各用户之间的传输带宽为B，信道衰落系数均为hS,D，基站发送功率为Ptotal，各发送天线均相同，对应每根天线的发送功率Ptr＝Ptotal/N，系统噪声功率表示为σ；步骤(2)，构造用户接入基站数的状态转移矩阵：根据基站开启各个天线数，确定小区内用户接入数的转移概率矩阵，当基站开启天线数为Tn时，小区用户接入数转移概率矩阵Sn表示为：用si表示当前时刻，用户接入基站数为i个，其中1≤i≤M，s'j表示下一时刻，用户接入基站数为j个，其中1≤i≤M，pij表示用户接入基站数从i个到j个的概率，其计算方法表示如下：当基站开启天线数为Tn时，随机重复A次观测，观察用户接入数转移情况，当用户接入基站数从i个转移到j个共有B(B≤A)次时，概率pij表示为：pij=B{m=j}A;]]>步骤(3)，构造反馈观测矩阵：根据反馈控制策略，针对系统待优化的反馈QoS目标，即用户接收功率和用户传输误码率，确定观测矩阵，具体步骤如下：步骤(3.1)，当开启天线数为Tn，用户接入基站数为m时，计算用户接收功率，表示为：Puser_m=m·Tn·Ptr·(lnHn)-hS,D]]>其中，基站的发射功率为Ptotal，每一根天线的发射功率表示为Ptr＝Ptotal/N，ln为基站与用户之间的距离，Hn为用户天线高度，hS,D为路径衰落系数；步骤(3.2)，当开启天线数为Tn，用户接入基站数为m时，计算用户传输误码率：小区内用户接收基站发送数据的误码率会随用户接入数与基站开启数，以及路径损耗有关，因此，用户接收误码率表示为：Pe=(SNR)-(m·Tn)]]>SNR=10lg(1+Tn·Ptrσ2)]]>步骤(3.3)，当基站开启天线数为Tn时，根据用户接收功率和用户传输误码率，计算系统反馈观测概率矩阵On，表示为：其中，o1表示考虑用户接收功率所带来的影响，o2表示考虑数据传输误码率所带来的影响，ppm1表示在用户接入数是m个的情况下，满足用户接收功率的门限阈值α的概率，ppm2表示在用户接入数是m个的情况下，满足用户误码率的门限阈值β的概率，门限阈值α和β分别满足：0<α≤M·Tn·Ptr·(lnHn)-hS,D]]>(SNR)-(Tn)<β≤(SNR)-(M·Tn)]]>ppm1和ppm2的计算方法如下：ppml=1-δPuser_m≥aδPuser_m<a]]>ppm2=1-ϵPe>βϵPe≤β]]>其中，δ和ε分别满足：0＜δ≤1,0＜ε≤1步骤(4)，在完成步骤(1)‑步骤(3)构造用户数转移矩阵和反馈观测矩阵后，开始计算每一时刻的最优资源分配，按下式计算所述的用户信度状态概率，即根据天线开启数Tn所对应的状态转移矩阵Sn和反馈观测矩阵On，以及上一时刻k‑1的用户信度状态值b(s)nlm，计算此时刻k的bnlm值：bnlm=ηOn(ol|sm′,Tn)Σsm=s1sm=sMSn(sm′|sm,Tn)b(s)nlm]]>η＝1/Pr(o|b,T)Pr(o|b,T)=Σsm′=sI′sm′=sM′On(ol|sm′,Tn)Σsm=sIsm=sMSn(sm′|sm,Tn)b(s)nlm]]>其中，Sn(s'm|sm,Tn)表示在基站开启天线数为Tn时，用户接入数从sm转移到s'm的概率，On(ol|s'm,Tn)表示在基站开启天线数为Tn时，接入用户数s'm对应第l种反馈QoS优化目标的概率，l＝1或l＝2，η为中间变量，第一时刻的初始b(s...

【技术特征摘要】

【专利技术属性】
技术研发人员：张延华，李萌，闫玉玮，孙恩昌，司鹏搏，杨睿哲，孙艳华，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11