一种基于连续状态空间的认知无线电接入问题新型算法模型制造技术

本发明专利技术属于认知无线电、智能算法优化领域。当前，随着无线通信技术及其应用的发展，无线网频谱资源已几乎被分配殆尽，但其实际利用率又极低。针对该问题，现有的智能求解算法模型存在如下问题：1.无法使用连续状态空间进行决策；2.无法兼顾功率分配与信道分配的综合决策；3.算法复杂度高。为此，本发明专利技术使用基于连续状态空间的POMDP模型为无线网功率、信道分配问题建模，并通过MCVI算法进行决策。为加快算法运行速度，使用NSGA2算法对其进行优化。主要发明专利技术点包括：1.功率状态空间使用连续实数空间进行决策；2.使用基于连续状态空间的POMDP模型为无线网功率、信道分配问题建模；3.使用NSGA2改进MCVI算法并使用改进后的算法解决认知无线电接入问题。

【技术实现步骤摘要】
一种基于连续状态空间的认知无线电接入问题新型算法模型
本专利技术主要针对基于功率、信道分配的无线网接入决策算法模型进行设计。涉及无线网功率、信道分配、部分可观察马尔科夫模型（PartiallyObservableMarkovDecisionProcess,POMDP）、非支配排序遗传算法（Non-dominatedSortinggeneticalgorithm,NSGA2）、蒙特卡罗值迭代算法（MonteCarloValueIteration,MCVI）。旨在通过一种新型的算法模型，解决带功率分配的无线网信道接入决策问题，提高局部范围内无线网吞吐量。属于认知无线电、智能算法优化领域。
技术介绍
当前，随着无线通信技术及其应用的发展，许多应用领域对无线网传输的速率和质量都提出了较高的要求。但由于无线设备增长速度迅猛，有限的无线网频带已无法满足需求，由此显现出如下3个重要挑战：1．如何解决网络资源几乎被分配殆尽但实际利用率又极低的矛盾；2．存在多个无线网络时，如何能快速建立不同网络用户间的通信信道，并能满足用户一定的服务质量（QoS,qualityofservice）要求；3．如何在复杂网络环境下，使通信终端完成无线网络自适应接入，从而提高网络运行的稳健性和网络维护的效率。在以往算法设计中，主要通过博弈算法、经验公式等方法解决上述问题，但这类方法适应性较差，在不同网络传输环境下需要进行较大改动，降低了执行与决策效率。而在一些使用智能算法的方案中虽然弥补了适应性差的缺陷，但也存在如下问题:1．难以解决连续状态空间下的智能决策问题；2．无法兼顾无线网络中功率分配和信道分配的综合决策；3．算法时间复杂度较高。本专利技术基于这些问题，使用POMDP模型和MCVI算法提出了一种新型算法模型以解决带功率分配的无线网信道接入问题。与传统解决POMDP模型的算法不同，MCVI算法可解决连续状态空间下的POMDP问题，提高了决策结果的可信度，但算法执行速度较慢。为了加快算法执行速度，本专利技术使用NSGA2优化MCVI算法，旨在通过改进后的算法模型，更加高效、可靠的解决无线网络中功率分配和信道分配问题。
技术实现思路
MCVI算法是解决连续状态空间下智能决策问题的有效离线算法，主要运用了蒙特卡罗模拟、信念树和决策图相互迭代更新的方法进行决策。算法执行完成后将生成最终决策图，该图将被运用于智能体的实时决策中。但原始的MCVI算法存在如下问题：1.重复计算智能体相同或相似的状态，导致算法运行速率降低；2.信念树和决策图的结点数随时间呈线性增长，当算法运行一段时间后，运行效率将明显降低；3.对于实时性要求较高的智能决策问题，最终生成的决策图较大，不便于搜索，降低了智能体决策的实时性。本专利技术针对上述三个问题，提出了一种使用NSGA2进行优化的新型算法模型。该模型通过MCVI算法的运行参数，使用NSGA2对决策图集合进行优化搜索，有效避免了相似信念点重复计算的问题，从而抑制信念树和决策图结点的快速增长，极大提高了算法运算效率和实际运用中的决策速度。NSGA2使用的MCVI运行参数包括：达到单步目标的运行时间、决策图结点数、模拟决策平均回报值。基于改进后的算法模型，本专利技术将其运用到认知无线电网络接入问题中。解决的问题主要包括：1.当无线设备需要发送数据时，对发送信道和功率进行决策；2.发送数据时若当前信道被占用，无线设备选择等待或更换信道；3.数据发出后，发生冲突时如何处理。为解决上述问题。主要
技术实现思路
如下：1)功率状态空间使用连续实数空间：在传统解决网络信道接入问题的智能算法中，功率状态空间一般为离散值，无法直接使用连续状态空间进行决策，该方法降低了最终决策结果的可信度。本专利技术针对这一缺陷，基于连续状态空间POMDP模型求解的MCVI算法，将其运用于无线网功率、信道分配问题中，有效解决了该问题并提高了最终决策的可信度。2)使用连续状态空间POMDP模型对无线网功率、信道分配问题建模：标准POMDP模型由多元组{S,A,O,T,Z,R,γ}组成，其中S、A、O分别表示智能体的状态、执行动作和观测结果，由于POMDP模型为部分可观测模型，所以无法准确确定智能体所处状态，通常使用信念集合B替代状态集合S，且每一个信念点都表示了S集合中所有状态可能出现的概率分布；T、Z分别表示状态转移概率函数和观测结果概率函数，其表达式分别为：T(s,a,s')=p(s'|a,s)，Z(s,a,o)=p(o|a,s)；R表示单步决策回报值，表示为R(s,a)；γ表示折扣因子。本专利技术中，设无线信道数为N，则B为维数组，前N维代表无线设备检测到相应信道的功率，功率值为非负实数；N+1至维代表各信道被其它终端连续占用的周期数，本专利技术中一个周期指两次动作决策间的时间间隔；第维代表当前无线设备需要发送数据的剩余字节数；第维代表当前无线设备正使用的发送信道；A为无线设备可选择动作集，设最大发送功率为Pmax，最小发送功率为Pmin，将区间[Pmin,Pmax]离散为k个点，则A集合中包含个动作(为保证算法运行速度在可接受范围内，)，将其编号为0到，0代表无线设备不发送任何数据，至分别代表向1~N号信道以功率发送数据，其中m为正整数且取值范围为[0,k]；O代表观测集合，该集合包含三个元素：{未发送数据，发送冲突，发送成功}；R代表单步决策回报值，包括成功完成数据发送回报值Rfinish，冲突回报值Rcrash，更换发送信道回报值Rchange，等待回报值Rwait。3)NSGA2算法在本问题中的适应性改进：NSGA2使用的计算个体为决策图，决策图是由多个结点组成。如图1所示，每个结点均包含一个决策动作信息(图中a1、a2)，结点间为单向通路连接，每条通路均对应一个观测值(图中o1、o2)。当无线设备检测到某一观测值时，可从当前决策动作所在结点沿标有对应观测值的路径查找下一个结点，既下一个决策动作。通过使用决策图反复查找、观测，无线设备将得到完整的动作序列。在原始的MCVI算法中，由于大量相似信念点的存在，导致较多动作序列被重复计算，本专利技术中基于NSGA2算法可有效避免这一问题，通过遗传算法的迭代更新策略可去除包含较多重复动作序列的决策图，从而提高算法模型运行效率。NSGA2算法的基本流程为：首先结合MCVI的运行参数对种群中所有信念树个体非支配排序以确定个体优劣。排序完成后，NSGA2将通过选择、交叉、变异操作更新种群。其中选择操作使用基本的赌盘法从种群中选择两个个体，再通过随机概率决定是否执行交叉、变异。交叉操作是从选择出的两个个体中各随机选择一段动作序列进行交换。变异操作是随机选择一个或几个结点并随机改变其执行动作的编号。附图说明图1为决策图结构及MC-Backup过程示意图图2为算法模型总体流程图图3为信念树结构示意图具体实施方法图2为本算法模型使用算法流程图，为进一步说明本专利技术的内容、效果及创新点，下面将对其中技术细节进一步详细阐述。本算法模型使用NSGA2优化MCVI，其步骤如下：1)NSGA2种群初始化：使用单结点决策图作为NSGA2的初始个体，其值为动作终止编号(本专利技术中使用-1)。定义种群大小为G，则在初始化后种群中有G个同样的决策图个体，但由于MCVI本文档来自技高网...

【技术保护点】
功率状态空间使用连续实数空间：在传统解决网络信道接入问题的智能算法中，功率状态空间一般为离散值，无法直接使用连续状态空间进行决策；这种方法不仅加重了算法运行负担，也降低了最终决策结果的可信度；为此，本专利技术基于连续状态空间POMDP模型求解的MCVI算法，将其运用于无线网功率、信道分配问题中，有效解决了该问题并提高了最终决策的可信度。

【技术特征摘要】
1.一种基于连续状态空间的认知无线电接入问题的决策模型，其特征在于：功率状态空间使用连续实数空间;基于连续状态空间的POMDP模型对无线网功率、信道分配问题建模;标准POMDP模型由多元组{S,A,O,T,Z,R,γ}组成，其中S、A、O分别表示智能体的状态、执行动作和观测结果，T和Z分别表示状态转移概率函数和观测结果概率函数，其表达式分别为：T(s,a,s')=p(s'|a,s)，Z(s,a,o)=p(o|a,s)，其中s和s'∈S、a∈A、o∈O；R表示单步决策回报值，表达式为R(s,a)；γ表示折扣因子；所述决策模型中，设无线信道数为N，则B为维数组，前N维代表无线设备检测到各个信道的功率，功率值为非负实数；N+1至维代表各个信道被其它终端连续占用的周期数，所述周期指两次动作决策间的时间间隔；第维代表当前无线设备需要发送数据的剩余字节数；第维代表当前无线设备选择用于发送的信道；A为无线设备可选择动作集，设最大发送功率为Pmax，最小发送功率为Pmin，将区间[Pmin,Pmax]离散为k个点，则A集合中包含个动作,为保证算法运行速度在可接受范围内，令，将其编号为0到，0代表无线设备不发送任何数据，至分别代表向1~N号信道以功率发送数据，其中m为正整数且取值范围为[0,k]；所述观测集合O包含三个元素：{无异常，发送冲突，发送成功}；所述单步决策回报值R包括：成功完成数据发送回报值Rfinish，冲突回报值Rcrash，更换发送信道回报值Rchange，等待回报值Rwait。2.根据权利要求1所述的一种基于连续状态空间的认知无线电接入问题的决策模型，其特征在于：所述决策模型中使用NSGA2算法进行优化从而选择最优的决策图；使用NSGA2算法优化MCVI算法，其步骤如下：1）、NSGA2种群初始化：使用单结点决策图作为NSGA2的初始个体，其值为动作终止编号，定义种群大小为G，则在初始化后种群中有G个同样的决策图个体，但由于MCVI算法随机性较大，在执行MCVI算法后，个体间都将出现较大差异；2）、初始化MCVI：将群中的个体逐一取出执行MCVI算法，每次取出的个体用于初始化MCVI的决策图；3）、搜索动作序列：动作序列的搜索通过信念树完成，信念树记录了无线设备在通过不同动作，得到不同观测值后可能转移到的信念状态，其转移公式如下所示：上式中代表在状态s执行动作a后转移到状态的概率，代表在状态s执行动作a，观测值为o时转移到状态s'的信念值，对求可得到新的状态概率分布信念；反复使用上述公式计算不同动...

【专利技术属性】
技术研发人员：江虹，刘寅，张秋云，熊凯，刘燕，郭秋梅，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：四川;51