基于认知的LTE-R中资源分配方法组成比例

本发明专利技术涉及一种基于认知的LTE‑R中的资源分配算法，包括：步骤1，针对LTE‑R中吞吐量和资源块切换次数的双目标优化问题，本发明专利技术给出了一种新型的多用途状态动作集；步骤2，针对第二个探索与利用的平衡问题，本发明专利技术给出了探索方法，在与贪婪决策的方法比较的过程中，平衡探索与利用的认知基站性能更好,证明了在LTE‑R认知无线网络中对环境探索的必要性；步骤3，介绍了一个本发明专利技术实施的具体的应用场景，发现本发明专利技术算法中两个取值分别对不同优化目标的影响有各自的偏重，找出一组合适的值，使得系统的性能相比其他的取值更为优异。另外，应用场景还证明了本发明专利技术在应用到LTE‑R环境的基站中进行频谱管理的有效性。

Resource Allocation Method in LTE-R Based on Cognition

The invention relates to a resource allocation algorithm in LTE R based on cognition, which includes: step 1, a novel multi-purpose state action set is presented for the dual-objective optimization of throughput and resource block switching times in LTE R; step 2, the invention is given for the balance problem of the second exploration and utilization. Compared with greedy decision-making method, the cognitive base station with balanced exploration and utilization has better performance, which proves the necessity of exploring the environment in LTE_R cognitive wireless network. Step 3 introduces a specific application scenario of the implementation of the invention, and finds that the two values of the algorithm of the invention are separated. The influence of different optimization objectives has their own bias. Finding a set of appropriate values makes the performance of the system better than other values. In addition, the application scenario also proves the effectiveness of the present invention in spectrum management in base stations applied to LTE R environment.

【技术实现步骤摘要】
基于认知的LTE-R中资源分配方法
本专利技术涉及LTE-R，特别是涉及基于认知的LTE-R中资源分配方法。
技术介绍
高速铁路环境对移动通信系统提出了极高的要求，既需要保证原来高速列车运行过程中，调度信息与列车控制信息的传输，又需要为列车提供在线运行监控、在线维修检测、在线视频回传以及为旅客提供优质通信服务等。传统的GSM-R频率带宽有限，且在高速过程中不可避免的发生切换混乱、接通率低及通信中断等问题。LTE-R作为GSM-R的演进目标，由于具有传输速率高、系统容量大、网络结构平滑等诸多优点，已成为当前铁路通信系统的研究热点。然而，随着无线通信业务的不断拓展和增长，频谱资源的匮乏已成为现阶段面临的一个严峻问题，因此，有效的频谱管理对提升频谱利用率有至关重要的作用。在频谱管理模型中，研究的一个重点是资源块分配。针对这一问题，研究普遍选取吞吐率或系统传输成功率作为一种系统性能的评判标准。但在授权用户频发的认知无线网络中，非授权用户需要进行频谱切换以避免干扰其通信，但频繁的频谱切换不仅降低自身的吞吐率，还会造成许多其他的开销，所以资源块切换次数也应是服务质量的重要评判标准。增强学习是解决频谱感知、接入和共享问题的一种有效途径。强化学习的基本模型为其中代表环境状态空间，代表智能体的动作空间，T:s*a→s'代表当前状态下，采取动作之后得到的下一状态，R:s*a*s'→r代表在当前状态s下执行动作转移到状态s'时获得的立即回报值r。在认知无线网络环境的资源块分配过程中应用增强学习已被证明可以提高非授权用户的成功传输率。但在具体建立增强学习模型的过程中，有两个关键问题。一是如何定义环境状态和智能体动作。复杂的状态动作集会导致计算量庞大甚至维数灾难。二是智能体如何在探索环境和开采知识之间获得平衡，选择生成问题最优解的最佳度量标准。该问题在机器学习领域已被深入研究，但在认知无线电领域中仍值得探讨。
技术实现思路
基于此，有必要针对上述技术问题，提供一种基于认知的LTE-R中资源分配方法，同时解决两个下述技术问题，第一个问题是在授权用户频发的环境中，如何避免过多的频谱切换对系统性能造成的危害，并提升系统的吞吐量；第二个问题是在应用强化学习到认知无线网络的过程中，如何解决探索以及利用的平衡问题。一种基于认知的LTE-R中资源分配方法，包括：在一个认知时隙时长Tr开始时，非授权用户向认知基站发起切换请求；所述认知基站在收到所述切换请求后对所有资源块的性能进行信息采集；所述认知基站在采集完信息后对资源块上授权用户的行为进行感知，执行决策阶段，判断所述非授权用户所在的当前资源块上主用户是否占用；如果占用，则进行第一步决策，即根据Q值表判断是否进行资源块切换，否则所述授权用户继续留在当前资源块；如果所述第一步决策判断要进行资源块切换，则进行第二步决策，即依据学习结果选取最优的资源块进行切换，否则所述授权用户继续留在当前资源块；所述认知基站执行实施阶段，将决策结果反馈给认知用户；所述认知用户从当前资源块切换至最优资源块上，并等待下一认知时隙时长到来。上述基于认知的LTE-R中资源分配方法，可以同时解决两个以下技术问题，第一个问题是在授权用户频发的环境中，如何避免过多的频谱切换对系统性能造成的危害，并提升系统的吞吐量；第二个问题是在应用强化学习到认知无线网络的过程中，如何解决探索以及利用的平衡问题。附图说明图1是示出根据本专利技术的实施方式的认知的高速铁路移动通信(LTE-R)模型的示例图。图2是示出根据本专利技术的实施方式的认知基站与非授权用户通信的一个认知时隙时长分配结构的三种不同情况。图3是示出根据本专利技术的实施方式的认知基站与认知用户通信方式的操作的流程图。图4是示出根据本专利技术的实施方式的授权用户状态转移的示例的图。图5是示出根据本专利技术的实施方式的改进的强化学习算法的Q值状态示意图。图6是示出根据本专利技术的实施方式的探索的操作的流程图。图7(a)、(b)是示出根据本专利技术的实施方式的分别给定吞吐量及资源块切换次数的随变化情况的仿真曲线图。图8(a)、(b)是示出根据本专利技术的实施方式的和取值分别对非授权用户吞吐量影响及资源块切换次数影响的仿真图。图9(a)、(b)是示出根据本专利技术的实施方式的吞吐量以及资源块切换次数分别随时间变化的不同算法比较的仿真曲线图。图10(a)、(b)是示出实施不同频谱管理方法后的系统吞吐量以及系统切频次数的仿真图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。一种基于认知的LTE-R中资源分配方法，包括：在一个认知时隙时长Tr开始时，非授权用户向认知基站发起切换请求；所述认知基站在收到所述切换请求后对所有资源块的性能进行信息采集；所述认知基站在采集完信息后对资源块上授权用户的行为进行感知，执行决策阶段，判断所述非授权用户所在的当前资源块上主用户是否占用；如果占用，则进行第一步决策，即根据Q值表判断是否进行资源块切换，否则所述授权用户继续留在当前资源块；如果所述第一步决策判断要进行资源块切换，则进行第二步决策，即依据学习结果选取最优的资源块进行切换，否则所述授权用户继续留在当前资源块；所述认知基站执行实施阶段，将决策结果反馈给认知用户；所述认知用户从当前资源块切换至最优资源块上，并等待下一认知时隙时长到来。在另外的一个实施例中，步骤“所述认知基站在采集完信息后对资源块上授权用户的行为进行感知，执行决策阶段，判断所述非授权用户所在的当前资源块上主用户是否占用；如果占用，则进行第一步决策，即根据Q值表判断是否进行资源块切换，否则所述授权用户继续留在当前资源块；如果所述第一步决策判断要进行资源块切换，则进行第二步决策，即依据学习结果选取最优的资源块进行切换，否则所述授权用户继续留在当前资源块；”具体包括：采用连续时间马尔科夫模型描述所述授权用户对资源块占用的情况，其到达或离开授权频谱资源后经过一段指数分布的时间后状态转移：其中，Tbusy代表授权用户转移到占用状态后经过的时间，Tbusy代表其转移到空闲状态后经过的时间，均服从指数分布；λbusy,λidle是指数分布参数；将所述认知基站视作智能体，其覆盖范围视作所处的环境；状态空间S由基站正在提供服务的资源块组成：在当前资源块上考虑第一步决策，即是否需要切换资源块提供服务；对于所述认知基站，在t时刻的观测状态为st：所述认知基站在给定时间t时刻的状态下，定义其动作,有：将switch表示为k1，代表所述认知基站切换服务资源块，在该认知时隙时长内完成状态转移之后，等待后续认知时隙时长开始后，重新感知资源块的状态；将stay表示为k2，代表所述认知基站无论授权用户状态如何，均在原资源块提供服务有：定义立即回报值R，R的选取是根据所述认知基站的决策对非授权用户服务质量的影响来决定的；计算累计回报值，所述认知基站使用Q表来累计每组状态动作组合的回报值，累计回报值的方法基于下式：其中，st是基站在t时刻的服务资源块，st+1是转移之后的资源块，at代表基站采取的动，α是学习速率，rt是立即回报值，γ，0≤γ≤1是折现因子，是未来的回报值对现本文档来自技高网...

【技术保护点】
1.一种基于认知的LTE‑R中资源分配方法，其特征在于，包括：在一个所述认知时隙时长Tr开始时，非授权用户向认知基站发起切换请求；所述认知基站在收到所述切换请求后对所有资源块的性能进行信息采集；所述认知基站在采集完信息后对资源块上授权用户的行为进行感知，执行决策阶段，判断所述非授权用户所在的当前资源块上主用户是否占用；如果占用，则进行第一步决策，即根据Q值表判断是否进行资源块切换，否则所述授权用户继续留在当前资源块；如果所述第一步决策判断要进行资源块切换，则进行第二步决策，即依据学习结果选取最优的资源块进行切换，否则所述授权用户继续留在当前资源块；所述认知基站执行实施阶段，将决策结果反馈给认知用户；所述认知用户从当前资源块切换至最优资源块上，并等待下一认知时隙时长到来。

【技术特征摘要】
1.一种基于认知的LTE-R中资源分配方法，其特征在于，包括：在一个所述认知时隙时长Tr开始时，非授权用户向认知基站发起切换请求；所述认知基站在收到所述切换请求后对所有资源块的性能进行信息采集；所述认知基站在采集完信息后对资源块上授权用户的行为进行感知，执行决策阶段，判断所述非授权用户所在的当前资源块上主用户是否占用；如果占用，则进行第一步决策，即根据Q值表判断是否进行资源块切换，否则所述授权用户继续留在当前资源块；如果所述第一步决策判断要进行资源块切换，则进行第二步决策，即依据学习结果选取最优的资源块进行切换，否则所述授权用户继续留在当前资源块；所述认知基站执行实施阶段，将决策结果反馈给认知用户；所述认知用户从当前资源块切换至最优资源块上，并等待下一认知时隙时长到来。2.根据权利要求1所述的基于认知的LTE-R中资源分配方法，其特征在于，步骤“所述认知基站在采集完信息后对资源块上授权用户的行为进行感知，执行决策阶段，判断所述非授权用户所在的当前资源块上主用户是否占用；如果占用，则进行第一步决策，即根据Q值表判断是否进行资源块切换，否则所述授权用户继续留在当前资源块；如果所述第一步决策判断要进行资源块切换，则进行第二步决策，即依据学习结果选取最优的资源块进行切换，否则所述授权用户继续留在当前资源块；”具体包括：采用连续时间马尔科夫模型描述所述授权用户对资源块占用的情况，其到达或离开授权频谱资源后经过一段指数分布的时间后状态转移：其中，Tbusy代表授权用户转移到占用状态后经过的时间，Tbusy代表其转移到空闲状态后经过的时间，均服从指数分布；λbusy,λidle是指数分布参数；将所述认知基站视作智能体，其覆盖范围视作所处的环境；状态空间S由基站正在提供服务的资源块组成：在当前资源块上考虑第一步决策，即是否需要切换资源块提供服务；对于所述认知基站，在t时刻的观测状态为st：所述认知基站在给定时间t时刻的状态下，定义其动作,有：将switch表示为k1，代表所述认知基站切换服务资源块，在该认知时隙时长内完成状态转移之后，等待后续认知时隙时长开始后，重新感知资源块的状态；将stay表示为k2，代表所述认知基站无论授权用户状态如何，均在原资源块提供服务有：定义立即回报值R，R的选取是根据所述认知基站的决策对非授权用户服务质量的影响来决定的；计算累计回报值，所述认知基站使用Q表来累计每组状态动作组合的回报值，累计回报值的方法基于下式：其中，st是基站在t时刻的服务资源块，st+1是转移之后的资源块，at代表基站采取的动，α是学习速率，rt是立即回报值，γ，0≤γ≤1是折现因子，是未来的回报值对现在的影响程度；根据计算得到的累计回报值做出决策，在决策过程中，智能体依据的是其所维护Q表当中的Q(st,at)，即累计回报值，智能体根据这些值来做出决策π...

【专利技术属性】
技术研发人员：吴澄，盛洁，汪一鸣，尹之杰，尤扬，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32