一种多波束低轨卫星智能动态信道资源分配方法组成比例

本发明专利技术涉及空天地海一体化通信技术领域，具体涉及一种多波束低轨卫星智能动态信道资源分配方法；该方法把低轨卫星作为Agent，当前业务请求时刻下的各个波束业务请求用户数量和波束对信道占用的初始状态映射为环境，在每个业务请求时刻下，根据低轨卫星所处的环境，利用Q‑learning算法来观测环境状态和获取环境的奖励信号，学习状态‑动作值函数，逐步改变信道资源分配策略，完成低轨卫星移动通信系统的动态信道资源分配，能够避免同一信道资源分配给复用距离之内的用户或波束，实现一种能够使低轨卫星移动通信系统的总体性能达到最优的信道资源分配方案。

An intelligent dynamic channel resource allocation method for multibeam LEO satellite

【技术实现步骤摘要】
一种多波束低轨卫星智能动态信道资源分配方法
本专利技术涉及空天地海一体化通信
，具体涉及一种多波束低轨卫星智能动态信道资源分配方法。
技术介绍
空天地海一体化信息网络是以地面网络为依托、天基网络为拓展，采用统一的技术架构、统一的技术体制、统一的标准规范，由天基信息网、互联网和移动通信网互联互通而成，具有多样化业务承载、异构网络互联、全域资源管理等特点。空天地海一体化信息网络作为国家重要的信息基础设施，对于国土安全、应急救灾、交通运输、经济发展等多个领域有着重大战略意义。低轨卫星通信作为空天地海一体化信息网络中的重要组成部分，有着传输路径损耗少、通信时延小、覆盖范围广、接入灵活等优势。并且在多波束低轨卫星移动通信系统中，每颗卫星携带多个波束，可以在同一频率下利用不同的波束满足频率的复用，来覆盖地面不同区域，这些波束合起来共同完成单颗卫星的地面可视区域覆盖，从而实现通信容量大幅度的增加。然而，多波束低轨卫星通信也存在一些不可避免的问题。一方面，用户建立呼叫时，必须接入到卫星某个波束内的信道中，或者是从一个波束切换到另一个波束，为确保通信不中断，必须在相邻波束覆盖区的交界内，为此次通信分配一条信道完成切换，保障呼叫能够持续进行。另一方面，卫星信道资源是有限的，随着通信用户数量、通信业务种类不断增多，信道资源的需求量越来越大，采取科学有效的措施对有限的资源进行管理和分配，成为多波束低轨卫星通信系统为用户提供可靠服务的关键。然而，低轨卫星终端在地理空间上分布不均匀，使得低轨卫星移动通信系统波束间的通信业务量差异较大，信道资源需求量不同。若采用固定频谱分配方式，即使该波束内的用户没有使用该资源，其他波束用户也不能使用该资源，容易造成信道资源的浪费。对动态资源分配方式而言，所有的信道资源均可以被各个波束用户所使用，根据各个波束的业务请求用户数进行资源的分配，相比于固定频谱分配方式，具有较高的资源利用率优势。但是每个波束用户均可以使用所有的信道资源，在资源分配的过程可能会将同一个信道分配给距离较近的用户，进而产生干扰，影响系统通信服务质量。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种多波束低轨卫星智能动态信道资源分配方法。一方面，本专利技术提供了一种多波束低轨卫星智能动态信道资源分配方法，所述方法包括如下述步骤：S1：初始化低轨卫星状态-动作值函数Q(s,a)，设定初始学习速率λ和折扣因子β；S2：低轨卫星通信系统通过星载多波束载荷在地面上形成N个波束表示为B＝{n|n＝1,2,…N}；系统中可用的信道集合C＝{m|m＝1,2,…M}，其中M为信道资源数；波束n的信道资源分配状态wn＝[wn，1,wn，2，…,wn,M]，其中每一项wn,m∈{0,1}表示波束n对子信道m的占用情况，1表示占用，0表示空闲未占用；则低轨卫星系统中所有波束的信道分配向量构成了卫星系统总的信道分配矩阵为W＝[w1,w2，…,wN]；当前各个波束可用的信道资源矩阵V＝[v1,v2，…,vN]，其中vn＝[vn，1,vn，2，…,vn,M]表示每个波束可用的信道资源情况，则构建t时刻的状态S3：低轨卫星根据构建的状态预测将要采取的动作，从自己的Q值表征模块获取Q值；S4：低轨卫星根据所处的环境和状态从可行动作集合Α(st)中依概率ε选择具有最大Q值的动作去执行；S5：在低轨卫星每达到终止状态后给一个奖赏函数r；S6：低轨卫星将状态-动作值函数Q(s,a)带入Bellman公式中进行迭代更新，根据奖赏函数r作为估计来选择下一步动作，并优化状态-动作值函数；S7：每轮迭代结束时，折扣因子β进行更新，并判断折扣因子β是否小于0.01；若是，得到信道分配结果Wt；若不是，返回步骤S6。可选的，所述各个波束可用的信道资源vn矢量中的每个元素取值及所代表的意义如下：可选的，所述动作at表示在状态st下可用的信道资源集合中，选取波束n，为其分配信道资源m，其计算表达式为：at＝{(n,m)|n,m∈Α(st),n∈B,m∈M}。可选的，所述状态-动作值函数Q(s,a)带入Bellman公式中进行迭代更新的计算表达式为：Q(si,ai)＝(1-λ)Q(si,ai)+λ(ri+βmaxQ(si,a))。可选的，所述折扣因子β需满足β∈[0,1)，设置它以e的负指数规律随着学习的过程逐渐减小，以满足学习的收敛性要求。可选的，将奖赏函数r设计为与系统性能正相关的标量值，以系统阻塞概率来衡量系统性能，即优化目标是系统的阻塞用户数量最小，考虑到每种业务请求时刻下，根据各波束业务请求用户量学习出一种信道资源最优分配方式，则设计的奖赏函数r应与终止状态时的系统性能有关，故在低轨卫星每达到终止状态后给一个奖赏函数r，其中奖赏函数r计算表达式如下：其中，Rmax表示的最大的奖赏值，为一标量正值；Ublock表示当前系统阻塞用户数，Uall表示系统中总共请求业务的用户数。本专利技术的有益效果体现在：(1)本专利技术的一种多波束低轨卫星智能动态信道资源分配方法，该方法结合人工智能中的强化学习算法，通过低轨卫星与当前通信环境的状态信息，根据各波束用户的业务请求实现低轨卫星通信系统资源的动态分配，提高系统通信服务性能。(2)本专利技术的一种多波束低轨卫星智能动态信道资源分配方法，该方法在设计动态资源分配方案时考虑了用户间干扰，能够避免同频干扰的影响。(3)本专利技术的一种多波束低轨卫星智能动态信道资源分配方法，利用Q-learning算法来观测环境状态和获取环境的奖励信号，学习状态-动作值函数，逐步改变信道资源分配策略，极大地提高了系统的学习速度和学习效果。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1是本专利技术多波束低轨卫星智能动态信道资源分配方法的流程示意图；图2是本专利技术在业务均匀分布情况下系统阻塞率与业务到达率的关系图。具体实施方式下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只作为示例，而不能以此来限制本专利技术的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本专利技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。目前，卫星信道资源是有限的，随着通信用户数量、通信业务种类不断增多，信道资源的需求量越来越大；低轨卫星终端在地理本文档来自技高网...

【技术保护点】
1.一种多波束低轨卫星智能动态信道资源分配方法，其特征在于，所述方法包括如下步骤：/nS1：初始化低轨卫星状态-动作值函数Q(s,a)，设定初始学习速率λ和折扣因子β；/nS2：低轨卫星通信系统通过星载多波束载荷在地面上形成N个波束表示为B＝{n|n＝1,2,…N}；系统中可用的信道集合C＝{m|m＝1,2,…M}，其中M为信道资源数；波束n的信道资源分配状态w

【技术特征摘要】
1.一种多波束低轨卫星智能动态信道资源分配方法，其特征在于，所述方法包括如下步骤：
S1：初始化低轨卫星状态-动作值函数Q(s,a)，设定初始学习速率λ和折扣因子β；
S2：低轨卫星通信系统通过星载多波束载荷在地面上形成N个波束表示为B＝{n|n＝1,2,…N}；系统中可用的信道集合C＝{m|m＝1,2,…M}，其中M为信道资源数；波束n的信道资源分配状态wn＝[wn，1,wn，2，…,wn,M]，其中每一项wn,m∈{0,1}表示波束n对子信道m的占用情况，1表示占用，0表示空闲未占用；则低轨卫星系统中所有波束的信道分配向量构成了卫星系统总的信道分配矩阵为W＝[w1,w2，…,wN]；当前各个波束可用的信道资源矩阵V＝[v1,v2，…,vN]，其中vn＝[vn，1,vn，2，…,vn,M]表示每个波束可用的信道资源情况，则构建t时刻的状态
S3：低轨卫星根据构建的状态预测将要采取的动作，从自己的Q值表征模块获取Q值；
S4：低轨卫星根据所处的环境和状态从可行动作集合Α(st)中依概率ε选择具有最大Q值的动作去执行；
S5：在低轨卫星每达到终止状态后给一个奖赏函数r；
S6：低轨卫星将状态-动作值函数Q(s,a)带入Bellman公式中进行迭代更新，根据奖赏函数r作为估计来选择下一步动作，并优化状态-动作值函数；
S7：每轮迭代结束时，折扣因子β进行更新，并判断折扣因子β是否小于0.01；若是，得到信道分配结果Wt；若不是，返回步骤S6。

【专利技术属性】
技术研发人员：谷林海，
申请(专利权)人：东方红卫星移动通信有限公司，
类型：发明
国别省市：重庆;50