一种卫星通信系统中基于深度增强学习的动态信道分配方法技术方案

本发明专利技术公开了一种卫星通信系统中基于深度增强学习的动态信道分配方法，涉及卫星通信领域。首先针对GEO多波束卫星系统，构建包含星载多波束天线，小区，信道以及用户的场景；某用户k发起业务请求后，在每个信道上逐个计算该用户以香农容量为表征的服务质量Ck。然后判断用户k在各信道提供的香农容量是否满足Ck≥CTh，如果是，该分配的信道可用，进行业务正常传输；否则，则该信道不可用，业务请求将掉话或阻塞并结束。从满足Ck≥CTh的可用信道列表中动态分配出一个信道给用户k，当用户k完成特定业务传输时，放弃所占用的信道；等待下一次新用户请求时，则进入新一轮的信道分配过程。本发明专利技术有效降低系统阻塞率，提升信道利用率，提高卫星通信系统负载承载量及频谱效率。

【技术实现步骤摘要】
一种卫星通信系统中基于深度增强学习的动态信道分配方法
本专利技术涉及卫星通信领域，具体是一种卫星通信系统中基于深度增强学习的动态信道分配方法。
技术介绍
随着人们对卫星提供的高质量与低资费服务的需求愈加迫切，卫星通信系统通过星载多波束配置因可实现高频谱效率及终端尺寸小型化，获得了广泛关注。当今高通量卫星亦或是高容量卫星，都采用了星上灵活载荷与多波束配置方案，进一步提升了多波束卫星系统的频谱利用率，因此动态信道分配成为了研究热点。在多波束卫星系统场景下，传统的信道分配方案为静态分配方案，即将卫星系统中可用信道资源固定的分配给各波束，避免波束间同信道干扰。但是该静态分配方案会使得系统信道资源难以高效充分利用，这在波束间业务量不均匀时表现更为严重。相比于静态信道分配方案，动态信道分配方案则可根据波束业务量动态调整，能提升信道资源利用率。现有的动态信道分配方案多考虑当前各波束业务量及用户分布，而为新业务请求分配可用信道时忽视了各波束间动态信道分配的时域关联特性，即当前时刻对一个新业务分配的信道资源，会对后续业务请求分配信道资源时产生影响。这主要是由于同一信道资源分配在不同波束间会产生相互干扰，进而恶化该信道上传输业务质量。因此，如何考虑时域关联特性进行动态信道分配是目前亟待解决的问题。
技术实现思路
本专利技术针对上述时域关联特性进行动态信道分配的问题，提出了一种卫星通信系统中基于深度增强学习的动态信道分配方法，用于解决多波束卫星场景中的动态信道分配问题。所述基于深度增强学习的动态信道分配方法，具体步骤如下：步骤一、针对GEO多波束卫星系统，构建包含星载多波束天线，小区，信道以及用户的场景；在此场景中，多波束卫星系统通过星载多波束天线配置，将覆盖范围分为多个独立的小区，并分配可用的信道为各小区的接入用户提供服务。卫星系统中所有服务的用户集合为{1,2,…k...,K}；可用信道集合为{1,2,…m...,M}；步骤二、某用户k发起业务请求后，在每个信道上逐个计算该用户以香农容量为表征的服务质量Ck；具体步骤如下：步骤201、计算用户k在每个可用信道上的接收端信号yk；接收端信号yk为：其中，表示用户k的有用信号，表示除去用户k外，其余所有用户的共信道干扰；σk表示用户k接收天线引入的热噪声；hk,k为发送给用户k的信号，被用户k接收后，形成的有用信号的信道系数，wk表示系统为用户k提供服务所分配的信道结果，为1*M的向量；分配信道则元素wk为1，否则为0。操作符表示哈达玛积；sk为卫星发送给用户k的信号，为M*1的列向量。hk,i为发送给用户i的信号，被用户k接收后形成的干扰信道系数，wi表示系统为用户i提供服务所分配的信道结果，为M*1的列向量；分配信道则元素wi为1，否则为0。si为卫星发送给用户i的信号，i的取值为1～k。所有用户所分配的信道组成信道占用矩阵W＝[w1,w2,…,wK]；步骤202、针对用户k，根据各可用信道的接收端信号yk中的有用信号和共信道干扰信号，分别计算每个信道对应的有用信号功率Dk及共信道干扰信号功率Ik，用户k在某信道上接收的有用信号功率Dk计算公式如下：Dk＝|hk,k|2·diag{wk}·[diag{wk}]H共信道干扰信号功率Ik计算公式如下：gk＝[hk，1,hk,2,…,hk,K]\hk,k＝0，为干扰信道系数的向量，表征了卫星分别发送给用户1～K的信号，被用户k接收后形成的干扰信道系数。分配矢量vm＝[vm,1,vm,2,…,vm,K]T表示对占用了信道m的所有用户发射功率。步骤203、根据共信道干扰信号功率Ik，结合噪声计算干扰信号与噪声功率之和Uk；Uk＝Ik+|σk|2·EMEM是M阶单位矩阵。步骤204、对用户k而言，根据接收端有用信号功率Dk、干扰信号与噪声功率之和Uk，计算用户k以香农容量为表征的服务质量Ck；Ck＝Bc·det[log2(EM+Γk)]其中，表示用户k在每信道上接收信号的SINR(信号与干扰加噪声比)；Bc表示系统固定为每个信道设定的带宽值。步骤三、判断用户k在各信道提供的香农容量是否满足Ck≥CTh，如果是，该分配的信道可用，进行业务正常传输；否则，则该信道不可用，业务请求将掉话或阻塞并结束。用户k在某信道上的传输性能满足用户k的传输速率要求，该信道为可用信道。CTh为设定的最低容量阈值，与传输业务类型及接收机抗噪性能有关。步骤四、从满足Ck≥CTh的可用信道列表中动态分配出一个信道给用户k。具体步骤如下：步骤401、构造马尔科夫决策过程中的状态量。将动态信道分配问题建模为马尔科夫决策过程MDP，需建立对应的状态s、动作a及收益r。状态量定义如下：st＝(Ut,Wt,ut)st为t时刻的状态，Ut为正在服务的用户集合，W为系统信道分配矩阵，ut为待分配信道的用户，即用户k。步骤402、将该状态量输入到训练好的深度神经网络中，获得网络的输出，即动作价值。深度神经网络的功能是将输入的状态st映射为M个实数值，称之为动作价值。动作价值网络记为Q(s；θ):s→Q(s|a；θ)；θ为神经网络的参数；Q(s|a；θ)表示在参数为θ的神经网络时，当前状态为s下，选择动作a对应的Q值，即预期收益值。训练的过程如下：首先，每次业务到达时，根据动作价值网络选择具有最大映射实值的信道进行分配，并记录上次状态st-1、上次动作at-1、立即收益rt、本次状态st保存到缓存中；然后，从缓存中随机选择批量的数据训练动作价值网络，训练中使用的准确值yj定义规则如下：γ是折扣因子参数；j为时刻变量。步骤403、从可用信道列表中选择具有最大动作价值对应的信道，分配给用户k。步骤404、对深度神经网络基于误差反向传播原则进行更新，以提升系统动态信道分配的性能。步骤五、当用户k完成特定业务传输时，放弃所占用的信道；等待下一次新用户请求时，则进入新一轮的信道分配过程。本专利技术的优点和带来的有益效果在于：1、一种基于深度增强学习的动态信道分配方法，通过与传统静态信道分配方案、传统动态信道分配方案的对比，可有效降低系统阻塞率。2、一种基于深度增强学习的动态信道分配方法，通过将卫星建模为智能体，用户业务请求建模为外部环境，将多波束卫星场景中的动态信道分配最小化业务阻塞率的问题，建模为智能体与环境交互过程中最大化可达收益的过程，并进而采用深度增强学习算法解决。3、一种基于深度增强学习的动态信道分配方法，更有效的提升信道利用率，降低业务阻塞率。4、一种基于深度增强学习的动态信道分配方法，考虑了动态信道分配之间时域关联性，可以有效降低系统阻塞率，提高卫星通信系统负载承载量及频谱效率。附图说明图1是本专利技术一种卫星通信系统中基于深度增强学习的动态信道分配方法的场景示意图；图2是本专利技术一种卫星通信系统中基于深度增强学习的动态信道分配方法的流程图；图3是本专利技术与传统静态、动态信道分配方案的业务阻塞率对比图。具体实施方式下面将结合附图和实施例对本专利技术作进一步的详细说明。本专利技术一种卫星通信系统中基于深度增强学习(DRL)的动态信道分配方法(Deepreinforcementlearningbaseddynamicchannelallocationmethodinsatellitecommun本文档来自技高网...

【技术保护点】
1.一种卫星通信系统中基于深度增强学习的动态信道分配方法，其特征在于，具体步骤如下：步骤一、针对GEO多波束卫星系统，构建包含星载多波束天线，小区，信道以及用户的场景；在此场景中，多波束卫星系统通过星载多波束天线配置，将覆盖范围分为多个独立的小区，并分配可用的信道为各小区的接入用户提供服务；卫星系统中所有服务的用户集合为{1,2,…k...,K}；可用信道集合为{1,2,…m...,M}；步骤二、某用户k发起业务请求后，在每个信道上逐个计算该用户以香农容量为表征的服务质量Ck；具体步骤如下：步骤201、计算用户k在每个可用信道上的接收端信号yk；接收端信号yk为：

【技术特征摘要】
1.一种卫星通信系统中基于深度增强学习的动态信道分配方法，其特征在于，具体步骤如下：步骤一、针对GEO多波束卫星系统，构建包含星载多波束天线，小区，信道以及用户的场景；在此场景中，多波束卫星系统通过星载多波束天线配置，将覆盖范围分为多个独立的小区，并分配可用的信道为各小区的接入用户提供服务；卫星系统中所有服务的用户集合为{1,2,…k...,K}；可用信道集合为{1,2,…m...,M}；步骤二、某用户k发起业务请求后，在每个信道上逐个计算该用户以香农容量为表征的服务质量Ck；具体步骤如下：步骤201、计算用户k在每个可用信道上的接收端信号yk；接收端信号yk为：其中，hk,k·wk⊙sk表示用户k的有用信号，表示除去用户k外，其余所有用户的共信道干扰；σk表示用户k接收天线引入的热噪声；hk,k为发送给用户k的信号，被用户k接收后，形成的有用信号的信道系数，wk表示系统为用户k提供服务所分配的信道结果，为1*M的向量；分配信道则元素wk为1，否则为0；操作符⊙表示哈达玛积；sk为卫星发送给用户k的信号，为M*1的列向量；hk,i为发送给用户i的信号，被用户k接收后形成的干扰信道系数，wi表示系统为用户i提供服务所分配的信道结果，为M*1的列向量；分配信道则元素wi为1，否则为0；si为卫星发送给用户i的信号，i的取值为1～k；所有用户所分配的信道组成信道占用矩阵W＝[w1,w2,…,wK]；步骤202、针对用户k，根据各可用信道的接收端信号yk中的有用信号和共信道干扰信号，分别计算每个信道对应的有用信号功率Dk及共信道干扰信号功率Ik，用户k在某信道上接收的有用信号功率Dk计算公式如下：Dk＝|hk,k|2·diag{wk}·[diag{wk}]H共信道干扰信号功率Ik计算公式如下：gk＝[hk,1,hk,2,…,hk,K]\hk,k＝0，为干扰信道系数的向量，表征了卫星分别发送给用户1～K的信号，被用户k接收后形成的干扰信道系数；分配矢量vm＝[vm,1,vm,2,…,vm,K]T表示对占用了信道m的所有用户发射功率；步骤203、根据共信道干扰信号功率Ik，结合噪声计算干扰信号与噪声功率之和Uk；Uk＝Ik+|σk|2·EMEM是M阶单位矩阵；步骤204、对用户k而言，根据接收端有用信号功率Dk、干扰信...

【专利技术属性】
技术研发人员：胡欣，刘帅军，王卫东，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11