【技术实现步骤摘要】
一种基于迁移深度强化学习的低轨卫星跳波束优化方法
[0001]本专利技术属于卫星移动通信
，涉及一种基于迁移深度强化学习的低轨卫星跳波束优化方法。
技术介绍
[0002]宽带卫星通信系统在世界性因特网发展中，作为一个关键的构成部分，被广泛普及和应用，逐渐呈现出了良好的发展态势。而多波束天线技术作为宽带卫星通信系统的必选技术之一，已经在众多的实际卫星通信系统中得到广泛的应用。LEO通信系统是近年来应用多波束天线技术的热门卫星系统之一，也是未来空天地一体化网络的重要组成部分。传统的低轨卫星多波束技术平等的分配带宽资源和功率资源，该技术资源损耗大、星上功率利用率低，且对于用户非均匀分布的场景存在资源巨大浪费等缺陷。跳波束技术是卫星通信领域最新的研究成果之一，该技术通过控制星载多波束天线的空间指向、带宽、频点和发射功率，为用户终端动态配置通信资源，提高卫星资源在带宽和功率方面的使用效率，为时域带宽分配提供了便利的平台。
[0003]尽管有不少文献在基于跳波束的资源分配上取得了较好的成果，但仍然需要进一步的改进，主要存在...
【技术保护点】
【技术特征摘要】
1.一种基于迁移深度强化学习的低轨卫星跳波束优化方法，其特征在于，该方法具体包括以下步骤：S1：在多波束低轨卫星收集服务区域用户需求之后，联合星上服务小区缓冲信息、决策时刻的业务到达情况和当前位置下用户的信道状态，以最小化卫星上数据包平均排队和传输时延为目标，建立支持跳波束技术的低轨卫星资源分配优化模型；S2：根据步骤S1建立的模型，将数据包的变化场景建模为马尔可夫决策过程，将每一时刻数据包缓存情况重构为状态，执行波束调度策略和功率分配动作，设定所有数据包的平均时延为奖励，并采用DQN算法利用神经网络作为非线性近似函数，智能地选择当前状态下的最优决策；S3：采用TL
‑
DQN算法利用源卫星学习的调度任务快速寻找目标卫星的波束调度策略和功率分配策略。2.根据权利要求1所述的低轨卫星跳波束优化方法，其特征在于，步骤S1中，建立支持跳波束技术的低轨卫星资源分配优化模型，具体包括以下步骤：S11：对于被分配到波束的小区c
n
，即在时刻t
j
的信干燥比表示为：其中，C＝{c1,...,c
n
,...,c
N
}表示待服务的小区集合，表示服务不同小区的波束功率分配，为小区获得的波束调度决策；表示在时刻t
j
服务小区c
i
的波束到小区c
n
的功率增益；和分别表示在时刻t
j
服务小区c
n
和c
i
的波束发射功率；N0表示噪声功率谱密度；W表示波束使用的全带宽；表示小区c
n
在时刻t
j
获得波束调度，反之则没有；S12：计算小区c
n
的信道容量表达式为：其中，表示小区c
n
在时刻t
j
的信干噪比；f
DVB
‑
S2
(
·
)是基于卫星第二代数字视频广播规范的映射函数；S13：计算各个时刻数据包集合的递归形式，表达式为：其中，函数g(
·
)是具有先到先服务原则的数据包调度过程；X(t
j
‑1)表示上一时刻的波束调度决策，H(t
j
‑1)表示上一时刻的信道条件，Λ(t
j
‑1)表示上一时刻的数据包到达情况；是当前时刻t
j
的星上缓冲区数据包集合；S14：计算小区c
n
在t
j
‑1到t
j
时间段内的数据包吞吐量表达式为：S15：计算数据包平均排队和传输时延τ，表达式为：
其中，τ
q
表示数据包排队时延，τ
t
表示数据包传输时延，表示数据包到达时刻，t
j
表示决策时刻，M表示数据包的大小；系统的总吞吐量也可以根据所有时刻缓冲区数据包的数量和数据包到达率确定，小区c
n
在总的时间段内的数据包吞吐量表示为：S16：建立支持跳波束技术的低轨卫星资源分配优化模型为：P1:s.t.C1.1:s.t.C1.2:s.t.C1.3:s.t.C1.4:其中，集合T＝{t1,t2,
…
}表示在一段时间内的决策时刻集合，P
tot
表示卫星的总载波功率，表示小区的最小吞吐量要求，表示小区c
n
的总吞吐量，K表示卫星的有源波束数，p
i
表示星上拟发送给小区c
n
的缓冲区中的数据包。3.根据权利要求2所述的低轨卫星跳波束优化方法，其特征在于，步骤S2中，将每一时刻数据包缓存情况重构为状态，即状态空间定义为：在星上缓冲区中的数据包时延小于系统规定的最大时延T
th
，因此星上缓冲区中的数据包到达时间一定处在时间间隔中；首先将时间间隔分割成F个部分，在每一个部分统计该时间间隔中缓冲包的到达量，该时间间隔中所有数据包的时延设置为与当前决策时刻的时间差；最后，在马尔可夫决策过程中，定义时刻t
...
【专利技术属性】
技术研发人员：陈前斌，麻世庆，梁承超，唐伦，段瑞吉，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。