一种基于多智能体协同的低轨卫星切换方法技术

本发明专利技术提供一种基于多智能体协同的低轨卫星切换方法，包括如下步骤：建立卫星通信系统，卫星不断运动的过程中与用户的相对位置不断变化；以通信传输速率、频带资源利用率和总剩余服务时长最大化为目标，建立多目标优化函数J

【技术实现步骤摘要】
一种基于多智能体协同的低轨卫星切换方法


[0001]本专利技术涉及一种基于多智能体协同的低轨卫星切换方法。

技术介绍

[0002]近年来，低轨卫星(LEO，Low Earth Orbit)因具有传播延迟短，数据速率高、覆盖面广的特点而广受关注。在万物互联概念被提出并广泛追求的当下，用户终端与LEO卫星的通信被认为是星地融合网络中与地面集成的有效解决方案。
[0003]LEO卫星部署高度在500km
‑
2000km之间，因此其高速周期性运动使得用户终端通信需要频繁进行切换，如何进行高效可靠地波束切换成为了亟待解决的问题。
[0004]当移动用户接收到的信号强度不能满足服务要求时，为保证通信的连续，网络就要为用户选择另一合适的波束，并将移动用户切换到该波束并建立无线连接。若此时不进行切换，移动用户可能会因接收到的信号强度过弱而产生掉话。随着网络变得复杂、终端数量增多和用户需求的多样化，切换决策时考虑的因素更加多样，此时需要使用多属性决策算法。
[0005]传统方法仅考虑了对单用户的切换问题，但在实际的网络中，系统中的多个用户需要同时进行切换和接入操作。由于每个波束的资源数有限，任何一个用户的操作都将对其他用户的可用资源、环境及决策产生影响，因此传统方法还有较大的改进空间。

技术实现思路

[0006]本专利技术的目的是提出一种基于多智能体协同的低轨卫星切换方法，实现了在波束选择过程中不断进行自主优化选择，提高了切换目标波束选择的准确性。
[0007]本专利技术通过以下技术方案实现：
[0008]一种基于多智能体协同的低轨卫星切换方法，包括如下步骤：
[0009]步骤S1、建立包括M个卫星和N个固定用户的卫星通信系统，M个卫星之间相互协作以进行星间通信，N个固定用户在M个卫星的波束覆盖范围内随机分布，卫星不断运动的过程中与用户的相对位置不断变化；
[0010]步骤S2、卫星m根据用户的业务传输请求和资源剩余情况，以该卫星通信传输速率、频带资源利用率和总剩余服务时长最大化为目标，建立多目标优化函数J
m
：
[0011][0012]s.t.C1:Rs
n
≥R
g,n
，
[0013]其中，N
m
为卫星m当前连接的用户数量，Rs
n
为第n个用户的实际通信传输速率，R
g,n
表示第n个用户向卫星申请第g档位的最小信息传输速率，Load
m
为卫星m的频带利用率，ts
m,n
为卫星m完成对第n个用户服务后的剩余服务时长；w
Rs
、w
Load
、w
ts
分别为权值；
[0014]步骤S3、根据各卫星的初始环境参数设置各卫星的动作空间和状态空间，并初始化经验池D最大容量为T、初始化各卫星的Actor策略网络参数、Critic价值网络参数；
[0015]步骤S4、对Actor策略网络和Critic价值网络进行Z次训练，并根据训练结果更新各卫星所服务的用户以及用户业务传输请求，并通过星间通信共享给其他卫星，以进行卫星切换。
[0016]进一步的，所述步骤S3中，所述环境参数包括卫星高度、卫星运行角速度、卫星可用子载波数量、卫星已占用子载波数量、卫星覆盖范围内请求服务的用户数、卫星当前连接用户数量、当前连接的第n个用户与各卫星的仰角。
[0017]进一步的，所述步骤S2中，所述用户的业务传输请求为U
req
＝{U
n
,R
g,n
|g＝1,2,...,G,n＝1,2,...,A
m
}，其中，G表示用户对应的信息传输速率有G个档位，A
m
为卫星m覆盖范围内请求服务的用户数，U
n
表示第n个用户向卫星申请的业务量，R
g,n
表示第n个用户向卫星申请第g档位的最小信息传输速率。
[0018]进一步的，所述步骤S2中，Rs
n
通过公式Rs
n
＝Blog2(1+SNR
n
)计算，该公式中，B表示卫星为第n个用户分配的子载波带宽x
n
W0，x
n
为卫星为第n个用户分配的子载波个数，W0为单个子载波的带宽，SNR
n
由公式SNR
n
＝S
n
‑
N
n
计算，其中S
n
＝10lgP
n
+C
n
+C
i
‑
PL
n
,P
n
为第n个用户的功放功率，C
n
为第n个用户的天线增益，C
m
为第m个卫星的波束天线增益，PL
n
为第n个用户的自由路径损耗，通过公式PL
n
(d,f
c
)＝32.45+20log
10
(f
c
)+20log
10
(d)计算，其中d表示间隔距离，f
c
表示工作频率，对于用户n，距离d由公式计算，h
m
为卫星m的高度，θ
m.n
为用户n与当前与其连接的卫星m间的仰角，R
E
表示地球半径，N
n
＝
‑
174+10lg(B)+N
F
，N
F
为噪声系数。
[0019]进一步的，所述步骤S2中，Load
m
通过公式计算，其中，L
m
表示卫星m的已占用子载波数量，K
m
表示卫星m的可用子载波数量。
[0020]进一步的，所述步骤S2中，ts
m,n
通过公式计算，其中，表示第n个用户上报的所需业务传输请求对应所需的服务时长，表示卫星m可为第n个用户提供的剩余服务时长，θ＝180
°‑
θ
min
‑
θ
m,n
表示卫星m在保持当前波束覆盖范围的情况下可以继续运行的角度数，θ
min
表示卫星m可以保证用户通话服务质量的最小仰角，θ
m.n
为用户n与当前与其连接的卫星m间的仰角。
[0021]进一步的，所述步骤S3中，所述Actor策略网络参数和Critic价值网络参数的初始化具体包括：首先随机初始化Actor策略网络和Critic价值网络其中，s
m
表示卫星m的状态，a
m
表示卫星m执行的动作，是Actor网络和Critic网络对应的参数；其次以参数和初始化目标网络μ
′
和Q
′
；最后初始化mini
‑
batch大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体协同的低轨卫星切换方法，其特征在于：包括如下步骤：步骤S1、建立包括M个卫星和N个固定用户的卫星通信系统，M个卫星之间相互协作以进行星间通信，N个固定用户在M个卫星的波束覆盖范围内随机分布，卫星不断运动的过程中与用户的相对位置不断变化；步骤S2、卫星m根据用户的业务传输请求和资源剩余情况，以该卫星通信传输速率、频带资源利用率和总剩余服务时长最大化为目标，建立多目标优化函数J
m
：s.t.C1:Rs
n
≥R
g,n
，其中，N
m
为卫星m当前连接的用户数量，Rs
n
为第n个用户的实际通信传输速率，R
g,n
表示第n个用户向卫星申请第g档位的最小信息传输速率，Load
m
为卫星m的频带利用率，ts
m,n
为卫星m完成对第n个用户服务后的剩余服务时长；w
Rs
、w
Load
、w
ts
分别为权值；步骤S3、根据各卫星的初始环境参数设置各卫星的动作空间和状态空间，并初始化经验池D最大容量为T、初始化各卫星的Actor策略网络参数、Critic价值网络参数；步骤S4、对Actor策略网络和Critic价值网络进行Z次训练，并根据训练结果更新各卫星所服务的用户以及用户业务传输请求，并通过星间通信共享给其他卫星，以进行卫星切换。2.根据权利要求1所述的一种基于多智能体协同的低轨卫星切换方法，其特征在于：所述步骤S3中，所述环境参数包括卫星高度、卫星运行角速度、卫星可用子载波数量、卫星已占用子载波数量、卫星覆盖范围内请求服务的用户数、卫星当前连接用户数量、当前连接的第n个用户与各卫星的仰角。3.根据权利要求1所述的一种基于多智能体协同的低轨卫星切换方法，其特征在于：所述步骤S2中，所述用户的业务传输请求为U
req
＝{U
n
,R
g,n
|g＝1,2,...,G,n＝1,2,...,A
m
}，其中，G表示用户对应的信息传输速率有G个档位，A
m
为卫星m覆盖范围内请求服务的用户数，U
n
表示第n个用户向卫星申请的业务量，R
g,n
表示第n个用户向卫星申请第g档位的最小信息传输速率。4.根据权利要求1或2或3所述的一种基于多智能体协同的低轨卫星切换方法，其特征在于：所述步骤S2中，Rs
n
通过公式Rs
n
＝Blog2(1+SNR
n
)计算，该公式中，B表示卫星为第n个用户分配的子载波带宽x
n
W0，x
n
为卫星为第n个用户分配的子载波个数，W0为单个子载波的带宽，SNR
n
由公式SNR
n
＝S
n
‑
N
n
计算，其中S
n
＝10lgP
n
+C
n
+C
i
‑
PL
n
,P
n
为第n个用户的功放功率，C
n
为第n个用户的天线增益，C
m
为第m个卫星的波束天线增益，PL
n
为第n个用户的自由路径损耗，通过公式PL
n
(d,f
c
)＝32.45+20log
10
(f
c
)+20log
10
(d)计算，其中d表示间隔距离，f
c
表示工作频率，对于用户n，距离d由公式计算，h
m
为卫星m的高度，θ
m.n
为用户n与当前与其连接的卫星m间的仰角，R
E
表示地球半径，N
n
...

【专利技术属性】
技术研发人员：费泽松，陈思杉，舒晴，郭婧，曾鸣，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：