基于深度强化学习的卫星通信频轨资源挖掘方法技术

本发明专利技术公开了一种基于深度强化学习的卫星通信频轨资源挖掘方法，其步骤包括：确定初始需求，进而确定需求参数；从现有轨位中选择一个轨位，判断该轨位提供的通信能力是否和初始需求匹配，如果匹配则存储该轨位的供需数据，如果不匹配，则使用深度强化学习算法进行供需匹配优化映射；判断供需匹配优化映射之后，该轨位能否满足最低需求，如果能，则存储此时供需数据。本发明专利技术实现了多轨位、多星、多频等频轨大数据环境下的卫星通信频轨资源的深度挖掘，具有资源挖掘维度多、挖掘彻底、挖掘准确的优点；通过深度强化学习算法进行供需匹配优化映射，能够快速实现轨位资源和用户需求的最优匹配。优匹配。优匹配。

【技术实现步骤摘要】
基于深度强化学习的卫星通信频轨资源挖掘方法


[0001]本专利技术涉及卫星通信
，尤其涉及一种基于深度强化学习的卫星通信频轨资源挖掘方法。

技术介绍

[0002]与地面通信系统相比，卫星通信系统具有覆盖范围广和不受地形条件限制的显著优势，在服务空中、海上、沙漠、山地和偏远、无人区域用户方面以及应对地震、洪水等自然灾害导致的地面通信基础设施损坏方面，发挥着不可替代的作用。然而，受限于实际的空间信息环境，地球可用卫星轨位和频率都是不可再生资源，国际竞争激烈。当前，地球同步卫星轨道日益拥挤，可用轨位愈发稀少；而随着低轨星座的快速建设发展，成千上万的中低轨卫星正飞速消耗地球中低轨位和宝贵的频率资源。为了保障我国卫星通信事业的未来发展，确保我国空间信息安全，拓展我国可用空间频轨资源刻不容缓。

技术实现思路

[0003]针对地球空间频轨资源挖掘问题，本专利技术公开了一种基于深度强化学习的卫星通信频轨资源挖掘方法，采用多维度大数据挖掘技术能够挖掘出不明显的轨位资源，从而增加可用的卫星通信可用频轨资源。本专利技术从高中低多轨位、多卫星、多频率、大数据环境中深度挖掘可用卫星通信频轨资源，并通过深度强化学习算法进行供需匹配优化映射。
[0004]本专利技术公开了一种基于深度强化学习的卫星通信频轨资源挖掘方法，其具体步骤包括：
[0005]S1，设定地球同步轨道卫星的轨位总数为N，将各个轨位编号，按照编号顺序依次选择单个轨位进行后续步骤；
[0006]S2，获取该轨位周边一定范围内的多颗卫星的参数，包括卫星j的轨位n
j
、发射功率P
tj
和接收功率P
rj
、波束数量B
j
、各波束覆盖区域Area
j
、上行链路通信频率F
uj
、下行链路通信频率F
dj
，同时获取用户的初始需求，包括波束覆盖范围Ar、卫星通信容量C和频率干扰门限T，并从用户的初始需求中提取用户需求参数，用户需求参数包括卫星发射功率P
t
和接收功率P
r
、波束数量B、各波束覆盖区域Area、上行链路通信频率F
u
、下行链路通信频率F
d
；
[0007]S3，根据获取的轨位周边一定范围内的多颗卫星的参数以及用户需求参数，判断该轨位的资源供给参数能否满足用户的需求；如果能够满足用户的需求，则存储该轨位的供需数据，包括轨位编号和所有用户需求参数，并执行步骤S6，如果不满足用户的需求，则执行步骤S4；轨位的资源供给参数包括轨位所允许的卫星发射功率P
t
和接收功率P
r
、波束数量B、各波束覆盖区域Area、上行链路通信频率F
u
、下行链路通信频率F
d
；供需数据包括轨位的资源供给参数和用户需求参数；
[0008]S4，使用深度强化学习算法调整用户需求，得到调整后的用户需求；设定卫星轨位和轨位周边一定范围内的多颗卫星的频轨参数与用户需求为环境，将轨位和用户的供需匹配优化过程建模为智能体与环境的交互过程，并通过对深度Q网络进行训练与学习，以达到
轨位和用户的频轨资源供需最优匹配；深度Q网络通过人工神经网络来实现；
[0009]所述的步骤S4，其具体包括：
[0010]S41，初始化深度强化学习算法参数，深度强化学习算法参数包括经验池大小、经验数量学习门限、探索概率、折扣因子、智能体的网络参数、目标网络更新频率、奖励值函数和迭代次数上限I
max
；设定深度强化学习算法训练轮次上限为L；
[0011]S42，在深度强化学习算法中，获取轨位周边一定范围内的多颗卫星参数和用户需求参数，作为轨位的当前状态s0；
[0012]S43，将第i次迭代得到的轨位状态s
i
输入智能体，智能体计算得到该轨位的资源供给参数与用户需求参数之间的差异值，根据该差异值调整该用户需求参数的数值，作为智能体的本次动作a
i
，调整公式为：其中，x为用户需求参数的表示向量在某个需要修改的维度的值，Δx为该轨位的资源供给值与用户需求参数之间的差异值，为调整幅度；
[0013]S44，智能体执行动作a
i
，修改用户需求参数的表示向量在相应维度的数值，迭代次数增加1，即i＝i+1，并更新状态s
i
为s
i+1
，根据供需匹配程度，计算相应的奖励，第i次迭代的奖励值r
i
的计算过程为：
[0014][0015]其中，x
g
为资源供给参数的向量在某维度的值，x为需求参数向量对应维度的值，f0,f1,f2,f3为归一化加权函数；第i次迭代得到的经验数据为{s
i
,a
i
,r
i
,s
i+1
}，将此经验数据存入经验池中，当经验池中经验数据的数量达到经验数量学习门限时，从经验池中抽取一定数量的经验数据，对深度Q网络进行训练并更新；
[0016]S45，计算深度Q网络与目标Q网络二者计算结果的误差，并将该误差通过Adam算法反向传播，每隔固定迭代次数F
step
，用深度Q网络参数ω更新目标Q网络参数使得目标Q网络用于计算智能体动作的价值是否准确,深度Q网络用于计算智能体动作的价值；目标Q网络通过人工神经网络来实现；
[0017]S46，轨位实现供需匹配的条件为：
[0018][0019]其中X用户需求参数的表示向量，X
g
为资源供给参数的向量，C
min
,A
rmin
,T
min
分别为用户最小的通信容量、覆盖范围和干扰门限需求，当该轨位实现供需匹配或者迭代次数i达到设定迭代次数上限I
max
时，判定轨位的当前状态达到最终状态，转至步骤S47；反之，判定轨位的当前状态没有达到最终状态，转至步骤S43；
[0020]S47，判断训练轮次是否达到上限L，如果是，则结束深度强化学习算法，输出用户需求参数的当前取值，作为调整后的用户需求，否则，训练轮次增加1，转入步骤S42开始新一轮训练；
[0021]S5，判断该轨位提供的频轨资源能否满足调整后的用户需求，如果能够满足，则存
储该供需数据并转入步骤S6，如果不能满足，则直接执行步骤S6；
[0022]S6，判断是否存在未分析轨位，如果存在，则转入步骤S1，如果不存在，则认为地球同步轨道卫星的当前轨位资源无法满足用户需求，结束该方法。
[0023]本专利技术的有益效果包括：
[0024]1、本专利技术从发射功率P
t
和接收功率P
r
、波束数量B、各波束覆盖区域Area、上行链路通信频率F
u
、下行链路通信频率F
d
多个维度对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的卫星通信频轨资源挖掘方法，其特征在于，其具体步骤包括：S1，设定地球同步轨道卫星的轨位总数为N，将各个轨位编号，按照编号顺序依次选择单个轨位进行后续步骤；S2，获取该轨位周边一定范围内的多颗卫星的参数，包括卫星j的轨位n
j
、发射功率P
tj
和接收功率P
rj
、波束数量B
j
、各波束覆盖区域Area
j
、上行链路通信频率F
uj
、下行链路通信频率F
dj
，同时获取用户的初始需求，包括波束覆盖范围Ar、卫星通信容量C和频率干扰门限T，并从用户的初始需求中提取用户需求参数，用户需求参数包括卫星发射功率P
t
和接收功率P
r
、波束数量B、各波束覆盖区域Area、上行链路通信频率F
u
、下行链路通信频率F
d
；S3，根据获取的轨位周边一定范围内的多颗卫星的参数以及用户需求参数，判断该轨位的资源供给参数能否满足用户的需求；如果能够满足用户的需求，则存储该轨位的供需数据，包括轨位编号和所有用户需求参数，并执行步骤S6，如果不满足用户的需求，则执行步骤S4；轨位的资源供给参数包括轨位所允许的卫星发射功率P
t
和接收功率P
r
、波束数量B、各波束覆盖区域Area、上行链路通信频率F
u
、下行链路通信频率F
d
；供需数据包括轨位的资源供给参数和用户需求参数；S4，使用深度强化学习算法调整用户需求，得到调整后的用户需求；设定卫星轨位和轨位周边一定范围内的多颗卫星的频轨参数与用户需求为环境，将轨位和用户的供需匹配优化过程建模为智能体与环境的交互过程，并通过对深度Q网络进行训练与学习，以达到轨位和用户的频轨资源供需最优匹配；深度Q网络通过人工神经网络来实现；S5，判断该轨位提供的频轨资源能否满足调整后的用户需求，如果能够满足，则存储该供需数据并转入步骤S6，如果不能满足，则直接执行步骤S6；S6，判断是否存在未分析轨位，如果存在，则转入步骤S1，如果不存在，则认为地球同步轨道卫星的当前轨位资源无法满足用户需求，结束该方法。2.如权利要求1所述的基于深度强化学习的卫星通信频轨资源挖掘方法，其特征在于，所述的步骤S4，其具体包括：S41，初始化深度强化学习算法参数，深度强化学习算法参数包括经验池大小、经验数量学习门限、探索概率、折扣因子、智能体的网络参数、目标网络更新频率、奖励值函...

【专利技术属性】
技术研发人员：何元智，盛彪，
申请(专利权)人：军事科学院系统工程研究院网络信息研究所，
类型：发明
国别省市：