天地空一体化网络中面向综合效益的资源智能化协同调度方法技术

本发明专利技术公开了一种天地空一体化网络中面向综合效益的资源智能化协同调度方法，本发明专利技术通过对天地空一体化网络的拓扑状态进行分析，以强化学习为研究工具，联合调度各类资源利用率以及实际业务服务质量为总体优化目标，借助业务分析模块，判断日常业务请求的资源需求，进行资源的合理分配与调度，面向于综合效益，而非单纯的某一类资源的利用率。本发明专利技术采取强化学习策略从历史的调度经验中进行自主学习并进行知识更新将评价标准进行权重分配，在资源调度问题中选取最合理的基于全局性的规划决策，并根据此次完成的反馈信息进行学习改进，提高了业务资源调度服务质量的同时提升资源调度的合理性以及减少资源的浪费，实现满足综合效益的资源调度方法。综合效益的资源调度方法。综合效益的资源调度方法。

【技术实现步骤摘要】
天地空一体化网络中面向综合效益的资源智能化协同调度方法


[0001]本专利技术属于天地空一体化网络资源调度领域，具体涉及一种天地空一体化网络中面向综合效益的资源智能化协同调度方法。

技术介绍

[0002]卫星互联网将会与地面网络组成天地空一体的融合网络，这种三维空间的覆盖不受地域限制，一体化网络下的互联互通，可以很大程度上解决如地理位置，灾后救援等实际需求无法满足的问题，高效的完成不同用户的通信需求。
[0003]但天地空一体化网络由于网络的构成复杂，卫星的动态性使得网络拓扑时刻变化，节点的数量众多且节点之间的连接关系也很复杂，给资源调度不可避免的带来了较高的计算时间上的开销以及具有很大误差的准确性。卫星的资源的约束也导致了很难用有限的资源去调度完成海量的业务需求。所以如何高效的进行资源调度时天地空一体化网络急需解决的问题之一。
[0004]传统进行资源调度的方法包括先来先服务算法、短服务时间作业优先算法、划分不同优先级算法、加权公平队列算法、基于流量估计的加权轮询，像这一类传统的调度通常用于研究单颗高轨卫星在地球静止轨道下的资源调度，不适用于天地空一体化下网络的异构性，拓扑的动态性，多星协同等特征，在此类环境下用户业务资源调度的时间复杂度很高，计算开销占比巨大，难以保证调度工作正常运行。而基于AI技术的资源调度虽有一定优势，减少了海量业务调度问题的时间开销，但对于一体化下资源协同进行调度或部分非日常业务等的需求难以有效满足。

技术实现思路

[0005]本专利技术的目的在于克服上述不足，提供天地空一体化网络中面向综合效益的资源智能化协同调度方法，以解决现有技术中在资源调度过程中，没有考虑天地一体化网络，同时没有考虑在异构性网络和动态性拓扑的环境下海量需求各异的任务采取之前的方案进行资源调度造成不适用，性能低下，严重误差，计算开销大等问题。
[0006]为了达到上述目的，本专利技术包括以下步骤：
[0007]S1，选取阈值内的时间区间作为静态时间区间，将所需时间段划分为若干静态时间区间，将所有静态时间区间对应为网络拓扑，完成天地空一体化网络拓扑的建模；
[0008]S2，接收业务请求资源信息；
[0009]S3，获取当前天地空一体化网络中资源状态信息集合；
[0010]S4，根据业务请求资源信息和当前天地空一体化网络中资源状态的信息集合初始化调度算法策略模型，确定约束条件，初始化不同调度算法的权重系数；
[0011]S5，根据初始化后的不同调度算法的权重系数，对不同调度算法进行强化学习优化，得到集成算法模型，通过强化学习优化的实际反馈信息检测此次调度的有效性，作为之
后强化学习优化的奖励函数并决定规则奖励度，调整调度算法的权重系数；
[0012]S6，将调整后的调度算法权重系数送入S5中，改进天地空一体化网络中资源的调度策略，直至实现满足综合效益的资源调度。
[0013]天地空一体化网络拓扑包括各类卫星、地面节点及链路。
[0014]业务请求资源信息包括业务请求的服务端、客户端、带宽情况以及业务的优先级情况。
[0015]接收的业务请求资源信息包括j个不同需求的业务组成业务集合W，W＝{1，2，
···
，i，j}，其中每一个业务i在发出请求时都有特定的请求信息组成，即W
N
＝{W
j
S，W
j
C，W
j
B，W
j
G}，W
j
S、W
j
C、W
j
B和W
j
G分别代表为j业务请求的服务端、客户端、带宽情况以及业务的优先级情况。
[0016]S4中，约束条件包括调度方案需要满足从属于此用户业务的请求起始节点集合Begin、请求终点节点集合End以及两节点之间的链路集合Link。
[0017]Begin、End、Link满足以下约束条件：
[0018][0019]V
y
Node
i
C>0
[0020]V
y
Node
j
S>0
[0021][0022]通过分配的权重系数得到一个初始的调度算法。
[0023]S5中，通过强化学习优化的实际反馈信息检测此次调度的有效性时，通过资源利用率以及实际业务服务质量来进行调度结果检测，通过目前调度方案和资源状态更新此权重系数形成的策略和信息，更新方式如下：
[0024][0025]其中，为学习率，μ为衰减因子，Correct为获得的奖励。
[0026]决定规则奖励度的奖励函数为：
[0027]R＝θ*RU+(1
‑
θ)*RS
[0028]其中，θ为权重系数；
[0029]RU为调度各类资源利用率以及实际业务服务质量为总体优化目标，资源利用率包括cpu资源、存储资源以及带宽资源利用率，奖励函数为：
[0030][0031]其中，REScpu为cpu资源利用率，RESstorge为存储资源利用率，RESbw为带宽资源利用率，ε1、ε2和ε3为权重系数；
[0032]实际服务质量QoS关注调度策略完成此业务的时长、业务的时延、业务的传输速率和业务的抖动，将执行此调度策略后业务服务着重点进行组合，形成本次业务的实际服务质量，总体实际服务质量的奖励函数为：
[0033][0034]其中，STime为业务的时长，SDelay为业务的时延，SRate为业务的传输速率，SD为
业务的抖动，ε4、ε5、ε6和ε7为权重系数。
[0035]此次调度的奖励函数值R与此门限值进行比较，则：
[0036]如果R>R
lim
，则在此调度策略下奖励度为Reward
schedule
＝Reward
schedule
+correct，调高权重系数；
[0037]如果R<R
lim
，，则在此调度策略下奖励度Reward
schedule
＝Reward
schedule
‑
correct，降低权重系数。
[0038]与现有技术相比，本专利技术通过对天地空一体化网络的拓扑状态进行分析，以强化学习为研究工具，联合调度各类资源利用率以及实际业务服务质量为总体优化目标，借助业务分析模块，判断日常业务请求的资源需求，进行资源的合理分配与调度，面向于综合效益，而非单纯的某一类资源的利用率。本专利技术采取强化学习策略从历史的调度经验中进行自主学习并进行知识更新将评价标准进行权重分配，在资源调度问题中选取最合理的基于全局性的规划决策，并根据此次完成的反馈信息进行学习改进，更好的适应在天地空一体化网络环境中动态的资源调度，旨在提高业务资源调度服务质量的同时提升资源调度的合理性以及减少资源的浪费，实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.天地空一体化网络中面向综合效益的资源智能化协同调度方法，其特征在于，包括以下步骤：S1，选取阈值内的时间区间作为静态时间区间，将所需时间段划分为若干静态时间区间，将所有静态时间区间对应为网络拓扑，完成天地空一体化网络拓扑的建模；S2，接收业务请求资源信息；S3，获取当前天地空一体化网络中资源状态信息集合；S4，根据业务请求资源信息和当前天地空一体化网络中资源状态的信息集合初始化调度算法策略模型，确定约束条件，初始化不同调度算法的权重系数；S5，根据初始化后的不同调度算法的权重系数，对不同调度算法进行强化学习优化，得到集成算法模型，通过强化学习优化的实际反馈信息检测此次调度的有效性，作为之后强化学习优化的奖励函数并决定规则奖励度，调整调度算法的权重系数；S6，将调整后的调度算法权重系数送入S5中，改进天地空一体化网络中资源的调度策略，直至实现满足综合效益的资源调度。2.根据权利要求1所述的天地空一体化网络中面向综合效益的资源智能化协同调度方法，其特征在于，天地空一体化网络拓扑包括各类卫星、地面节点及链路。3.根据权利要求1所述的天地空一体化网络中面向综合效益的资源智能化协同调度方法，其特征在于，业务请求资源信息包括业务请求的服务端、客户端、带宽情况以及业务的优先级情况。4.根据权利要求3所述的天地空一体化网络中面向综合效益的资源智能化协同调度方法，其特征在于，接收的业务请求资源信息包括j个不同需求的业务组成业务集合W，W＝{1，2，
···
，i，j}，其中每一个业务i在发出请求时都有特定的请求信息组成，即W
N
＝{W
j
S，W
j
C，W
j
B，W
j
G}，W
j
S、W
j
C、W
j
B和W
j
G分别代表为j业务请求的服务端、客户端、带宽情况以及业务的优先级情况。5.根据权利要求1所述的天地空一体化网络中面向综合效益的资源智能化协同调度方法，其特征在于，S4中，约束条件包括调度方案需要满足从属于此用户业务的请求起始节点集合Begin、请求终点节点集合End以及两节点之间的链路集合Link。6.根据权利要求5所述的天地空一体化网络中面向综合效益的...

【专利技术属性】
技术研发人员：曲桦，赵季红，罗婷，袁晓东，王洪强，周鑫，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：