一种带宽感知的空天地一体化网络资源分配方法组成比例

本发明专利技术提供了一种带宽感知的空天地一体化网络资源分配方法。由于空天地一体化网络在网络资源分配上面临的一系列问题，本发明专利技术所提出的带宽感知的空天地一体化网络资源分配方法将空天地一体化网络资源分配问题转化为一个多域虚拟网络映射问题，利用基于策略网络的深度强化学习进行节点映射，将物理网络节点的特征矩阵作为策略网络的输入，并在链路映射阶段优先映射大带宽的链路。本发明专利技术与其他空天地一体化网络资源分配方法相比，满足了用户大带宽的需求，在虚拟网络映射的长期接受率、长期平均收益和长期平均收益成本比等方面有更好的性能。的性能。的性能。

【技术实现步骤摘要】
一种带宽感知的空天地一体化网络资源分配方法


[0001]本专利技术涉及空天地一体化网络资源分配，特别涉及一种带宽感知的空天地一体化网络资源分配方法。

技术介绍

[0002]现如今，随着网络用户的大量增加和网络服务需求的爆炸式增长，仅仅依靠地面网络通信已经难以保证未来网络的服务质量。未来网络旨在追求万物互联，它将突破地面网络的限制，在极大提升用户体验感的同时，将网络供应服务延伸至太空、深山、深海，形成一个太空、天空、地面一体化的全方位覆盖网络，这就是空天地一体化网络。空天地一体化网络包括三个部分：空基网络、天基网络、地基网络。空基网络的主要组成部分是卫星，天基网络的主要构成部分是无人机，而地基网络主要由蜂窝无线网络组成，各个网段之间有着不同的网络结构。目前，对于空天地一体化网络的研究还处于初级阶段，面对日益增长的服务需求，空天地一体化网络的网络资源分配问题亟待解决。
[0003]虚拟网络映射技术是一项具有广泛前景的技术，它主要通过对物理网络进行抽象化表达，将用户需求抽象为虚拟网络请求，在物理网络资源的限制下有选择性地进行网络资源的调度与分配，即将虚拟网络请求映射到物理网络上，从而实现物理网络资源的高效利用，为用户提供高质量的网络服务。根据虚拟网络映射算法的本质就是对网络资源进行高效的分配，现在已经有许多学者尝试将虚拟网络映射技术引入空天地一体化网络资源分配问题中。
[0004]在如今的虚拟网络映射算法研究中，大多学者常采取启发式算法和线性规划来解决网络分配问题，而这些算法往往容易陷入局部极值且有时不符合实际情况。机器学习在近几年成为研究热门，并在各大领域都取得较大的进展。在这其中，深度强化学习倍受关注。深度学习具有较强的感知能力，强化学习具有强大的决策力，将两者结合起来的深度强化学习则有着优秀的感知决策能力。基于策略网络的深度强化学习将策略网络作为代理，通过训练策略网络生成一个策略并在环境中执行该策略，环境生成一个新的状态和奖励，代理将根据环境反馈的状态和奖励生成新的策略。目前已有研究证明深度强化学习在虚拟网络资源分配中有较好的表现。
[0005]在实际的空天地一体化网络资源分配问题中，用户往往对网络的带宽有着不同的需求，例如无人机则需要大带宽，需要一定的带宽保证，而普通的电话通信则对带宽的要求较低。如何在空天地一体化网络中实现高效的网络分配的同时尽量满足用户的大带宽需求，这也是目前需要解决的问题。

技术实现思路

[0006]本专利技术的目的是提出一种带宽感知的空天地一体化网络资源分配方法，采用虚拟网络映射算法来解决空天地一体化网络资源分配问题，结合深度强化学习，实现带宽保证的空天地一体化网络资源的高效分配。
[0007]本专利技术采取的技术方案如下：由于空天地一体化网络不同网段间的异构性，将其网络资源分配问题转化为一个多域虚拟网络映射问题，将网络结构抽象为图结构并进行数学建模，使用自动化程序来生成物理网络和虚拟网络请求；将虚拟网络映射分为两个阶段进行，在节点映射阶段引入基于策略网络的深度强化学习，将策略网络作为代理，做出映射节点的选择；在链路映射阶段，优先映射大带宽的链路；最后再根据网络映射性能评价指标来评估虚拟网络映射的表现，完成空天地一体化网络的资源分配。
[0008]所述的空天地一体化网络转换为多域虚拟网络的建模方法，将空天地一体化网络中的网络设备用节点来表示，设备间的链路用线来表示，节点间的数字代表链路的带宽，节点旁的数字代表该节点的计算能力，形成一个加权无向图其中，代表空基网络，代表天基网络，代表地基网络。而则用于表示空天地一体化网络中节点的集合，用于表示空天地一体化网络中链路的集合，用于表示空天地一体化网络中资源的集合，主要包括节点的计算能力和链路的带宽。相似地，虚拟网络请求也抽象为一个加权无向图在进行空天地一体化网络资源分配时，须遵循资源的限制。
[0009]所述的资源的限制，指的是在将虚拟网络请求映射到空天地一体化网络时，每成功进行一次映射，则会占据节点的计算能力和链路的带宽。故在进行节点映射时，虚拟网络请求节点的计算能力要小于对应的空天地一体化网络节点的计算能力。同样的，在链路映射时，虚拟网路请求中链路的带宽要低于映射到的空天地一体化网络中链路的带宽。
[0010]所述的在节点映射阶段引入基于策略网络的深度强化学习，使用策略网络来作为深度强化学习的代理，该策略网络包括输入层、卷积层、全连接层、Softmax层、过滤层、输出层。在节点映射阶段，提取物理网络中节点的特征矩阵作为输入层的输入，依次进行卷积计算、全连接层降低维度，在Softmax层将数据映射到(0,1)区间上，将其表示为映射成功的概率，在过滤层对节点进行排序和筛选，输出具有高映射成功概率的节点。映射概率越接近1，则在节点映射时优先选择该节点。完成节点映射后在链路映射阶段优先将虚拟网络请求映射到大带宽的链路上。完成网络资源的分配后，再根据网络映射性能的评价指标来评估本次网络分配的表现。
[0011]所述的网络映射性能评价指标，主要用于评估每次映射的性能表现，主要包括虚拟网络请求的长期接受率、虚拟网络映射的长期平均收益和长期平均收益成本比，并且本专利技术的优化目标就是尽可能在保证大带宽的情况下，尽可能地追求较高的接受率、平均收益和平均收益成本比。三个指标的定义如下：
[0012](1)长期接受率
[0013]在时间段t∈(0,T)内的虚拟网络请求接受率可以表示为：
[0014][0015]其中，VNR
ac
表示成功映射到物理网络上的虚拟网络请求的个数，SUM(VNR)表示虚拟网络请求的总个数。
[0016](2)长期平均收益
[0017]将虚拟网络请求节点的计算能力和链路带宽的需求定义为虚拟网络映射的收益，故在时间段t∈(0,T)内虚拟网络映射的长期平均收益定义如下：
[0018][0019]其中，Re(G
S
,t)表示t时间内网络的收益，通常为节点计算能力和链路带宽之和。
[0020](3)长期平均收益成本比
[0021]在时间段t∈(0,T)内虚拟网络映射的长期平均收益成本比表示为：
[0022][0023]其中，表示t时间内进行虚拟网络映射过程中计算能力和带宽的总消耗。
[0024]本专利技术与现有技术方法相比，优势为：(1)将空天地一体化网络的网络资源分配问题转化为一个多域的虚拟网络映射问题，解决了空天地一体化网络不同网段间的异构性问题。(2)采用深度强化学习来进行节点映射，相较于启发式算法和线性规划等方法，在映射性能上有更好的表现。(3)在链路映射阶段优先映射到大带宽的链路，满足了用户对大带宽的需求。
附图说明
[0025]为了更清楚地说明本专利技术的技术方案，下面将对
技术实现思路
中所需要使用的附图作简要地介绍。
[0026]图1是虚拟网络映射示意图，(a)为两个虚拟网络请求，(b)为物理网络。节点旁方框内的数字表示节点的计算能力，节点间的数字表示链路的带宽。图中展示了一种在计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种带宽感知的空天地一体化网络资源分配方法，其特征在于：根据空天地一体化网络各个网段之间的异构性，将空天地一体化网络的资源分配问题转化为多域的虚拟网络映射问题，分为节点映射和链路映射两个阶段；在节点映射阶段，引入基于策略网络的深度强化学习，将策略网络作为深度强化学习的代理，通过特征提取、网络训练，输出映射成功概率最高的节点；依据用户对大带宽需求，在链路映射阶段优先映射大带宽的链路；用自动化程序生成物理网络和虚拟网络请求的拓扑，编写Python代码完成虚拟网络资源的分配，使用网络映射性能评价指标对分配效果进行评估。2.根据权利要求1所述的将空天地一体化网络资源分配问题转化为多域的虚拟网络映射问题，其特征在于：空天地一体化网络分为空基、天基、地基网络，网段间的结构各不相同，将空天地一体化网络用节点和线建模为一个加权无向图，使用多域的虚拟网络映射技术来模拟空天地一体化网络的资源分配过程。3.根据权利要求1所述的引入基于策略网络的深度强化学习进行节点映射，其特征在于：将策略网络作为深度强化学习的代理，策略网络包括该策略网络包括输入层、卷积层、全连接层、Softmax层、过滤层、...

【专利技术属性】
技术研发人员：苏雨，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：