一种面向边缘计算中基于深度强化学习的服务器部署方法技术

本发明专利技术公开了一种面向边缘计算中基于深度强化学习的服务器部署方法，该方法在考虑边缘服务器间异构性的同时加以能耗约束，平衡放置成本和平均接入时延两个优化目标。首先，确定边缘计算的网络架构，根据网络架构构建系统模型和计算模型，然后依据问题模型构建问题优化模型。其次，使用基于贪婪的策略优先选取单位资源成本价最低的服务器组成子集合，选取能耗上限大于请求和并且总成本最低的子集合进行后续部署工作。最后，将边缘服务器部署建模为马尔科夫决策过程，使用深度强化学习算法求解合理的边缘服务器部署策略，以充分利用有限的边缘计算资源。的边缘计算资源。的边缘计算资源。

【技术实现步骤摘要】
一种面向边缘计算中基于深度强化学习的服务器部署方法


[0001]本专利技术属于物联网、人工智能领域，具体涉及一种边缘计算中基于深度强化学习的服务器部署方法。

技术介绍

[0002]边缘计算技术是实现5G关键性能指标的新兴技术之一，在边缘计算框架下，移动网络和互联网业务实现了有效融合，并进一步扩展至其他应用领域。边缘计算最初被提出为云计算技术的补充和扩展，其基本思想是通过将服务器放置在用户端来提供计算和存储能力，其理念充分适应了互联网发展到物联网时代的基本形态要求——去中心化。相比于云计算，边缘计算可以有效缓解骨干网络拥塞，发掘无线网络的内在能力，具备时延低、带宽高、灵活性强等优点。但是，边缘计算的性能仍有待提升，相比于云中央服务器，边缘服务器具备的存储和计算资源有限，因此充分利用有限的边缘计算资源是提升边缘计算网络性能的方式之一。
[0003]现有面向边缘计算中的任务卸载策略得到了宽泛的研究，他们通常直接跳过边缘服务器部署这一前置步骤，将基站本身假设为计算资源或是假设服务器在网络中随机分布，但这些都是不切合实际的：首先，基站是无线电站台的一种，其功能与服务器完全不同，不能等同看待；其次，站在移动用户的角度来看，随机部署策略会对服务响应时间产生不利影响，进而造成请求密集区域用户服务质量的下降；最后，站在边缘供应商的角度来看，如果在每个基站处都放置一台边缘服务器，势必会造成放置成本的增加和资源的浪费。合理地部署服务器是提升边缘计算网络性能的第一个关键步骤，有助于为后续研究打下坚实基础，提升边缘计算网络性能。/>[0004]近年来，一些研究采用基于聚类的方法部署边缘服务器，这种策略通常将服务器放置在每个用户群的中心处，但是由于没有照顾到偏离集群中心的用户，在实际应用中这些方案无法为平均用户服务质量提供保障。由于边缘服务器放置问题属于NP难问题，即不可能在多项式时间内找到所有最优可行解，现也有一些研究使用近似算法和启发式算法解决此类问题。Dixit Bhatta等人专注于优化服务器部署的成本和用户访问延迟，提出双因子近似算法将优化目标分离并独立分析最坏情况，从而达到多目标的帕累托最优状态，即在不降低其他目标值的情况下，无法提升任何目标函数的值；Yuanzhe Li等人在传统粒子群算法的基础上增添权值q，为大工作量和处于核心区域的基站提供服务质量保障，从而优化服务器的能耗和平均访问延迟，最大化边缘供应商的部署利润；考虑到近似算法和元启发式算法具有可扩展性差、易陷入局部最优解和参数调节困难等不足，Fei Luo等人使用强化学习算法解决边缘服务器放置问题，均衡服务器间工作负载，最大化资源利用率；针对车联网应用场景，Jiawei Lu等人在边缘网络中预先设定放置的服务器数量，利用深度强化学习算法求解令覆盖范围最大化的放置策略，但是以上研究均建立在假设服务器规模一致的基础上，没有考虑到现实边缘网络中服务器之间的异构性。

技术实现思路

[0005]本专利技术针对边缘计算网络中服务器利用不充分的问题，综合用户与供应商的需求，在考虑服务器间异构性的同时加以能耗约束，平衡放置成本和平均接入时延两个优化目标，提出合理的边缘服务器部署策略，以充分利用有限的边缘计算资源。
[0006]为解决上述问题，本专利技术提出一种面向边缘计算中基于深度强化学习的服务器部署方法，该方法在建立网络模型的基础上，依据问题模型解决服务器的选取和布局两个问题。首先，确定边缘计算的网络架构，根据网络架构构建系统模型和计算模型，然后依据计算模型确定问题优化模型。其次，使用基于贪婪的策略优先选取单位资源成本价最低的服务器组成子集合，选取能耗上限大于请求和并且总成本最低的子集合进行后续部署工作。最后，将边缘服务器部署建模为马尔科夫决策过程，使用深度强化学习算法求解合理的边缘服务器部署策略，以充分利用有限的边缘计算资源。具体包括以下步骤：
[0007]S1.确定边缘计算中服务器部署的网络架构；
[0008]本专利技术所涉及的是一种面向边缘计算中基于深度强化学习的服务器部署策略，如图2所示，边缘计算网络通常由三层架构组成：云计算中心层、边缘服务器层与用户层，本专利技术主要关心边缘服务器层。网络中存在若干个基站与若干台边缘服务器。规定边缘服务器只能放置在基站处，其中每个基站都可以作为服务器的候选放置点。每台服务器可以选择连接一个或多个基站，为了满足边缘计算中所有用户的计算和网络需求，每个基站都必须选择一台且仅有一台服务器相连接，当基站周围有多台服务器可以选择时，可以依据计算模型从中选择最合适的一台。
[0009]S2.根据边缘计算网络架构构建系统模型；
[0010]系统模型由网络拓扑模型和服务器布局关系模型组成。
[0011]网络拓扑模型如下：边缘服务器层的网络拓扑关系用二维无向图G＝(V,E)表示。其中V＝B∪S，B为基站集合，b
i
(i＝1,2,3,...,m)表示第i个基站，S为服务器集合；s
j
(j＝1,2,3,...,n)表示第j个服务器；
[0012]表示基站与服务器之间的连接关系，其中表示基站b
i
是否被分配给了服务器s
j
。
[0013]服务器布局关系模型如下：边缘服务器的布局关系用Ω＝(L,E)表示，其中表示服务器所在的位置集合，代表边缘服务器s
j
是否被放置在b
i
处。
[0014]S3.根据边缘计算网络架构构建计算模型；
[0015]计算模型由服务器的能耗模型、成本模型和延迟模型三个部分组成。
[0016]能耗模型如下：对于服务器s
j
，其能量消耗w(s
j
)表示为
[0017][0018]其中，w(b
i
)为基站b
i
承担的用户总访问量。
[0019]成本模型如下：边缘网络中所有服务器的放置成本和C为
[0020][0021]其中，C(s
j
)为服务器s
j
的放置成本，如下所示：
[0022]C(s
j
)＝λ1W
max
(s
j
)+λ2G(s
j
)
ꢀꢀ
(3)
[0023]其中，W
max
(s
j
)为服务器s
j
的能量上限，G(s
j
)为服务器s
j
的占地面积大小，λ1和λ2表示比例系数，服务器的放置成本与其能量上限和占地面积大小呈正相关，因此比例系数均为正数。
[0024]延迟模型如下：网络中的平均接入延迟为
[0025][0026]其中，x为网络中选取的服务器总数，d(b
i
,s
j
)表示基站b
i
和服务器s
j
之间的接入时延。由于在5G系统中所有用户数据都需要经过用户平面功能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向边缘计算中基于深度强化学习的服务器部署方法，其特征在于，包括以下步骤：步骤1，确定边缘计算中服务器部署的网络架构；边缘计算网络由三层架构组成：云计算中心层、边缘服务器层与用户层；边缘服务器层中，网络中存在若干个基站与若干台边缘服务器；规定边缘服务器只能放置在基站处，每台服务器选择连接一个或多个基站；每个基站都必须选择一台服务器相连接；步骤2，根据边缘计算网络架构构建系统模型；系统模型由网络拓扑模型和服务器布局关系模型组成；网络拓扑模型如下：边缘服务器层的网络拓扑关系用二维无向图G＝(V,E)表示；其中V＝B∪S，B为基站集合，b
i
(i＝1,2,3,...,m)表示基站i，S为服务器集合，s
j
(j＝1,2,3,...,n)表示服务器j；表示基站与服务器之间的连接关系，其中表示基站b
i
是否被分配给了服务器s
j
；服务器布局关系模型如下：边缘服务器的布局关系用Ω＝(L,E)表示，其中表示服务器所在的位置集合，代表边缘服务器s
j
是否被放置在b
i
处；步骤3，根据边缘计算网络架构构建计算模型；计算模型考虑服务器的能耗模型、成本模型和延迟模型三个部分；能耗模型如下：对于服务器s
j
，其能量消耗w(s
j
)表示为其中，w(b
i
)为基站b
i
承担的用户总访问量；成本模型如下：边缘网络中所有服务器的放置成本和为其中，C(s
j
)为服务器s
j
的放置成本，如下表示：C(s
j
)＝λ1W
max
(s
j
)+λ2G(s
j
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，W
max
(s
j
)为服务器s
j
的能量上限，G(s
j
)为服务器s
j
的占地面积大小，λ1和λ2表示比例系数，服务器的放置成本与其能量上限和占地面积大小呈正相关，因此比例系数均为正数；延迟模型如下：网络中的平均接入延迟为其中，x为网络中选取的服务器总数，d(b
i
,s
j
)表示基站b
i
和服务器s
j
之间的接入时延；基站与服务器之间的接入时延中，具体由基站与UPF之间的接入时延和UPF与边缘服务器之间的接入时延两部分组成，如下表示：
其中，u
k
表示UPFk(k＝1,2,3
…
)，r表示UPF总个数；步骤4，依据计算模型，建立考虑能耗上限，平衡成本与平均延迟的优化模型；采用Z
‑
Score标准化方法将平均时延和总成本两个互相博弈的优化目标归一化，并分别附以相加和为1的权值；综合服务器s
j
的能耗上限得到优化模型：min(θZ
C
+(1
‑
θ)Z
D
)(6)其中，Z
C
是公式(3)中的成本归一化后的结果，Z
D
是公式(4)中的时延归一化后的结果；公式(7)表示服务器的能耗约束，即每台服务器的能量消耗不超过其上限；步骤5，选取边缘服务器，包括以下步骤：步骤5.1，服务器子集合选取；首先统计网络中所有基站收到的网络请求和，其次在规格各异的服务器集合中，选取单位资源成本价最低的服务器组成子集合，保留能耗上限大于等于请求和的子集合；步骤5.2，在所有子集合中，选择总成本价最低的子集合。2.根据权利要求1所述的一种面向边缘计算中基于深度强化学习的服务器部署方法，其特征在于：将边缘服务器部署过程建立为马尔科夫决策过程，使用深度强化学习算法求解部署策略，用于实现优化目标；具体包括以下步骤：步骤1，构建包括状态空间、动作空间和奖惩函数三大要素的马尔科夫决策模型，模型定义如下：状态空间：状态...

【专利技术属性】
技术研发人员：方娟，刘雅祺，滕自怡，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：