基于双延迟深度确定性策略边缘计算资源调度方法和系统技术方案

本发明专利技术涉及基于双延迟深度确定性策略边缘计算资源调度方法和系统。一种基于双延迟深度确定性策略边缘计算资源调度方法，边缘计算系统包括边缘服务器以及与所述边缘服务器通信连接的若干个边缘网关，包括步骤：边缘服务器获取所有所述边缘网关的独立任务信息集合；基于所述独立任务信息集合，所述边缘分配网络使用双延迟深度确定性策略梯度算法针对所有所述边缘网关分别输出对应的最优服务器分配频率和最优调度顺序；将所述最优服务器分配频率和所述最优调度顺序发送到所述边缘网关执行调度。能够在系统资源有限且紧张时，在大幅度降低能量消耗的同时大幅度降低延迟，从而提高用户体验和能量、网络资源利用率。

【技术实现步骤摘要】
基于双延迟深度确定性策略边缘计算资源调度方法和系统
本专利技术涉及边缘计算领域，尤其涉及基于双延迟深度确定性策略边缘计算资源调度方法和系统。
技术介绍
第五代移动通信技术(5G)正面临着爆炸式数据流量增长和大规模设备连接的新挑战。虚拟现实、增强现实、无人驾驶汽车和智能电网等5G网络新业务对延迟提出了更高的要求，同时这些计算密集型应用也会消耗大量的能量，用户设备自身无法解决这些问题，边缘计算应运而生。边缘计算把计算和存储资源部署在移动网络边缘，来满足某些应用的严苛的延迟要求。边缘网关可以通过无线信道将计算任务整体或部分卸载到MEC服务器进行计算，降低延迟和能耗，从而获得良好的用户体验。现有的传统优化算法对于解决MEC计算卸载与资源资源分配问题是可行的，但是传统优化算法并不是很适用于高实时性的MEC系统。强化学习算法很适合解决资源分配问题，如MEC服务器资源分配。边缘计算中的最小化系统消耗问题可以通过寻找最优卸载决策和计算卸载的资源分配来解决。然而卸载决策向量X是二元变量的可行集并且目标函数是非凸问题。此外，当任务数增加时，最小化系统消耗问题的求解难度将会呈指数规模增加，因此其是一个从背包问题扩展而来的非凸问题，是NP难题。因而现有的边缘计算系统领域存在不足，还有待改进和提高。
技术实现思路
鉴于上述现有技术的不足之处，本专利技术的目的在于提供基于双延迟深度确定性策略边缘计算资源调度方法和系统，解决5G异构网络中的延迟和能量优化问题，通过有效的卸载资源调度和服务器资源分配方法，提高计算资源的利用率并减小任务延迟。为了达到上述目的，本专利技术采取了以下技术方案：一种基于双延迟深度确定性策略边缘计算资源调度方法，边缘计算系统包括边缘服务器以及与所述边缘服务器通信连接的若干个边缘网关，在所述边缘服务器中构建边缘分配网络和边缘分配目标网络，包括步骤：边缘服务器获取所有所述边缘网关的独立任务信息集合；基于所述独立任务信息集合，所述边缘分配网络使用双延迟深度确定性策略梯度算法针对所有所述边缘网关分别输出对应的最优服务器分配频率和最优调度顺序；将所述最优服务器分配频率和所述最优调度顺序发送到所述边缘网关执行调度；所述边缘分配目标网络基于获取到的所述独立任务信息集合进行实时训练；所述边缘分配网络的网络参数根据所述边缘分配目标网络的目标网络参数分段更新。优选的所述的基于双延迟深度确定性策略边缘计算资源调度方法，所述独立任务信息集合具有若干独立任务信息，所述独立任务信息至少包括数据量、处理该任务所需CPU周期量；所述所需CPU周期量包括服务器所需周期量和边缘网关所需周期量；所述边缘分配网络使用双延迟深度确定性策略梯度算法针对所有所述边缘网关分别输出对应的最优服务器分配频率和最优调度顺序的执行步骤与所述边缘分配目标网络的实时训练步骤相同，具体包括：S31、基于所述独立任务信息集合，通过预分类求解所述边缘服务器为每个所述边缘网关分配的预分配频率；S32、所述边缘分配目标网络基于每个所述独立任务的服务器所需周期量和边缘网关所需周期量对所有独立任务进行分类，分别存入卸载任务集合与本地任务集合；S33、所述边缘分配目标网络使用双延迟深度确定性策略梯度算法对卸载任务集合中的独立任务进行服务器分配频率；S34、每执行步骤S32-S33为一次迭代，在经过预定次数的迭代后，输出最优服务器分配频率，并确定所述边缘分配目标网络的目标网络参数。优选的所述的基于双延迟深度确定性策略边缘计算资源调度方法，所述最优服务器分配频率的输出标准为：当迭代计算最终具有收敛结果，则输出迭代收敛的服务器分配频率作为所述最优服务器分配频率；否则，输出所述预分配频率作为所述最优服务器分配频率。优选的所述的基于双延迟深度确定性策略边缘计算资源调度方法，所述边缘分配网络的网络参数根据所述边缘分配目标网络的目标网络参数分段更新，具体为：在所述边缘分配目标网络在实时训练时，所述步骤S34中，每迭代设定次数，就将当期的所述目标网络参数以训练前的网络参数为基准，按照预定步长划分更新区段得到更新参数，作为所述边缘分配网络的网络参数进行更新。优选的所述的基于双延迟深度确定性策略边缘计算资源调度方法，所述设定次数为20-80。优选的所述的基于双延迟深度确定性策略边缘计算资源调度方法，所述步骤S31中，所述预分配频率的具体获得步骤包括：S311、分别计算每个边缘网关的设备CPU频率占所有所述边缘网关的设备CPU频率之和的主频比例；在所述边缘服务器中按照所述主频比例为边缘网关分配CPU频率；S312、根据每个所述独立任务信息计算每个独立任务的本地执行时延，分别计算每个边缘网关的本地执行时延占所有所述边缘网关的所述本地执行时延之和的相对时延比；S313、根据所述主频比例和所述相对时延比例，分别计算每个所述边缘网关的分配权重；S314、根据所述分配权重和所述服务CPU频率分别计算每个所述边缘网关在边缘服务器中的预分配频率。优选的所述的基于双延迟深度确定性策略边缘计算资源调度方法，所述步骤S32具体包括：S321、将所有所述边缘网关的所述独立任务信息根据卸载时间和服务器执行时间进行分类，将卸载时间小于服务器执行时间的所述独立任务信息添加到第一数组，并将所述第一数组中的所有的所述独立任务信息按照所述卸载时间升序排列；将卸载时间大于或等于所述服务器执行时间的所述独立任务信息添加到第二数组，并将所述第二数组中的所有所述独立任务信息根据所述服务器执行时间降序排列；S322、获取所述第一数组内每个所述独立任务信息的服务器执行时间和卸载时间，得到每个所述独立任务信息的服务器处理时间；获取所述第二数组内每个所述独立任务信息的本地执行时间；S323、获取所述第一数组内所有所述独立任务信息的总服务器处理时间与所述第二数组内所有所述独立任务信息的总本地执行时间之间的时间差值；S324、根据所述时间差值确定时间较长的数组内列后的所有所述独立任务信息，形成第三数组；将处理后的所述第一数组作为卸载任务集合，将处理后的所述第二数组作为本地任务集合；S325、将所述第三数组内的每个所述独立任务信息分别计算服务器处理时间和本地执行时间，将服务器处理时间大于所述本地执行时间的独立任务信息放入所述本地任务预分配集合，将服务器处理时间小于或等于所述本地执行时间的独立任务信息放入所述卸载任务预分配集合；S326、将所述第三数组中的所述独立任务信息分配完毕后，得到卸载任务集合和本地任务集合，并根据所述最终卸载任务集合得到卸载决策向量。优选的所述的基于双延迟深度确定性策略边缘计算资源调度方法，所述步骤S34中，所述预定次数为100-200。优选的所述的基于双延迟深度确定性策略边缘计算资源调度方法，所述边缘分配网络由价值网络和动作网络组成；所述边缘分配目标网络由价值目标网络和动作目标网络组成。一种边缘计算系统，包括边缘服务器以及与本文档来自技高网...

【技术保护点】
1.一种基于双延迟深度确定性策略边缘计算资源调度方法，其特征在于，边缘计算系统包括边缘服务器以及与所述边缘服务器通信连接的若干个边缘网关，在所述边缘服务器中构建边缘分配网络和边缘分配目标网络，包括步骤：/n边缘服务器获取所有所述边缘网关的独立任务信息集合；/n基于所述独立任务信息集合，所述边缘分配网络使用双延迟深度确定性策略梯度算法针对所有所述边缘网关分别输出对应的最优服务器分配频率和最优调度顺序；/n将所述最优服务器分配频率和所述最优调度顺序发送到所述边缘网关执行调度；/n所述边缘分配目标网络基于获取到的所述独立任务信息集合进行实时训练；所述边缘分配网络的网络参数根据所述边缘分配目标网络的目标网络参数分段更新。/n

【技术特征摘要】
1.一种基于双延迟深度确定性策略边缘计算资源调度方法，其特征在于，边缘计算系统包括边缘服务器以及与所述边缘服务器通信连接的若干个边缘网关，在所述边缘服务器中构建边缘分配网络和边缘分配目标网络，包括步骤：
边缘服务器获取所有所述边缘网关的独立任务信息集合；
基于所述独立任务信息集合，所述边缘分配网络使用双延迟深度确定性策略梯度算法针对所有所述边缘网关分别输出对应的最优服务器分配频率和最优调度顺序；
将所述最优服务器分配频率和所述最优调度顺序发送到所述边缘网关执行调度；
所述边缘分配目标网络基于获取到的所述独立任务信息集合进行实时训练；所述边缘分配网络的网络参数根据所述边缘分配目标网络的目标网络参数分段更新。


2.根据权利要求1所述的基于双延迟深度确定性策略边缘计算资源调度方法，其特征在于，所述独立任务信息集合具有若干独立任务信息，所述独立任务信息至少包括数据量、处理该任务所需CPU周期量；所述所需CPU周期量包括服务器所需周期量和边缘网关所需周期量；
所述边缘分配网络使用双延迟深度确定性策略梯度算法针对所有所述边缘网关分别输出对应的最优服务器分配频率和最优调度顺序的执行步骤与所述边缘分配目标网络的实时训练步骤相同，具体包括：
S31、基于所述独立任务信息集合，通过预分类求解所述边缘服务器为每个所述边缘网关分配的预分配频率；
S32、所述边缘分配目标网络基于每个所述独立任务的服务器所需周期量和边缘网关所需周期量对所有独立任务进行分类，分别存入卸载任务集合与本地任务集合；
S33、所述边缘分配目标网络使用双延迟深度确定性策略梯度算法对卸载任务集合中的独立任务进行服务器分配频率；
S34、每执行步骤S32-S33为一次迭代，在经过预定次数的迭代后，输出最优服务器分配频率，并确定所述边缘分配目标网络的目标网络参数。


3.根据权利要求2所述的基于双延迟深度确定性策略边缘计算资源调度方法，其特征在于，所述最优服务器分配频率的输出标准为：当迭代计算最终具有收敛结果，则输出迭代收敛的服务器分配频率作为所述最优服务器分配频率；否则，输出所述预分配频率作为所述最优服务器分配频率。


4.根据权利要求2所述的基于双延迟深度确定性策略边缘计算资源调度方法，其特征在于，所述边缘分配网络的网络参数根据所述边缘分配目标网络的目标网络参数分段更新，具体为：在所述边缘分配目标网络在实时训练时，所述步骤S34中，每迭代设定次数，就将当期的所述目标网络参数以训练前的网络参数为基准，按照预定步长划分更新区段得到更新参数，作为所述边缘分配网络的网络参数进行更新。


5.根据权利要求4所述的基于双延迟深度确定性策略边缘计算资源调度方法，其特征在于，所述设定次数为20-80。


6.根据权利要求2所述的基于双延迟深度确定性策略边缘计算资源调度方法，其特征在于，所述步骤S31中，所...

【专利技术属性】
技术研发人员：李林峰，肖林松，范律，陈永，余伟峰，
申请(专利权)人：威胜信息技术股份有限公司，
类型：发明
国别省市：湖南;43