一种基于深度强化学习的云边端协同计算卸载方法及系统技术方案

本发明专利技术提供一种基于深度强化学习的云边端协同计算卸载方法，在云服务器上实现，该方法包括以下步骤：获取所有移动层设备的实际任务；使用预先训练好的深度强化学习模型，对每一个实际任务分别求解，并根据求解结果，选择相应的卸载算法进行卸载，直至所有实际任务卸载完毕；其中，所述深度强化学习模型预先设置有至少两种卸载算法。实施本发明专利技术，在任务卸载时能从数种卸载算法中做出选择，使每种算法发挥出各自的优势，从而让所有任务的卸载结果达到总体最优。到总体最优。到总体最优。

【技术实现步骤摘要】
一种基于深度强化学习的云边端协同计算卸载方法及系统


[0001]本专利技术涉及云计算
，尤其涉及一种基于深度强化学习的云边端协同计算卸载方法、系统及云服务器。

技术介绍

[0002]物联网在改善城市生活质量方面发挥着重要作用，涉及到制造、运输、建筑、采矿和能源等领域。在物联网广泛使用的场景下，设备监控和维护过程中会生成大量需要进行存储、处理和分析的数据并传输到集中云，但物联网的大部分服务需要实时计算，例如安全辅助驾驶和自动驾驶。因此，拥有强大计算能力的云边缘协同计算卸载方法已引起越来越多的关注，有必要对云边端协同计算卸载方案展开深入研究。
[0003]目前，云边端协同计算卸载方法已借助深度强化学习技术来实现，但所涉及到的大多数算法都是对一些任务卸载拥有较好的表现而对其他任务卸载的表现较差，这是由卸载算法的特性和卸载任务的特点等因素共同决定的。例如，专利申请号为CN111414252A，名称为一种基于深度强化学习的任务卸载方法的专利技术专利，该专利技术专利可以实现在不知道信道状态信息的情形下，通过探索和训练来自适应调整MEC系统的任务卸载策略，实现系统的卸载成本最小化来提升用户体验，但只考虑了移动边缘服务器，没有考虑到云服务器，而云服务器计算能力更强，是未来计算卸载重要的组成部分之一。又如，专利申请号为CN111405569A，名称为基于深度强化学习的计算卸载和资源分配方法及装置的专利技术专利，该专利技术专利同时考虑到时变的MEC系统中实际的计算卸载和资源分配特性，任务的时延阈值与系统有限的资源容量约束，并基于深度强化学习，利用DNN来有效地逼近强化学习中的值函数，以确定计算卸载和资源分配的联合最优方案来进一步降低UE的能耗，但只使用一种算法对任务进行卸载，没有多种算法共同协作卸载的效果好。又如，专利申请号为CN109257429A，名称为一种基于深度强化学习的计算卸载调度方法的专利技术专利，该专利技术专利使用神经网络作为Q值得线性逼近器，可以有效的提高训练速度，减少训练所需要的样本，从而能有效的在既定模型和优化目标下，通过深度强化学习做出最优决策，但涉及的方法步骤较多，较为复杂，且无法满足实时计算的需求。
[0004]因此，为了解决上述现有技术所存在的问题，亟需一种新的基于深度强化学习的云边端协同计算卸载方法，在任务卸载时能从数种卸载算法中做出选择，使每种算法发挥出各自的优势，从而让所有任务的卸载结果达到总体最优。

技术实现思路

[0005]本专利技术实施例所要解决的技术问题在于，提供一种基于深度强化学习的云边端协同计算卸载方法、系统及云服务器，能在任务卸载时能从数种卸载算法中做出选择，使每种算法发挥出各自的优势，从而让所有任务的卸载结果达到总体最优。
[0006]为了解决上述技术问题，本专利技术实施例提供了一种基于深度强化学习的云边端协同计算卸载方法，其在云服务器上实现，所述云服务器与边缘层设备及每一边缘层设备接
入的移动层设备实现互联；其中，所述方法包括以下步骤：
[0007]获取所有移动层设备的实际任务；
[0008]使用预先训练好的深度强化学习模型，对每一个实际任务分别求解，并根据求解结果，选择相应的卸载算法进行卸载，直至所有实际任务卸载完毕；其中，所述深度强化学习模型预先设置有至少两种卸载算法。
[0009]其中，所述使用预先训练好的深度强化学习模型，对每一个实际任务分别求解，并根据求解结果，选择相应的卸载算法进行卸载，直至所有实际任务卸载完毕的具体步骤包括：
[0010]确定预先训练好的深度强化学习模型，所述深度强化学习模型表示为t
i
＝Choose(d
j
)；其中，t
i
∈{1,...,X}，且t
i
的输出值1～X分别对应预先设置的1～X种卸载算法；d
j
为当前任务；
[0011]在所述深度强化学习模型中，分别导入每一个实际任务求解，得到每一个实际任务的求解结果t
i
，并对应在预先设置的1～X种卸载算法中选择相应的卸载算法进行卸载，直至所有实际任务卸载完毕。
[0012]其中，所述预先设置的1～X种卸载算法包括贪心算法和粒子群算法。
[0013]其中，所述深度强化学习模型是基于改进的A3C算法构建出来的，并通过在移动层设备上模拟任务生成训练样本及测试样本进行训练和测试。
[0014]其中，在所述改进的A3C算法中，任务的状态均包括任务的初始状态及任务使用相应卸载算法卸载后的状态。
[0015]本专利技术实施例还提供了一种基于深度强化学习的云边端协同计算卸载系统，其在云服务器上实现，所述云服务器与边缘层设备及每一边缘层设备接入的移动层设备实现互联，包括：
[0016]任务获取单元，用于获取所有移动层设备的实际任务；
[0017]任务卸载单元，用于使用预先训练好的深度强化学习模型，对每一个实际任务分别求解，并根据求解结果，选择相应的卸载算法进行卸载，直至所有实际任务卸载完毕；其中，所述深度强化学习模型预先设置有至少两种卸载算法。
[0018]其中，所述任务卸载单元包括：
[0019]模型获取模块，用于确定预先训练好的深度强化学习模型，所述深度强化学习模型表示为t
i
＝Choose(d
j
)；其中，t
i
∈{1,...,X}，且t
i
的输出值1～X分别对应预先设置的1～X种卸载算法；d
j
为当前任务；
[0020]任务卸载模块，用于在所述深度强化学习模型中，分别导入每一个实际任务求解，得到每一个实际任务的求解结果t
i
，并对应在预先设置的1～X种卸载算法中选择相应的卸载算法进行卸载，直至所有实际任务卸载完毕。
[0021]其中，所述预先设置的1～X种卸载算法包括贪心算法和粒子群算法。
[0022]本专利技术实施例又提供了一种云服务器，其与边缘层设备及每一边缘层设备接入的移动层设备实现互联，包括：
[0023]任务获取单元，用于获取所有移动层设备的实际任务；
[0024]任务卸载单元，用于使用预先训练好的深度强化学习模型，对每一个实际任务分别求解，并根据求解结果，选择相应的卸载算法进行卸载，直至所有实际任务卸载完毕；其
中，所述深度强化学习模型预先设置有至少两种卸载算法。
[0025]其中，所述任务卸载单元包括：
[0026]模型获取模块，用于确定预先训练好的深度强化学习模型，所述深度强化学习模型表示为t
i
＝Choose(d
j
)；其中，t
i
∈{1,...,X}，且t
i
的输出值1～X分别对应预先设置的1～X种卸载算法；d
j
为当前任务；
[0027]任务卸载模块，用于在所述深度强化学习模型中，分别导入每一个实际任务求解，得到每一个实际任务的求解结果t...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的云边端协同计算卸载方法，其在云服务器上实现，所述云服务器与边缘层设备及每一边缘层设备接入的移动层设备实现互联，其特征在于，所述方法包括以下步骤：获取所有移动层设备的实际任务；使用预先训练好的深度强化学习模型，对每一个实际任务分别求解，并根据求解结果，选择相应的卸载算法进行卸载，直至所有实际任务卸载完毕；其中，所述深度强化学习模型预先设置有至少两种卸载算法。2.如权利要求1所述的基于深度强化学习的云边端协同计算卸载方法，其特征在于，所述使用预先训练好的深度强化学习模型，对每一个实际任务分别求解，并根据求解结果，选择相应的卸载算法进行卸载，直至所有实际任务卸载完毕的具体步骤包括：确定预先训练好的深度强化学习模型，所述深度强化学习模型表示为t
i
＝Choose(d
j
)；其中，t
i
∈{1,...,X}，且t
i
的输出值1～X分别对应预先设置的1～X种卸载算法；d
j
为当前任务；在所述深度强化学习模型中，分别导入每一个实际任务求解，得到每一个实际任务的求解结果t
i
，并对应在预先设置的1～X种卸载算法中选择相应的卸载算法进行卸载，直至所有实际任务卸载完毕。3.如权利要求2所述的基于深度强化学习的云边端协同计算卸载方法，其特征在于，所述预先设置的1～X种卸载算法包括贪心算法和粒子群算法。4.如权利要求3所述的基于深度强化学习的云边端协同计算卸载方法，其特征在于，所述深度强化学习模型是基于改进的A3C算法构建出来的，并通过在移动层设备上模拟任务生成训练样本及测试样本进行训练和测试。5.如权利要求4所述的基于深度强化学习的云边端协同计算卸载方法，其特征在于，在所述改进的A3C算法中，任务的状态均包括任务的初始状态及任务使用相应卸载算法卸载后的状态。6.一种基于深度强化学习的云边端协同计算卸载系统，其在云服务器上实现，所述云服务器与边缘层设备及每一边缘层设备接入的移动层设备实现互联，其特征在于，包括：任务获取单元，用于获取所有移动层设备的实际任务；任务卸载单元，用于使用预先训练好的深度强化学习模型，对每一个实际任务分别求解，并根据求...

【专利技术属性】
技术研发人员：陈嘉，杨洋，黄豌姝，郑启文，翁俊鸿，曾旭，高易年，陈建民，曹易，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：