基于深度学习和大数据的云计算系统技术方案

本发明专利技术公开了基于深度学习和大数据的云计算系统，涉及云平台任务调度技术领域，设置任务收集模块收集云平台接收到的任务数据并将任务根据使用的处理器进行分类；设置云平台数据收集模块预先收集云平台的数据存储空间、CPU计算算力以及GPU计算算力；设置历史数据收集模块收集云平台历史的任务处理数据；设置深度强化学习模型训练模块根据云平台的历史的任务处理数据训练出可对任务选择进行决策的深度强化学习模型；设置任务调度模块使用训练完成的深度强化学习模型云平台的任务选择决策；解决了云平台任务智能调度的问题。解决了云平台任务智能调度的问题。解决了云平台任务智能调度的问题。

【技术实现步骤摘要】
基于深度学习和大数据的云计算系统


[0001]本专利技术属于云计算领域，涉及深度强化学习技术，具体是基于深度学习和大数据的云计算系统。

技术介绍

[0002]当前，云计算技术可谓是计算机服务领域最热门的话题之一。大到行业的领袖企业，如IBM、Google，小到一些私人企业，甚至一些乐于追求新技术的技术人员，都在部署或研究云计算，希望通过云计算来巩固或提升自己在行业的地位。云计算环境中采用虚拟化技术，将服务器整体虚拟化为一个数据资源池，由于数据资源种类多、规模大，因此云计算数据资源调度成为云计算研究的热点之一；
[0003]目前的大多数任务调度算法采用的是先来先服务或短作业优先等较为固定的调度方法；难以满足日益复杂的任务调度情况；而考虑到云平台的每次任务调度即为一次决策，使用深度强化学习可较好的训练出任务调度决策模型；
[0004]为此，提出基于深度学习和大数据的云计算系统。

技术实现思路

[0005]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出基于深度学习和大数据的云计算系统，该基于深度学习和大数据的云计算系统设置任务收集模块收集云平台接收到的任务数据并将任务根据使用的处理器进行分类；设置云平台数据收集模块预先收集云平台的数据存储空间、CPU计算算力以及GPU计算算力；设置历史数据收集模块收集云平台历史的任务处理数据；设置深度强化学习模型训练模块根据云平台的历史的任务处理数据训练出可对任务选择进行决策的深度强化学习模型；设置任务调度模块使用训练完成的深度强化学习模型云平台的任务选择决策；解决了云平台任务智能调度的问题。
[0006]为实现上述目的，根据本专利技术的第一方面的实施例提出基于深度学习和大数据的云计算系统，包括任务收集模块、云平台数据收集模块、历史数据收集模块、深度强化学习模型训练模块以及任务调度模块；其中，各个模块之间通过电气方式连接；
[0007]其中，所述任务收集模块主要用于收集云平台接收到的任务数据并将任务进行分类；
[0008]所述任务收集模块将所有任务分为两类；具体的，将使用CPU运算的任务标记为C类；将使用GPU运算的任务标记为G类；进一步的，将所有C类任务保存在任务集合C中；将所有G类任务保存在任务集合G中；任务集合C中的任务标记为c，任务集合G中的任务标记为g；对于任务c，将其所需要的存储空间标记为Mc；需要的算力大小标记为Cc；将其处理时长标记为Tc；对于任务g，将其所需要的存储空间标记为Mg；需要的算力大小标记为Cg；将其处理时长标记为Tg；所述任务收集模块将收集的任务集合C和任务集合G中的任务发送至任务调度模块；
[0009]其中，所述云平台数据收集模块主要用于预先收集云平台的基础数据；
[0010]所述云平台数据收集模块预先收集的基础数据包括：云平台的存储空间上限、CPU单位时间运算算力上限以及GPU单位时间运算算力上限；将云平台的存储空间上限标记为Mmax；将CPU单位时间运算算力标记为Cmax；将GPU单位时间运算算力标记为Gmax；
[0011]所述云平台数据收集模块将收集的云平台基础数据发送至深度强化学习模型训练模块；
[0012]其中，所述历史数据收集模块主要用于收集云平台历史的任务处理数据；
[0013]所述历史数据收集模块预先收集的任务处理数据包括历史上云平台接收到的数据处理任务信息以及云平台信息；所述历史数据收集模块收集的数据处理任务信息包括每个任务的种类、任务到达时间、任务需要的存储空间、任务需要的单位时间计算算力以及任务需要的计算时长；将历史任务使用任务集合形式保存；当新的任务到达云平台时，云平台先将其加入任务集合；当任务从任务集合被云平台调取并执行时，将其从任务集合中删除；
[0014]其中，所述云平台信息包括云平台在每个任务到达时刻的剩余存储空间、CPU剩余单位时间处理算力、GPU剩余单位时间处理算力以及正在处理的每个任务所消耗的存储空间、单位时间算力以及剩余处理时长；将云平台剩余存储空间标记为Rm、将CPU剩余单位时间处理算力标记为Rc以及将GPU剩余单位时间处理算力标记为Rg；
[0015]所述历史数据收集模块将收集的云平台历史任务处理数据发送至深度强化学习模型训练模块；
[0016]其中，所述深度强化学习模型训练模块主要用于训练出从任务集合中选择最优数据处理任务进行处理的深度强化学习模型；
[0017]深度强化学习模型需要为每个决策产生的结果生成奖励函数；所述决策为同时从任务集合中选取若干数据处理任务进行处理；其中，奖励函数包括奖励以及惩罚；
[0018]所述深度强化学习模型训练模块每次决策所产生的奖励可以包括选择的数据处理任务的数量以及选择的数据处理任务的总等待时长；将选择的数据处理任务集合标记为S；任务集合中任务的数量标记N；任务集合S中每个任务c或g的等待时长即为当前时间减去其到达云平台的时间；将任务c和g的等待时长分别标记为Wc以及Wg；则任务集合S中的所有任务的总等待时长W即为W＝∑
c∈S
Wc+∑
g∈S
Wg；则奖励函数J可表示为J＝a*N+b*W；其中，a和b分别为预设的奖励系数；
[0019]所述深度强化学习模型训练模块每次决策所产生的惩罚可以包括：任务集合S中的任务总需求存储空间超出云平台剩余存储空间Rm时的惩罚、总的CPU算力需求超出云平台剩余CPU单位时间算力Rc时的惩罚、总的GPU算力需求超出云平台剩余GPU单位时间算力Rg时的惩罚、剩余的任务需要等待的总时长以及剩余任务的平均体量大小；其中，将所述剩余任务的平均体量标记为V；则平均体量V的计算公式为其中，o和k均为预设的比例系数；可以理解的是，当平均体量V的值较大时，说明剩余的任务体量均较大，从而惩罚更重，因此，完成对任务体量较大的数据处理任务的补偿；
[0020]所述深度强化学习模型训练模块以最大化奖励函数和惩罚函数的差值为训练目标，使用历史数据收集模块发送的历史任务数据进行深度强化学习模型的训练；并将训练
完成的深度强化学习模型标记为M；所述深度强化学习模型训练模块将训练完成的深度强化学习模型M发送至任务调度模块；
[0021]所述任务调度模块主要使用深度强化学习模型M从任务集合中选择最优的若干任务进行处理；
[0022]所述任务调度模块接收到深度强化学习模型M后，在云平台完成一项任务，留出空余的存储空间、CPU计算算力以及GPU计算算力时，使用深度强化学习模型M从任务集合中选择最优的任务组合，根据任务的种类，分别使用云平台的CPU以及GPU进行处理。
[0023]与现有技术相比，本专利技术的有益效果是：
[0024]本专利技术设置任务收集模块收集云平台接收到的任务数据并将任务根据使用的处理器进行分类；设置云平台数据收集模块预先收集云平台的数据存储空间、CPU计算算力以及GPU计算算力；设置历史数据收集模块收集云平台历史的任务处理数据；设置深度强化学习模型训练模块根据云平台的历本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习和大数据的云计算系统，其特征在于，包括任务收集模块、云平台数据收集模块、历史数据收集模块、深度强化学习模型训练模块以及任务调度模块；其中，各个模块之间通过电气方式连接；所述任务收集模块用于收集云平台接收到的任务数据并将任务进行分类；所述任务收集模块将收集的任务集合C和任务集合G中的任务发送至任务调度模块；所述云平台数据收集模块用于预先收集云平台的基础数据；所述云平台数据收集模块将收集的云平台基础数据发送至深度强化学习模型训练模块；所述历史数据收集模块用于收集云平台历史的任务处理数据；所述历史数据收集模块预先收集的任务处理数据包括历史上云平台接收到的数据处理任务信息以及云平台信息；所述历史数据收集模块将收集的云平台历史任务处理数据发送至深度强化学习模型训练模块；所述深度强化学习模型训练模块用于训练出从任务集合中选择最优数据处理任务进行处理的深度强化学习模型；所述深度强化学习模型训练模块将训练完成的深度强化学习模型M发送至任务调度模块；所述任务调度模块使用深度强化学习模型M从任务集合中选择最优的若干任务进行处理。2.根据权利要求1所述的基于深度学习和大数据的云计算系统，其特征在于，所述任务收集模块将所有任务分为两类；具体的，将使用CPU运算的任务标记为C类；将使用GPU运算的任务标记为G类；进一步的，将所有C类任务保存在任务集合C中；将所有G类任务保存在任务集合G中；任务集合C中的任务标记为c，任务集合G中的任务标记为g；对于任务c，将其所需要的存储空间标记为Mc；需要的算力大小标记为Cc；将其处理时长标记为Tc；对于任务g，将其所需要的存储空间标记为Mg；需要的算力大小标记为Cg；将其处理时长标记为Tg。3.根据权利要求1所述的基于深度学习和大数据的云计算系统，其特征在于，所述云平台数据收集模块预先收集的基础数据包括：云平台的存储空间上限、CPU单位时间运算算力上限以及GPU单位时间运算算力上限；将云平台的存储空间上限标记为Mmax；将CPU单位时间运算算力标记为Cmax；将GPU单位时间运算算力标记为Gmax。4.根据权利要求1所述的基于深度学习和大数据的云计算系统，其特征在于，所述历史数据收集模块收集的数据处理任务信息包括每个任务的种类、任务到达时间、任务需要的存储空间、任务需要的单位时间计算算力以及任务需要的计算时长；将历史任务使用任务集合形式保存；当新的...

【专利技术属性】
技术研发人员：赖汝珍，
申请(专利权)人：赖汝珍，
类型：发明
国别省市：