基于深度学习和大数据的云计算系统技术方案

本发明专利技术公开了基于深度学习和大数据的云计算系统，涉及云平台任务调度技术领域，设置任务收集模块收集云平台接收到的任务数据并将任务根据使用的处理器进行分类；设置云平台数据收集模块预先收集云平台的数据存储空间、CPU计算算力以及GPU计算算力；设置历史数据收集模块收集云平台历史的任务处理数据；设置深度强化学习模型训练模块根据云平台的历史的任务处理数据训练出可对任务选择进行决策的深度强化学习模型；设置任务调度模块使用训练完成的深度强化学习模型云平台的任务选择决策；解决了云平台任务智能调度的问题。解决了云平台任务智能调度的问题。解决了云平台任务智能调度的问题。

【技术实现步骤摘要】
基于深度学习和大数据的云计算系统


[0001]本专利技术属于云计算领域，涉及深度强化学习技术，具体是基于深度学习和大数据的云计算系统。

技术介绍

[0002]当前，云计算技术可谓是计算机服务领域最热门的话题之一。大到行业的领袖企业，如IBM、Google，小到一些私人企业，甚至一些乐于追求新技术的技术人员，都在部署或研究云计算，希望通过云计算来巩固或提升自己在行业的地位。云计算环境中采用虚拟化技术，将服务器整体虚拟化为一个数据资源池，由于数据资源种类多、规模大，因此云计算数据资源调度成为云计算研究的热点之一；
[0003]目前的大多数任务调度算法采用的是先来先服务或短作业优先等较为固定的调度方法；难以满足日益复杂的任务调度情况；而考虑到云平台的每次任务调度即为一次决策，使用深度强化学习可较好的训练出任务调度决策模型；
[0004]为此，提出基于深度学习和大数据的云计算系统。

技术实现思路

[0005]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出基于深度学习和大数据的云计算系统，该基于深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习和大数据的云计算系统，其特征在于，包括任务收集模块、云平台数据收集模块、历史数据收集模块、深度强化学习模型训练模块以及任务调度模块；其中，各个模块之间通过电气方式连接；所述任务收集模块用于收集云平台接收到的任务数据并将任务进行分类；所述任务收集模块将收集的任务集合C和任务集合G中的任务发送至任务调度模块；所述云平台数据收集模块用于预先收集云平台的基础数据；所述云平台数据收集模块将收集的云平台基础数据发送至深度强化学习模型训练模块；所述历史数据收集模块用于收集云平台历史的任务处理数据；所述历史数据收集模块预先收集的任务处理数据包括历史上云平台接收到的数据处理任务信息以及云平台信息；所述历史数据收集模块将收集的云平台历史任务处理数据发送至深度强化学习模型训练模块；所述深度强化学习模型训练模块用于训练出从任务集合中选择最优数据处理任务进行处理的深度强化学习模型；所述深度强化学习模型训练模块将训练完成的深度强化学习模型M发送至任务调度模块；所述任务调度模块使用深度强化学习模型M从任务集合中选择最优的若干任务进行处理。2.根据权利要求1所述的基于深度学习和大数据的云计算系统，其特征在于，所述任务收集模块将所有任务分为两类；具体的，将使用CPU运算的任务标记为C类；将使用GPU运算的任务标记为G类；进一步的，将所有C类任务保存在任务集合C中；将所有G类任务保存在任务集合G中；任务集合C中的任务标记为c，任务集合G中的任务标记为g；对于任务c，将其所需要的存储空间标记为Mc；需要的算力大小标记为Cc；将其处理时长标记为Tc；对于任务g，将其所需要的存储空间标记为Mg；需要的算力大小标记为Cg；将其处理时长标记为Tg。3.根据权利要求1所述的基于深度学习和大数据的云计算系统，其特征在于，所述云平台数据收集模块预先收集的基础数据包括：云平台的存储空间上限、CPU单位时间运算算力上限以及GPU单位时间运算算力上限；将云平台的存储空间上限标记为Mmax；将CPU单位时间运算算力标记为Cmax；将GPU单位时间运算算力标记为Gmax。4.根据权利要求1所述的基于深度学习和大数据的云计算系统，其特征在于，所述历史数据收集模块收集的数据处理任务信息包括每个任务的种类、任务到达时间、任务需要的存储空间、任务需要的单位时间计算算力以及任务需要的计算时长；将历史任务使用任务集合形式保存；当新的...

【专利技术属性】
技术研发人员：赖汝珍，
申请(专利权)人：赖汝珍，
类型：发明
国别省市：