【技术实现步骤摘要】
一种基于云计算的高校大数据竞赛管理系统及方法
本专利技术涉及资源分配领域，尤其涉及一种基于云计算的高校大数据竞赛管理系统及方法。
技术介绍
随着互联网和信息产业的快速发展，大数据应用市场不断扩大，大数据作为国家战略，在推动我国经济转型升级过程中发挥着关键作用。大数据是我国重点发展的战略新兴产业中新一代信息技术产业的细分行业之一,预计到2020年，大数据产业规模将超过5000亿元。为适应我国大数据产业发展对相关人才的迫切需求，进一步引导高校大数据分析应用人才培养体系的构建，各种大数据技术应用、开发创新、能力提升等竞赛如雨后春笋般应运而生。主要目的通过竞赛培养学生搭建大数据系统和优化大数据系统配置的能力；增强学生使用工具处理大数据问题的能力；培养学生使用数据库存储和查询大数据的能力；锻炼学生组织管理和团队协调能力。同时通过竞赛让更多的学校开设大数据课程，形成高校为国家培养大数据人才的氛围，建立完整的大数据专业体系；引导学校开设合理的大数据课程以及相应课程的知识节点，特别是加强对学生实际动手能力的培养。为了适应高校...
【技术保护点】
1.一种基于云计算的高校大数据竞赛管理系统，其特征在于，所述系统包括：/n身份管理模块：用于对大数据竞赛平台的用户进行账号管理、权限分配；/n竞赛管理模块：用于赛项时间管理、实验操作管理；/n集群管理模块：用于提供竞赛所需的各类实验集群的创建、销毁、挂起、恢复、一键回收；/n资源调度模块：用于基于学生选取的各类实验集群，采用模拟退火算法与粒子群优化算法相结合的方式对物理资源进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；/n资源监听模块：用于按固定时间间隔监听资源调度模块下每个学生的实验进度和资源占用情况、每个物理服务器及每个虚拟机的资源占用情况，绘制相应的资源占用曲线...
【技术特征摘要】
1.一种基于云计算的高校大数据竞赛管理系统，其特征在于，所述系统包括：
身份管理模块：用于对大数据竞赛平台的用户进行账号管理、权限分配；
竞赛管理模块：用于赛项时间管理、实验操作管理；
集群管理模块：用于提供竞赛所需的各类实验集群的创建、销毁、挂起、恢复、一键回收；
资源调度模块：用于基于学生选取的各类实验集群，采用模拟退火算法与粒子群优化算法相结合的方式对物理资源进行虚拟化和调度，为大数据竞赛平台提供云端实验资源；
资源监听模块：用于按固定时间间隔监听资源调度模块下每个学生的实验进度和资源占用情况、每个物理服务器及每个虚拟机的资源占用情况，绘制相应的资源占用曲线，并将监听结果反馈至资源调度模块。
2.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述物理资源包括云计算中心的物理服务器提供的cpu、内存、磁盘、网络资源。
3.根据权利要求1所述基于云计算的高校大数据竞赛平台，其特征在于，所述集群管理模块中，所述实验集群包括：Hadoop实验集群、HBase实验集群、Hive实验集群、Spark实验集群。
4.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，竞赛管理模块中，所述竞赛时间管理具体为：
获取赛项时间及参与每项竞赛的学生数量，根据竞赛类型确定每个学生所需虚拟机数量和对应的物理资源，预测同一赛项时间内所有学生所需虚拟机总数，预先建立基于赛项时间的虚拟资源需求表，获取云计算中心的物理资源总量，判断同一时段内不同赛项所需的虚拟资源总量是否超过第一设定阈值，若是，进行赛项时间调整，将同一时段内不同赛项所需的虚拟资源总量控制在所述设定阈值范围内。
5.根据权利要求1所述基于云计算的高校大数据竞赛管理系统，其特征在于，所述资源调度模块具体包括：
初步分配单元：设数据中心可用的物理服务器数量为P，某一赛项时间内所有学生所需虚拟机总数为N，采用进行模拟退火算法虚拟机初步分配，以数据中心的负载不均衡度最小为优化目标将N个虚拟机分配给M个物理服务器，M≤P，根据初步分配结果进行资源调度；
动态调整单元：根据资源监听模块的监听结果，对每个虚拟机按照资源占用率从小到大排序，对每个物理服务器按照资源占用率从小到大排序，检查资源占用率最小的物理服务器上是否有资源占用率最小的虚拟机，若是，在一个子任务处理完成之后将上述资源占用率最小的物理服务器上的虚拟机迁移至其它物理服务器并关闭当前物理服务器；
若否，判断资源占用率小于第二设定阈值的物理服务器的资源占用综合是否小于其它服务器的空闲资源总和乘以预设百分比，若是，在一个子任务处理完成之后，采用粒子群优化算法对资源占用率小于第...
【专利技术属性】
技术研发人员：海克洪，杨俊，
申请(专利权)人：湖北美和易思教育科技有限公司，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。