基于可伸缩集群的智能化大数据实训方法及系统技术方案

本发明专利技术提供一种基于可伸缩集群的智能化大数据实训方法及系统。实训系统包括管理模块、内容教学模块以及评测模块；管理模块实现对脚本模板管理，大数据实训所依赖作为执行环境的Docker基础镜像的管理以及实训系统运行过程所有数据集的管理；内容教学模块用于实训导师创建实训模型，同时实现实训学员与实训系统的交互；评测模块用于实现实训系统的任务管理，容器生命周期管理，资源管理以及存储管理。本发明专利技术提出了导师编写实训，学员学习实训，学员挑战实训的教学机制，实现了“教—学—用”的有机统一。此外，利用Kubernetes的易扩展特性，在学员挑战实训的过程中，可以根据后台负载情况，实现集群的动态调整，保证了资源的合理高效使用。

Intelligent big data training method and system based on Scalable Cluster

The invention provides an intelligent big data training method and system based on a scalable cluster. The training system includes management module, content teaching module and evaluation module; the management module realizes the management of script template, the management of docker basic image that big data training relies on as the execution environment and the management of all data sets in the operation process of the training system; the content teaching module is used by the training instructor to create the training model and realize the interaction between the training trainees and the training system The evaluation module is used to realize task management, container life cycle management, resource management and storage management of the training system. The invention proposes a teaching mechanism of tutor compiling practical training, trainees learning practical training and trainees challenging practical training, realizing the organic unity of \teaching learning using\. In addition, using kubernetes's easy to expand feature, the dynamic adjustment of cluster can be realized according to the background load in the process of students' challenge training, ensuring the reasonable and efficient use of resources.

【技术实现步骤摘要】
基于可伸缩集群的智能化大数据实训方法及系统
本申请涉及大数据实训
，特别是涉及一种基于可伸缩集群的智能化大数据实训方法及系统。
技术介绍
随着大数据时代的到来，互联网信息产业迎来了新一轮的发展高潮，大数据已经渗透到当今各个行业和业务功能区域，成为一个重要的生产要素。随之，市场上对大数据人才的需求量日渐增长，根据2018年6月的大数据人才报告，全国只有46万个大数据人才，未来3-5年人才缺口将高达150万。由此可见，大数据人才培养问题是现阶段大数据发展亟待解决的问题。目前，诸多在线教育平台和机构都设立了大数据技术模块，侧重关注对于大数据技术的教授和实验练习，这些平台的基本思路是通过视频或者文字讲授的方式拆解一门技术，循序渐进的引导学员进行学习和实验。典型的平台包括MOOC平台，实验楼等。MOOC平台以讲师视频授课的形式存在，一个系列的课程比如被分成多个小节，每个小节从几十分钟到几个小时不等，通常讲述一个知识点或者本门技术的一个特性，一门课程结束后通常会辅以课后的练习作业，并提供相应的讨论区模块供学员讨论交流。实验楼是近几年兴起的一种比较新颖的模式，侧重实验，其工作区域分为左右两个模块，左侧为本实验的相关知识和实验内容，右侧为模拟实验区域，学员在学习和了解相关知识之后，通过实验楼提供的在线Linux系统作为基础实验环境进行试验，在实验过程中，学员可以记录笔记和截图，作为其实验报告内容。上述提及的两种教育模式能够教授学员大数据
的基本知识，基本原理，但是缺乏对于学员的复杂工程能力和实际解决问题的能力的训练，学员在学习过程中掌握的知识点，难以得到评估和巩固，与实际工程运用接轨尚存在一定的距离。因此，如何为学员提供一种新的在线学习和测评方法，对大数据技术的“教—学—用”进行有机统一，帮助学员深刻地理解大数据技术，培养学员的大数据分析能力和工程能力，是目前大数据技术在线教育需要关注的重要问题，也是解决大数据人才供不应求问题的关键所在。
技术实现思路
针对现有技术存在的不足，本专利技术提供一种基于可伸缩集群的智能化大数据实训方法及系统。基于高度可扩展的实训集群提供时下火热的各类大数据技术的实训，实现“教—学—用”的结合，有助于帮助学员迅速培养大数据分析能力以及工程能力。基于可伸缩集群的智能化大数据实训系统，包括管理模块、内容教学模块以及评测模块；管理模块实现对脚本模板管理，大数据实训所依赖作为执行环境的Docker基础镜像的管理以及实训系统运行过程所有数据集的管理；内容教学模块用于实训导师创建实训模型，同时实现实训学员与实训系统的交互；评测模块用于实现实训系统的任务管理，容器生命周期管理，资源管理以及存储管理。本专利技术中，所述管理模块包括脚本模板管理模块，DockerRegistry管理模块及数据仓库管理模块。脚本模板管理模块为每一技术类型的实训提供对应脚本模板的网页端管理接口。DockerRegistry管理模块，用于管理大数据实训所依赖作为执行环境的Docker基础镜像，提供对镜像的新增、删除、版本迭代功能，以及Docker集群之间的镜像同步功能；同时，通过Docker的Cgroups机制对评测容器的资源进行限定，防止评测容器资源消耗过大，而导致物理节点宕机。数据仓库管理模块，以版本库的形式管理系统运行过程中所有实训的代码及大数据实训相关的数据集，提供代码版本回溯以及数据集在线更新功能。本专利技术中，所述内容教学模块包括实训模板模块和学员实训模块(即TPI模块)。实训模板模块，是实训导师创建的实训模型，为实训导师提供任务关卡管理，基础代码版本库管理，数据集管理，脚本管理和实训附加配置管理。学员实训模块是实训学员与实训系统的交互模块，是实训学员基于实训模型创建的实例，在每一个学员实训开启时，实训系统会为实训学员fork一份实训模板模块的版本库作为基础代码库，同时根据实训配置为实训学员准备实训环境，实训学员依赖学员实训模块完成练习之后，提交测评，实训系统发送评测请求到评测模块。本专利技术中，所述评测模块，包括任务管理模块，容器生命周期管理模块，资源管理模块及存储管理模块。任务管理模块，基于Kubernetes的调度策略将不同的评测请求，调度至不同的工作节点，启动相应的容器，运行定制的评测脚本，序列化执行评测过程；任务管理模块还提供高并发场景下的流量控制功能，保障系统的正常运转和响应速度。容器生命周期管理模块，基于任务复杂度及任务历史评测数据，进行建模，计算分析工作容器下一次评测请求的可能到达时机，智能决策工作容器的销毁时机，保障容器资源的高效利用。资源管理模块，实现对工作容器的资源管理，同时实现评测集群节点的动态扩展，当集群现有的系统资源不足以支撑当前的并发请求时，动态增加节点，反之，当集群的大量节点处于空闲状态时，动态减少节点。存储管理模块，采用分布式文件系统NFS存储大数据实训相关的海量数据。本专利技术还提供一种基于可伸缩集群的智能化大数据实训方法，包括：步骤1、管理员通过管理模块根据大数据技术的需求准备大数据系列技术类型的KubernetesPod模板，KubernetesPod模板包括标签，使用的容器环境，资源限制，工作目录挂载路径以及服务暴露端口，KubernetesPod模板分为单技术类型和多技术类型，单技术类型准备该技术类型所需的基础环境，多技术类型采用DockerinDocker机制实现，准备DockerinDocker环境；步骤2、实训导师根据教学需求通过内容教学模块中的实训模板模块创建大数据技术类型的实训，编写实训教学内容，设置实训任务，提供完成实训任务所需的基础代码，指定完成实训任务所需使用的虚拟环境，并编写实训测评脚本用于对学员的实验进行测评；步骤3、学员通过内容教学模块中的学员实训模块挑战实训，学习实训教学内容，根据实训任务设置，逐关进行挑战，编写关卡代码，如实训任务需要进入容器进行配置操作，测评模块中的任务管理模块根据实训的配置，为学员创建对应Pod的实例，提供SSH连接环境，学员通过内容教学模块提供的WebSSH连接到Pod内部，进行配置操作，待环境配置和代码编写步骤均完成后，提交评测请求，如果不需要，编写完代码后直接提交评测请求；步骤4、任务管理模块接收到学员评测请求，根据实训配置，定位对应学员的Pod实例，如果不存在，则根据配置进行创建；获取Pod实例之后，拉取用户代码，根据实训的评测脚本对用户代码和环境配置进行测评；步骤5、返回测评结果，如测评不通过，重复步骤3-5，否则，延迟删除pod。上述步骤3-4中，如果评测模块资源不足，实训系统会根据设定的扩展策略动态扩展集群，反之，如果资源过剩，利用率低于设定的阈值，实训系统将根据设定的淘汰策略摘除部分节点。采用本专利技术可以达到以下技术效果：该方法不仅适用于大数据相关技术类型的实训，也适用于普通编程类型的实训。本专利技术针对目前大数据技术在线教育的不足，提本文档来自技高网...

【技术保护点】
1.基于可伸缩集群的智能化大数据实训系统，其特征在于，包括管理模块、内容教学模块以及评测模块；/n管理模块实现对脚本模板管理，大数据实训所依赖作为执行环境的Docker基础镜像的管理以及实训系统运行过程所有数据集的管理；/n内容教学模块用于实训导师创建实训模型，同时实现实训学员与实训系统的交互；/n评测模块用于实现实训系统的任务管理，容器生命周期管理，资源管理以及存储管理。/n

【技术特征摘要】
1.基于可伸缩集群的智能化大数据实训系统，其特征在于，包括管理模块、内容教学模块以及评测模块；
管理模块实现对脚本模板管理，大数据实训所依赖作为执行环境的Docker基础镜像的管理以及实训系统运行过程所有数据集的管理；
内容教学模块用于实训导师创建实训模型，同时实现实训学员与实训系统的交互；
评测模块用于实现实训系统的任务管理，容器生命周期管理，资源管理以及存储管理。


2.根据权利要求1所述的基于可伸缩集群的智能化大数据实训系统，其特征在于，
管理模块包括脚本模板管理模块，DockerRegistry管理模块及数据仓库管理模块；
脚本模板管理模块为每一技术类型的实训提供对应脚本模板的网页端管理接口；
DockerRegistry管理模块，用于管理大数据实训所依赖作为执行环境的Docker基础镜像，提供对镜像的新增、删除、版本迭代功能，以及Docker集群之间的镜像同步功能；同时，通过Docker的Cgroups机制对评测容器的资源进行限定，防止评测容器资源消耗过大，而导致物理节点宕机；
数据仓库管理模块，以版本库的形式管理系统运行过程中所有实训的代码及大数据实训相关的数据集，提供代码版本回溯以及数据集在线更新功能。


3.根据权利要求1所述的基于可伸缩集群的智能化大数据实训系统，其特征在于，
内容教学模块包括实训模板模块和学员实训模块；
实训模板模块，是实训导师创建的实训模型，为实训导师提供任务关卡管理，基础代码版本库管理，数据集管理，脚本管理和实训附加配置管理；
学员实训模块是实训学员与实训系统的交互模块，是实训学员基于实训模型创建的实例，在每一个学员实训开启时，实训系统会为实训学员fork一份实训模板模块的版本库作为基础代码库，同时根据实训配置为实训学员准备实训环境，实训学员依赖学员实训模块完成练习之后，提交测评，实训系统发送评测请求到评测模块。


4.根据权利要求1所述的基于可伸缩集群的智能化大数据实训系统，其特征在于，
评测模块，包括任务管理模块，容器生命周期管理模块，资源管理模块及存储管理模块；
任务管理模块，基于Kubernetes的调度策略将不同的评测请求，调度至不同的工作节点，启动相应的容器...

【专利技术属性】
技术研发人员：黄井泉，尹刚，杨树明，马宁，钟金，何振远，
申请(专利权)人：湖南智擎科技有限公司，
类型：发明
国别省市：湖南;43