基于大数据实训平台的大数据组件自动控制方法及系统技术方案

本发明专利技术公开了一种基于大数据实训平台的大数据组件自动控制方法，包括：对主节点虚拟机及从节点虚拟机进行检测处理以生成配置信息；根据所述配置信息初始化所述主节点虚拟机及从节点虚拟机；将用户选择的目标组件区的配置文件移动到主节点虚拟机的文件目录下；将所述主节点虚拟机的配置文件分发至所述从节点虚拟机；根据所述配置文件启动所述主节点虚拟机及从节点虚拟机的组件服务，以完成组件部署。本发明专利技术还公开了一种基于大数据实训平台的大数据组件自动控制系统。采用本发明专利技术，可实现大数据组件自动部署，快速开展教学。

Automatic control method and system of big data component based on big data training platform

【技术实现步骤摘要】
基于大数据实训平台的大数据组件自动控制方法及系统
本专利技术涉及大数据
，尤其涉及一种基于大数据实训平台的大数据组件自动控制方法及一种基于大数据实训平台的大数据组件自动控制系统。
技术介绍
大数据是当前国家的战略重心，也是各省市以及高校竞争的焦点，随着大数据行业迅速发展，未来社会对大数据的人才需求将剧烈增长，为服务国家大数据战略，高校要提前做好大数据人才培养的准备，满足社会需求。面对各地大数据人才的急剧缺失以及各地对大数据人才培养的鼓励，教育部增设了数据科学与大数据技术、大数据技术与应用两个专业，高校大数据专业建设正处于起步阶段，为扩大高校在区域内、省内乃至全国的影响力，更好的服务地方，实现学校跨越式发展，在大数据方面实现弯道超车，高校开展大数据方面的应用与研究，并将研究成果应用于教学，提高高校教学质量，提高老师的教学和科研水平，提高学生未来工作适应能力、就业水平以及就业质量，高校纷纷开设大数据方向人才的培养。然而，高校在大数据专业建设过程中仍面临一些巨大挑战：在大数据专业教学开展过程中，学生在做大数据实验的时，经常会遇到需要大数据组件(例如hadoop、Spark、Zookeeper、Hive、Sqoop、Hbase等实验环境)，需要手动在对应的数据节点进行环境变量及配置文件进行修改，调整参数后手动启动服务，整个过程繁琐复杂容易出错，导致影响了实验进度，教学进度缓慢，也大幅度增加教师的工作量。同时，涉及到多个班级、上百个学生同时进行大数据实践课的时候，教师没法快速、灵活的调整实验环境。另外，在实验过程中，经常会有学生填写参数出现错误，教师一一进行排查，工作量巨大，导致后续实验没法进行。因此，目前并没有一种好的方法对实验环境进行快速还原处理。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于大数据实训平台的大数据组件自动控制方法及系统，可实现大数据组件自动部署，快速开展教学。本专利技术所要解决的技术问题还在于，提供一种基于大数据实训平台的大数据组件自动控制方法及系统，可实现大数据异常实验环境快速还原，降低教师的工作量。为了解决上述技术问题，本专利技术提供了一种基于大数据实训平台的大数据组件自动控制方法，包括：对主节点虚拟机及从节点虚拟机进行检测处理以生成配置信息；根据所述配置信息初始化所述主节点虚拟机及从节点虚拟机；将用户选择的目标组件区的配置文件移动到主节点虚拟机的文件目录下；将所述主节点虚拟机的配置文件分发至所述从节点虚拟机；根据所述配置文件启动所述主节点虚拟机及从节点虚拟机的组件服务，以完成组件部署。作为上述方案的改进，所述基于大数据实训平台的大数据组件自动控制方法还包括，实验操作过程中，根据实际情况进行备份和/或还原处理，其中：备份时，将实验节点中可写磁盘文件的状态设为只读状态，并创建用于保存变化内容的文件以形成还原区；还原时，获取用户选择的还原区，并检测是否存在所述还原区，若存在，则读取所述还原区的数据以进行还原处理。作为上述方案的改进，进行检测处理和/或配置文件分发前，所述主节点虚拟机通过SSH方式登录所述从节点虚拟机。作为上述方案的改进，进行检测处理和/或实验操作前，对用户进行权限验证，若用户拥有访问权限，则可进行检测处理或实验操作。作为上述方案的改进，所述目标组件区包括hadoop区、spark区、Zookeeper区、Hive区、Sqoop区、Hbase区、Storm区及Kafka区。作为上述方案的改进，所述配置信息包括IP、主机名及hosts文件。相应地，本专利技术还提供了一种基于大数据实训平台的大数据组件自动控制系统，包括：配置模块，用于对主节点虚拟机及从节点虚拟机进行检测处理以生成配置信息；初始化模块，用于根据所述配置信息初始化所述主节点虚拟机及从节点虚拟机；移动模块，用于将用户选择的目标组件区的配置文件移动到主节点虚拟机的文件目录下；分发模块，用于将所述主节点虚拟机的配置文件分发至所述从节点虚拟机；部署模块，用于根据所述配置文件启动所述主节点虚拟机及从节点虚拟机的组件服务，以完成组件部署。作为上述方案的改进，所述基于大数据实训平台的大数据组件自动控制系统还包括：备份模块，用于将实验节点中可写磁盘文件的状态设为只读状态，并创建用于保存变化内容的文件以形成还原区；还原模块，用于获取用户选择的还原区，并检测是否存在所述还原区，若存在，则读取所述还原区的数据以进行还原处理。作为上述方案的改进，所述基于大数据实训平台的大数据组件自动控制系统还包括登录模块，用于驱动所述主节点虚拟机通过SSH方式登录所述从节点虚拟机。作为上述方案的改进，所述基于大数据实训平台的大数据组件自动控制系统还包括安全控制模块，用于对用户进行权限验证。实施本专利技术，具有如下有益效果：本专利技术通过预设目标组件区，并向主节点虚拟机及从节点虚拟机分发同一套目标组件区的配置文件，从而保证主节点虚拟机及从节点虚拟机的组件配置文件一致，实现了大数据组件的自动部署，有助于快速开展教学。进一步，本专利技术通过创建用于保存变化内容的文件以形成多个还原区，使得当实验过程中出现问题时，用户可选择需要的还原区进行快速还原，大大地降低教师的工作量。附图说明图1是本专利技术基于大数据实训平台的大数据组件自动控制方法的第一实施例流程图；图2是本专利技术基于大数据实训平台的大数据组件自动控制方法的第二实施例流程图；图3是本专利技术基于大数据实训平台的大数据组件自动控制系统的第一实施例结构示意图；图4是本专利技术基于大数据实训平台的大数据组件自动控制系统的第二实施例结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述。参见图1，图1显示了本专利技术基于大数据实训平台的大数据组件自动控制方法的第一实施例，其包括：S101，对主节点虚拟机及从节点虚拟机进行检测处理以生成配置信息。进行检测处理前，所述主节点虚拟机需通过SSH方式登录所述从节点虚拟机，并对所述从节点虚拟机进行IP、主机名及hosts文件的自动检测，从而生成相应的配置信息。所述配置信息包括IP、主机名及hosts文件。S102，根据所述配置信息初始化所述主节点虚拟机及从节点虚拟机。完成检测及配置后，主节点虚拟机及从节点虚拟机会自动重启，完成初始化过程。S103，将用户选择的目标组件区的配置文件移动到主节点虚拟机的文件目录下。所述目标组件区包括hadoop区、spark区、Zookeeper区、Hive区、Sqoop区、Hbase区、Storm区及Kafka区。在进行数据组件自动部署前，需先预设置好目标组件区的配置文件及对应脚本，从而方便用户在部署时自由选择，灵活性强。S104，将所述主节点虚拟机的配置文件分发至所述从节点虚拟机。进行配置文件分发前，所述主节点虚拟机通过SSH方式登录所述从节点虚拟机，再将配置文件分发至所述从节点虚本文档来自技高网...

【技术保护点】
1.一种基于大数据实训平台的大数据组件自动控制方法，其特征在于，包括：/n对主节点虚拟机及从节点虚拟机进行检测处理以生成配置信息；/n根据所述配置信息初始化所述主节点虚拟机及从节点虚拟机；/n将用户选择的目标组件区的配置文件移动到主节点虚拟机的文件目录下；/n将所述主节点虚拟机的配置文件分发至所述从节点虚拟机；/n根据所述配置文件启动所述主节点虚拟机及从节点虚拟机的组件服务，以完成组件部署。/n

【技术特征摘要】
1.一种基于大数据实训平台的大数据组件自动控制方法，其特征在于，包括：
对主节点虚拟机及从节点虚拟机进行检测处理以生成配置信息；
根据所述配置信息初始化所述主节点虚拟机及从节点虚拟机；
将用户选择的目标组件区的配置文件移动到主节点虚拟机的文件目录下；
将所述主节点虚拟机的配置文件分发至所述从节点虚拟机；
根据所述配置文件启动所述主节点虚拟机及从节点虚拟机的组件服务，以完成组件部署。


2.如权利要求1所述的基于大数据实训平台的大数据组件自动控制方法，其特征在于，还包括，实验操作过程中，根据实际情况进行备份和/或还原处理，其中：
备份时，将实验节点中可写磁盘文件的状态设为只读状态，并创建用于保存变化内容的文件以形成还原区；
还原时，获取用户选择的还原区，并检测是否存在所述还原区，若存在，则读取所述还原区的数据以进行还原处理。


3.如权利要求1所述的基于大数据实训平台的大数据组件自动控制方法，其特征在于，进行检测处理和/或配置文件分发前，所述主节点虚拟机通过SSH方式登录所述从节点虚拟机。


4.如权利要求1或2所述的基于大数据实训平台的大数据组件自动控制方法，其特征在于，进行检测处理和/或实验操作前，对用户进行权限验证，若用户拥有访问权限，则可进行检测处理或实验操作。


5.如权利要求1所述的基于大数据实训平台的大数据组件自动控制方法，其特征在于，所述目标组件区包括hadoop区、spark区、Zookeeper区、Hive区、Sq...

【专利技术属性】
技术研发人员：罗文权，罗龙，李强，
申请(专利权)人：三盟科技股份有限公司，
类型：发明
国别省市：广东;44