一种数据平台系统的扩展方法、系统及电子设备技术方案

本发明专利技术提供一种数据平台系统的扩展方法、系统及电子设备，所述数据平台系统包括：所述管理节点、及与所述管理节点通信连接的至少一个数据节点，所述管理节点向待添加数据节点发送用于配置系统环境的脚本文件，以供所述待添加数据节点执行所述脚本文件后完成相应的系统环境设置；所述管理节点为所述待添加数据节点安装相关应用，从而完成所述待添加数据节点向所述数据平台系统的添加。相比于传统图形化添加节点的方法，本发明专利技术的方法可以节省三分之二以上的时间，错误率却降低了99%，且仅需执行一个脚本就可以实现多个数据节点的添加，大大降低了人力物力等资源成本。

Method, system and electronic equipment for extending data platform system

System and electronic device of the invention provides an expansion method, data platform system, including the data platform system: the management node and the at least one data communication management node node connection, the management node sends the data to be used to add nodes to configure the system for the script file. The data add node executes the script file after the completion of the corresponding system environment settings; the management node is the node to add data related to the installation of applications, thus completing the data to add nodes to add the data platform system. Compared to the traditional graphical method for adding nodes, the method of the invention can save more than 2/3 of the time, the error rate was reduced by 99%, and only need to execute a script you can add multiple data nodes, greatly reduces the manpower resource cost.

【技术实现步骤摘要】

本专利技术涉及计算机通信及互联网、软件管理后台
，特别是涉及一种数据平台系统的扩展方法、系统及电子设备。
技术介绍
近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长，动辄数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。鉴于大数据处理需求的迫切性和重要性，近年来大数据技术已经在全球学术界、工业界和各国政府得到高度关注和重视，全球掀起了一个可与20世纪90年代的信息高速公路相提并论的研究热潮。美国和欧洲一些发达国家政府都从国家科技战略层面提出了一系列的大数据技术研发计划，以推动政府机构、重大行业、学术界和工业界对大数据技术的探索研究和应用。大数据的处理需要大量的硬件支撑，没有硬件支撑就没有大数据的各种数据分析管理。当数据量呈现几何量级的增长，如果硬件不能快速的部署变为大数据的节点，就无法满足日常系统的使用情况。如何快速部署大数据系统，方便地增加大数据服务器的节点数量，是亟待解决的一重要课题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种数据平台系统的扩展方法、系统及电子设备，用于快速地将硬件设备部署为大数据处理系统中的计算节点，从而为大数据的分析和管理提供硬件支撑。为实现上述目的及其他相关目的，本专利技术提供一种数据平台系统的扩展方法，应用于所述数据平台系统，其中，所述数据平台系统包括：所述管理节点、及与所述管理节点通信连接的至少一个数据节点，所述方法包括：所述管理节点向待添加数据节点发送用于配置系统环境的脚本文件，以供所述待添加数据节点执行所述脚本文件后完成相应的系统环境设置；所述管理节点为所述待添加数据节点安装相关应用，从而完成所述待添加数据节点向所述数据平台系统的添加。于本专利技术一实施例中，所述数据平台系统的类型包括：CDH系统。于本专利技术一实施例中，所述脚本文件的内容包括：安装执行所述脚本文件的命令的工具编译包、编辑所述待添加数据节点的名称、关闭安全设置、安装常用软件包、开启ntp时间服务并加入自动启动项、修改swappiness以降低对swap缓存的使用、安装CDH系统运行环境及语言环境、强制刷新、及重启所述待添加数据节点中的一种或多种组合。于本专利技术一实施例中，所述为待添加数据节点安装相关应用，包括：添加CDH管理员账号、开启CDH客户端服务、进行所述待添加数据节点的功能安装、及开启所述待添加数据节点的计算功能中的一种或多种组合。于本专利技术一实施例中，所述至少一个数据节点分别关联有与其一一对应的至少一个预设负荷值，在所述向待添加的数据节点发送脚本文件之前，所述方法还包括：获取所述至少一个数据节点的实际负荷值，并分别与对应的预设负荷值比对；若检测到存在实际负荷值不小于预设负荷值的数据节点，则开始扩展所述数据平台系统。为实现上述目的及其他相关目的，本专利技术提供一种数据平台系统的扩展系统，应用于所述数据平台系统，其中，所述数据平台系统包括：所述管理节点、及与所述管理节点通信连接的至少一个数据节点，所述系统包括：脚本发送模块，用于所述管理节点向待添加数据节点发送用于配置系统环境的脚本文件，以供所述待添加数据节点执行所述脚本文件后完成相应的系统环境设置；应用安装模块，用于所述管理节点为所述待添加数据节点安装相关应用，从而完成所述待添加数据节点向所述数据平台系统的添加。于本专利技术一实施例中，所述数据平台系统的类型包括：CDH系统。于本专利技术一实施例中，所述脚本文件的内容包括：安装执行所述脚本文件的命令的工具编译包、编辑所述待添加数据节点的名称、关闭安全设置、安装常用软件包、开启ntp时间服务并加入自动启动项、修改swappiness以降低对swap缓存的使用、安装CDH系统运行环境及语言环境、强制刷新、及重启所述待添加数据节点中的一种或多种组合。于本专利技术一实施例中，所述为待添加数据节点安装相关应用，包括：添加CDH管理员账号、开启CDH客户端服务、进行所述待添加数据节点的功能安装、及开启所述待添加数据节点的计算功能中的一种或多种组合。于本专利技术一实施例中，所述至少一个数据节点分别关联有与其一一对应的至少一个预设负荷值，所述系统还包括：比对模块，用于在所述向待添加的数据节点发送脚本文件之前：获取所述至少一个数据节点的实际负荷值，并分别与对应的预设负荷值比对；若检测到存在实际负荷值不小于预设负荷值的数据节点，则向所述脚本发送模块发送开始扩展所述数据平台系统的指令。为实现上述目的及其他相关目的，本专利技术提供一种电子设备，包括如上任一所述的数据平台系统的扩展系统。如上所述，本专利技术的数据平台系统的扩展方法、系统及电子设备，具有以下有益效果：1)节省时间：传统的节点服务器添加需要在图形界面添加，步骤繁琐，安装等待时间长，报错信息少，如果一旦遇到错误，此节点需要重新安装系统才能被再次添加；本专利技术采用脚本方式快速扩充节点计算服务器，节约时间和成本，满足日益庞大的海量数据处理需求；2)数据可靠：使用命令行添加节点服务器，经验证，几乎可以排除所有人为错误，添加上去的节点稳定，能够快速并入CDH系统提供计算；3)系统故障率低：成熟命令行脚本，添加节点服务器，提前定义好系统的基础环境，变量，规避了图形化界面添加未考虑到的方面，使计算节点发生系统故障的几率大大降低。附图说明图1显示为本专利技术一实施例的CDH系统结构示意图。图2显示为本专利技术一实施例的数据平台系统的扩展方法流程图。图3显示为本专利技术一实施例的脚本内容示意图。图4显示为本专利技术一实施例的数据平台系统的扩展系统模块图。图5显示为本专利技术一实施例的包括扩展系统的电子设备示意图。元件标号说明4数据平台系统的扩展系统400比对模块401脚本发送模块402应用安装模块5电子设备S201～S202步骤具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本专利技术提供一种数据平台系统的扩展方法，该数据平台系统包括管理节点及与其通信连接的数据节点。例如，该数据平台系统为图1所示的CDH(Cloudera’sDistributionIncludingApacheHadoop)系统，该CDH系统基于Apache协议，基于ApacheHadoop和相关project开发，100％开源，可以做批量处理，交互式SQL查询和及时查询，基于角色的权限控制等，是企业中使用最广的Hadoop分发版本。在该CDH系统中，NameNode为管理节点，用于接收HDFSClient的数据处理需求，并将该数本文档来自技高网...

【技术保护点】
一种数据平台系统的扩展方法，其特征在于，应用于所述数据平台系统，其中，所述数据平台系统包括：所述管理节点、及与所述管理节点通信连接的至少一个数据节点，所述方法包括：所述管理节点向待添加数据节点发送用于配置系统环境的脚本文件，以供所述待添加数据节点执行所述脚本文件后完成相应的系统环境设置；所述管理节点为所述待添加数据节点安装相关应用，从而完成所述待添加数据节点向所述数据平台系统的添加。

【技术特征摘要】
1.一种数据平台系统的扩展方法，其特征在于，应用于所述数据平台系统，其中，所述数据平台系统包括：所述管理节点、及与所述管理节点通信连接的至少一个数据节点，所述方法包括：所述管理节点向待添加数据节点发送用于配置系统环境的脚本文件，以供所述待添加数据节点执行所述脚本文件后完成相应的系统环境设置；所述管理节点为所述待添加数据节点安装相关应用，从而完成所述待添加数据节点向所述数据平台系统的添加。2.根据权利要求1所述的数据平台系统的扩展方法，其特征在于，所述数据平台系统的类型包括：CDH系统。3.根据权利要求2所述的数据平台系统的扩展方法，其特征在于，所述脚本文件的内容包括：安装执行所述脚本文件的命令的工具编译包、编辑所述待添加数据节点的名称、关闭安全设置、安装常用软件包、开启ntp时间服务并加入自动启动项、修改swappiness以降低对swap缓存的使用、安装CDH系统运行环境及语言环境、强制刷新、及重启所述待添加数据节点中的一种或多种组合。4.根据权利要求2所述的数据平台系统的扩展方法，其特征在于，所述为待添加数据节点安装相关应用，包括：添加CDH管理员账号、开启CDH客户端服务、进行所述待添加数据节点的功能安装、及开启所述待添加数据节点的计算功能中的一种或多种组合。5.根据权利要求1所述的数据平台系统的扩展方法，其特征在于，所述至少一个数据节点分别关联有与其一一对应的至少一个预设负荷值，在所述向待添加的数据节点发送脚本文件之前，所述方法还包括：获取所述至少一个数据节点的实际负荷值，并分别与对应的预设负荷值比对；若检测到存在实际负荷值不小于预设负荷值的数据节点，则开始扩展所述数据平台系统。6.一种数据平台系统的扩展系统，其特征在于，应用于所述数据平台系统，其中，所述数据平台...

【专利技术属性】
技术研发人员：张琛，霍建华，苏贤，
申请(专利权)人：上海冰穹网络科技有限公司，
类型：发明
国别省市：上海;31