一种基于Linuxshell的大数据集群配置方法及系统技术方案

本申请公开了一种基于Linux shell的大数据集群配置方法及系统。该方法首先通过Linux shell编写的配置脚本，配置脚本包括服务器的待配置参数，具体包括配置大数据集群免密码登陆、时间同步、大数据集群的JDK环境、离线软件仓库以及存储计算组件等，将配置脚本发送给服务器集群中的服务器；服务器集群中的服务器执行配置脚本，在服务器中配置待配置参数。本申请基于Linux shell针对大数据服务组件及操作系统基础配置如免密码等操作实现一键自动化部署，提升非研发人员在大数据环境部署及操作系统基础配置优化操作效率，减少部署过程中的人为失误率。对生产环境应用部署效率的提升具有显著效果。有显著效果。有显著效果。

【技术实现步骤摘要】
一种基于Linux shell的大数据集群配置方法及系统


[0001]本专利技术涉及大数据部署领域，特别涉及一种基于Linux shell的大数据集群配置方法及系统。

技术介绍

[0002]随着互联网的发展、互联网用户的增加，互联网中的数据也急剧膨胀。每天产生的数据量数以万计，本地文件系统和单机CPU已无法满足存储和计算要求。Hadoop分布式文件系统(HDFS)是海量数据存储的重要技术，Hadoop是常用的大数据存储和计算技术的分布式框架，可以充分利用分布式的优越性，解决大数据的存储和计算问题。
[0003]然而就在Hadoop分布式带来便利的同时，其集群的安装和部署都有一定的局限性,前期准备工作非常多，需要修改的配置文件很多，配置的节点数增加，需要改的配置成正比增长。部署过程涉及计算机网络、Linux操作系统、SSH无密码登陆认证、JDK环境配置、shell脚本及HDFS文件系统格式化等一系列纷繁复杂的知识。专人来做正常工作周期需要三到四人部署加测试一个月左右，动辄分布式集群的部署因配置过程中的细节操作导致最终失败，并无从下手找到故障根源。因此也给Hadoop研究等相关人员造成了很多困扰。
[0004]如何施行Hadoop的高效部署以使得节省人力与部署失误率，是在大数据集群部署中亟需解决的问题。

技术实现思路

[0005]基于此，本申请实施例提供了一种基于Linux shell的大数据集群配置方法及系统，提升大规模大数据集群部署效率及减少部署出错率。
[0006]第一方面，提供了一种基于Linux shell的大数据集群配置方法，该方法包括：
[0007]用户通过Linux shell编写的配置脚本；所述配置脚本包括服务器的待配置参数；
[0008]将所述配置脚本发送给所述服务器集群中的服务器；
[0009]所述服务器集群中的服务器执行所述配置脚本，在所述服务器中配置所述待配置参数。
[0010]可选地，通过Linux shell编写的配置脚本包括：
[0011]通过Linux shell根据服务器ip、user、password修改Linux操作系统配置。
[0012]可选地，通过Linux shell编写的配置脚本包括：
[0013]通过Linux shell配置大数据集群免密码登陆功能，服务器之间能够实现无密码登陆。
[0014]可选地，通过Linux shell编写的配置脚本包括：
[0015]通过Linux shell配置大数据集群之间的时间同步，为HBase服务提供一致化时间
[0016]可选地，通过Linux shell编写的配置脚本包括：
[0017]通过Linux shell配置大数据集群的JDK环境，统一部署JDK环境，提供一致的JDK软件。
[0018]可选地，通过Linux shell编写的配置脚本包括：
[0019]通过Linux shell配置Linux操作系统所需要的离线软件仓库，包含操作系统的基础软件服务。
[0020]可选地，通过Linux shell编写的配置脚本包括：
[0021]通过Linux shell配置Hadoop等大数据存储和计算组件。
[0022]第二方面，提供了一种基于Linux shell的大数据集群配置系统，该系统包括：控制终端以及至少一个待配置的服务器集群；
[0023]所述控制终端用于使用户通过Linux shell编写的配置脚本；所述配置脚本包括服务器的待配置参数；并将所述配置脚本发送给所述服务器集群中的服务器；
[0024]所述服务器集群中的服务器执行所述配置脚本，在所述服务器中配置所述待配置参数。
[0025]本申请实施例提供的技术方案首先通过Linux shell编写的配置脚本；配置脚本包括服务器的待配置参数；将配置脚本发送给服务器集群中的服务器；服务器集群中的服务器执行配置脚本，在服务器中配置待配置参数。可以看出，本方法基于Linux shell针对大数据服务组件及操作系统基础配置如免密码等操作实现一键自动化部署。提升非研发人员在大数据环境部署及操作系统基础配置优化操作效率。减少部署过程中的人为失误率。对生产环境应用部署效率的提升具有显著效果。
附图说明
[0026]图1为本申请实施例提供的一种基于Linux shell的大数据集群配置方法的流程图；
[0027]图2为本申请实施例提供免密码登陆的配置代码示意图。
具体实施方式
[0028]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0029]随着互联网的发展、互联网用户的增加，互联网中的数据也急剧膨胀。每天产生的数据量数以万计，本地文件系统和单机CPU已无法满足存储和计算要求。Hadoop分布式文件系统(HDFS)是海量数据存储的重要技术，它将数据存储在多个从节点上，对这些节点的硬件资源进行统一管理与分配，并向客户端提供文件系统访问接口，解决了本地文件系统在文件大小、文件数量、打开文件数目等的限制问题。海量数据存储系统的数据都是通过分布式文件系统存储在各个节点上。通过分布式文件系统，海量数据存储系统可以可靠地存储PB级以上数据。因此，分布式存储和分布式计算的应用成为必然的趋势。
[0030]Hadoop是常用的大数据存储和计算技术的分布式框架，可以充分利用分布式的优越性，解决大数据的存储和计算问题。然而就在Hadoop分布式带来便利的同时，其集群的安装和部署都有一定的局限性,前期准备工作非常多，需要修改的配置文件很多，配置的节点数增加，需要改的配置成正比增长。部署过程涉及计算机网络、Linux操作系统、SSH无密码登陆认证、JDK环境配置、shell脚本及HDFS文件系统格式化等一系列纷繁复杂的知识。专人来做正常工作周期需要三到四人部署加测试一个月左右，动辄分布式集群的部署因配置过
程中的细节操作导致最终失败，并无从下手找到故障根源。因此也给Hadoop研究等相关人员造成了很多困扰。而安装部署Hadoop平台是研究大数据处理的第一步，是不可避免的必经之路，其次在后期使用过程中，一旦服务出错也很难排查出是哪个节点出现了问题，使得运维人员的难度及运维成本提升到很高的地步。因此，对于Hadoop集群的自动化部署和状态的实施监测研究是非常具有意义的课题。而且市面上大数据监控系统有很多，但都是针对各自组件的独立监控，如Ambari、Cloudea Manager，都只监控Hadoop及Hadoop相关组件Hbase、Hive等，对Redis、Elasticsearch等其他组件并不支持。即使Ambari、Cloudea Manager的部署配置操作对于非研发人员也具有一定难度，因此缺少能够真正实现自动化部署的一款部署方案。
[0031]在过去，单机的小规模部署对于Hadoop这样的大数据平台是没有任何实际意义的。此前，具有真正应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Linux shell的大数据集群配置方法，其特征在于，所述方法包括：用户通过Linux shell编写的配置脚本；所述配置脚本包括服务器的待配置参数；将所述配置脚本发送给所述服务器集群中的服务器；所述服务器集群中的服务器执行所述配置脚本，在所述服务器中配置所述待配置参数。2.根据权利要求1所述的方法，其特征在于，通过Linux shell编写的配置脚本包括：通过Linux shell根据服务器ip、user、password修改Linux操作系统配置。3.根据权利要求1所述的方法，其特征在于，通过Linux shell编写的配置脚本包括：通过Linux shell配置大数据集群免密码登陆功能，服务器之间能够实现无密码登陆。4.根据权利要求1所述的方法，其特征在于，通过Linux shell编写的配置脚本包括：通过Linux shell配置大数据集群之间的时间同步，为HBase服务提供的一致化时间。5.根据权利要求1所述的方法，...

【专利技术属性】
技术研发人员：王海洋，李云龙，
申请(专利权)人：北京鼎普科技股份有限公司，
类型：发明
国别省市：