一种大数据集群免密搭建方法的实现技术

本发明专利技术涉及大数据技术领域，尤其涉及一种大数据集群免密搭建方法的实现，包括搭建集群环境；搭建免密环境：设立集群服务器，以及多个与集群服务器通信连接的网络设备；利用所述网络设备搭建局域网；在所述局域网中采用master搭建目标节点，得主节点以及从节点，所述主节点用于对从节点的实时监控；在所述集群服务器设置主节点和从节点的IP以及IP下的密码信息；在所述集群服务器中设置免密脚本，并配对于各节点；本发明专利技术实现集群节点的免密登录，通过主/从节点的免密脚本与对应IP下密码信息进行配对，以使得设有免密脚本的节点可免密登录，并通过主节点实现对各从节点的监控；实现对集群里大量的节点快速实现免密访问，提高节点使用效率。

【技术实现步骤摘要】
一种大数据集群免密搭建方法的实现
本专利技术涉及大数据
，尤其涉及一种大数据集群免密搭建方法的实现。
技术介绍
“大数据”是指以多元形式，许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。在大数据集群的建立上，在实际的组建中，会有很多不同的节点，每个节点存在唯一登录密码，这一因素导致在集群内实用不同的节点时，会出现反复登录的问题，使得工作极为繁琐，以及对集群内节点的使用效率不佳。
技术实现思路
(一)专利技术目的为解决
技术介绍
中存在的技术问题，本专利技术提出一种大数据集群免密搭建方法的实现。(二)技术方案本专利技术提供了一种大数据集群免密搭建方法的实现，包括搭建集群环境：根据目标用户的需求搭建硬件集群；在上述硬件集群中建立本地数据库，用以存储大数据管理工具；通过上述的大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；搭建免密环境：设立集群服务器，以及多个与集群服务器通信连接的网络设备；利用所述网络设备搭建局域网；在所述局域网中采用master搭建目标节点，得主节点以及从节点，所述主节点用于对从节点的实时监控；在所述集群服务器设置主节点和从节点的IP以及IP下的密码信息；在所述集群服务器中设置免密脚本，并配对于各节点；将免密脚本与从节点IP下的密码信息进行配对，使的设置有免密脚本的从节点实现免密登录，用以方便实现大数据管理工具的存储；将免密脚本与主节点IP下的密码信息进行配对，使得设置有免密脚本的主节点实现免密登录。优选地，所述网络设备采用交换机，所述交换机连接目标节点，得局域网，并采用C语言编写主节点，获取主进程，采用Python编写从节点，获取从进程，实现硬件集群的搭建。优选地，将所述大数据管理工具建立于主节点，并利用大数据管理工具在硬件集群中搭建大数据集群。优选地，所述大数据管理工具包括Hadoop、Hive、Zookeeper、Spark中的至少一种。优选地，该种大数据集群免密搭建方法还包括：集群服务器获取主节点的初始登录密码信息以及IP下密码信息；利用上述初始登录密码信息与IP下密码信息进行配置目录库；将上述目录库配置到SSH协议中，形成免密登录。优选地，所述主节点接收从节点发送的的请求连接信息，开启数据连接，并将建立的数据连接信息保存到本地数据库。优选地，该种大数据集群免密搭建方法还包括：集群搭建单元：用于根据目标用户的需求搭建硬件集群；数据库搭建单元：用于在所述硬件集群中创建本地数据库，以存储大数据管理工具；工具搭建单元：用于通过大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；免密搭建单元：用于搭建大数据集群的免密登录环境。优选地，该种大数据集群免密搭建方法还包括：计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器处理并执行，用以实现所述的一种大数据集群免密搭建方法。优选地，该种大数据集群免密搭建方法还包括：存储器，用于存储计算机程序；处理器，用于处理并执行所述计算机程序，用以实现所述的一种大数据集群免密搭建方法。本专利技术的上述技术方案具有如下有益的技术效果：本专利技术实现集群节点的免密登录，通过主/从节点的免密脚本与对应IP下密码信息进行配对，以使得设有免密脚本的节点可免密登录，并通过主节点实现对各从节点的监控；实现对集群里大量的节点快速实现免密访问，提高节点使用效率。附图说明图1为本专利技术的大数据集群搭建流程示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。如图1所示，本专利技术提出的一种大数据集群免密搭建方法的实现，包括步骤：步骤S01，搭建集群环境：根据目标用户的需求搭建硬件集群；由于在实际的大数据集群的搭建过程中，目标用户的需求是多种多样的，因此，为了满足实际应用中的目标客户需求，搭建一个足够支撑的硬件集群。在上述硬件集群中建立本地数据库，用以存储大数据管理工具；通过上述的大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；通过大数据管理工具，可以下载到各物理层上，其所需的各组件都应是彼此兼容的，一定程度上可降低各组件的维护成本。步骤S02,搭建免密环境：设立集群服务器，以及多个与集群服务器通信连接的网络设备；利用所述网络设备搭建局域网；在所述局域网中采用master搭建目标节点，得主节点以及从节点，所述主节点用于对从节点的实时监控；在所述集群服务器设置主节点和从节点的IP以及IP下的密码信息；在所述集群服务器中设置免密脚本，并配对于各节点；将免密脚本与从节点IP下的密码信息进行配对，使的设置有免密脚本的从节点实现免密登录，用以方便实现大数据管理工具的存储；将免密脚本与主节点IP下的密码信息进行配对，使得设置有免密脚本的主节点实现免密登录。可以理解的是，集群服务器通过主/从节点的IP可以实现通过IP地址进行各节点的访问，需要说明的是，主节点的IP以及IP下的密码信息，实现在集群服务器中进行备案，建立以主节点为中心、从节点连接主节点的结构网；进一步的，用户可登陆集群服务器，并输入需要登陆的从节点IP进行登录，此时，主节点接收从节点发送的的请求连接信息，开启数据连接，并将建立的数据连接信息保存到本地数据库，各从节点发送的连接信息通过大数据管理工具配合进行大数据集群的搭建，确保以记录的从节点可直接通过IP进行免密登录。为了使得主节点与从节点之间实现免密登录，集群服务器还设置免密脚本，主节点免密登录后，可以通过IP查找的方式，登录其他从节点。也可以是，各从节点之间实现免密登录，经免密登录的从节点，也可以通过IP查找的方式进行其他从节点的登录。由于是，用户通过终端登录上集群服务器后，对集群服务器进行访问，只需输入需要登录的从节点IP以及该节点对应的登录密码即可登录进行该从节点的访问。从节点将登录的连接信息发送至主节点，主节点因此获取了各从节点的IP以及IP下对应的登录密码，为制作免密脚本提供基础条件。所述网络设备采用交换机，所述交换机连接目标节点，得局域网，并采用C语言编写主节点，获取主进程，采用Python编写从节点，获取从进程，实现硬件集群的搭建。故而，主节点对内的主进程主要用于实时的接收以获取从节点的信息，对从节点进行监控，对外提本文档来自技高网...

【技术保护点】
1.一种大数据集群免密搭建方法的实现，其特征在于，包括：/n搭建集群环境：/n根据目标用户的需求搭建硬件集群；/n在上述硬件集群中建立本地数据库，用以存储大数据管理工具；/n通过上述的大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；/n搭建免密环境：/n设立集群服务器，以及多个与集群服务器通信连接的网络设备；/n利用所述网络设备搭建局域网；/n在所述局域网中采用master搭建目标节点，得主节点以及从节点，所述主节点用于对从节点的实时监控；/n在所述集群服务器设置主节点和从节点的IP以及IP下的密码信息；/n在所述集群服务器中设置免密脚本，并配对于各节点；/n将免密脚本与从节点IP下的密码信息进行配对，使的设置有免密脚本的从节点实现免密登录，用以方便实现大数据管理工具的存储；/n将免密脚本与主节点IP下的密码信息进行配对，使得设置有免密脚本的主节点实现免密登录。/n

【技术特征摘要】
1.一种大数据集群免密搭建方法的实现，其特征在于，包括：
搭建集群环境：
根据目标用户的需求搭建硬件集群；
在上述硬件集群中建立本地数据库，用以存储大数据管理工具；
通过上述的大数据管理工具在已搭建的硬件集群中实现大数据集群的搭建；
搭建免密环境：
设立集群服务器，以及多个与集群服务器通信连接的网络设备；
利用所述网络设备搭建局域网；
在所述局域网中采用master搭建目标节点，得主节点以及从节点，所述主节点用于对从节点的实时监控；
在所述集群服务器设置主节点和从节点的IP以及IP下的密码信息；
在所述集群服务器中设置免密脚本，并配对于各节点；
将免密脚本与从节点IP下的密码信息进行配对，使的设置有免密脚本的从节点实现免密登录，用以方便实现大数据管理工具的存储；
将免密脚本与主节点IP下的密码信息进行配对，使得设置有免密脚本的主节点实现免密登录。


2.根据权利要求1所述的一种大数据集群免密搭建方法的实现，其特征在于，所述网络设备采用交换机，所述交换机连接目标节点，得局域网，并采用C语言编写主节点，获取主进程，采用Python编写从节点，获取从进程，实现硬件集群的搭建。


3.根据权利要求1所述的一种大数据集群免密搭建方法的实现，其特征在于，将所述大数据管理工具建立于主节点，并利用大数据管理工具在硬件集群中搭建大数据集群。


4.根据权利要求3所述的一种大数据集群免密搭建方法的实现，其特征在于，所述大数据管理工具包括Hadoop、Hi...

【专利技术属性】
技术研发人员：刘全，
申请(专利权)人：青岛青软实训教育科技股份有限公司，
类型：发明
国别省市：山东;37