用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及系统技术方案

本发明专利技术公开一种用于实现集群自适应部署的方法，包括如下步骤：在部署虚拟机集群的主节点时，加载配置文件；获取主节点所在的隔离网络内的集群信息；根据配置文件和集群信息识别并标记虚拟机集群内的所有从节点；根据配置文件对标记的所有从节点进行配置信息的更新。还提供了一种用于实现集群自适应部署的脚本文件，基于云平台的自适应部署大数据集群的部署方法和系统。根据本发明专利技术提供的方法和系统，可以满足个性化服务器资源租赁或实验室多集群资源的需求，使得云服务提供商能将物理网络设备抽象成虚拟的网络设备提供给客户，并允许每个租户创建自己的虚拟网络，结合客户或团体的需求，对虚拟网络进行个性化管理。

【技术实现步骤摘要】
用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及系统
本专利技术涉及云数据
，特别是一种用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及系统。
技术介绍
随着云计算技术的快速发展，对虚拟网络资源的个性化要求越来越高。对资源提供商而言，虚拟网络的基本需求是:允许私有云网络中多Hadoop集群共存，即在同一套物理网络环境中，支持创建多套具备独立服务模型、拓扑和IP地址空间的Hadoop集群虚拟网络。而从客户的角度来看，不仅要求能够创建一套独立的虚拟网络，在其中运行业务，而且要求确保客户数据的隔离的稳定性，保证数据不会由于动态资源分配而产生资源冲突。目前可以通过OpenStack的Sahare快速搭建Hadoop集群。但是存在版本兼容的问题，以及集群的配置信息应用繁琐的问题。
技术实现思路
本专利技术为了解决上述问题，满足个性化服务器资源租赁或实验室多集群资源的需求，使得云服务提供商能将物理网络设备抽象成虚拟的网络设备提供给客户，并允许每个租户创建自己的虚拟网络，结合客户或团体的需求虚拟机资源，获得多个Hadoop云平台集群环境，对虚拟网络进行个性化管理，提供了一种用于实现集群自适应部署的方法及基于云平台的多集群自适应部署方法和系统。并且通过本专利技术可以实现动态扩容、删减集群或节点，实时动态更改，更新集群配置的功能，完成自适应性的部署。根据本专利技术的一个方面，提供了一种用于实现集群自适应部署的方法，包括如下步骤：在部署虚拟机集群的主节点时，加载配置文件；根据配置文件识别并标记虚拟机集群内的所有从节点；根据配置文件对标记的从节点进行配置信息的更新。由此，可以通过布置主节点和从节点方便该隔离网络内的部署管理，对于在主节点上加载配置文件，可以方便后续的个性化管理，根据配置文件对标记的从节点进行更新实现了更新集群配置的功能，有利于用户创建自己所需要的虚拟网络。在一些实施方式中，配置文件包含从节点与主节点的端口映射规则，根据配置文件识别并标记虚拟机集群内的所有从节点包括：获取主节点所在的隔离网络内的集群信息；根据集群信息和配置文件中的映射规则识别并记录虚拟机集群内的所有从节点。由此，可以通过配置文件的端口映射规则，实现从节点的标识，保证了在同一隔离网络内，主从节点的对应关系，防止在数据传输的过程中发生误传等现象。在一些实施方式中，根据配置文件对标记的所有从节点进行配置信息的更新包括如下步骤：与虚拟机集群内的所有从节点建立通信连接；根据配置文件生成各个从节点的自定义配置文件；将自定义配置文件分别传输至相应的从节点进行配置文件的替换。由此，可以通过配置文件对各个从节点的配置文件进行更新和替换，防止误传等操作，有效的提高了配置文件的更新效率，有利于用户自定义对其进行更改。在一些实施方式中，与虚拟机集群内的所有从节点建立通信连接包括：监测各个从节点的SSH服务的启动情况，在检测到SSH服务启动时对从节点建立SSH通信，并通过密钥的方式，实现SSH免密登陆。由此，通过SSH通信进行传输的方式可以达到安全传输的目的。在一些实施方式中，上述方法的自定义配置文件包括大数据集群配置文件、新的hosts文件和新的slave文件，根据配置文件对标记的所有从节点进行配置信息的更新还包括：在自定义配置文件传输完成后，通过SSH通信执行自定义配置文件，以更新各个从节点的hostname。由此，可以根据SSH通信执行从节点的自定义配置文件，更新各个节点的hostname，不但实现了对集群的配置信息的自适应更新，还能够自动完成集群的部署。在一些实施方式中，上述的方法还包括：对隔离网络内的集群信息进行实时监测；根据监测结果判断虚拟机集群的变化，并对变化进行响应。由此，可以通过不同的变化做出的响应实现动态扩容、删减集群或节点，实时动态更改，更新集群配置的功能，完成自适应性的部署，为用户提供自定义的个性化集群。在一些实施方式中，根据监测结果判断所述虚拟机集群的变化，并对变化进行响应包括：根据监测到的集群信息和配置文件识别隔离网络内的从节点，当识别到隔离网络内的从节点变化时，生成集群配置文件更新文件；将更新文件同步至从节点，并重新启动从节点。由此，可以通过对虚拟机集群的变化的监控，及时更新集群的从节点的配置文件，有利于实现自适应性的部署，根据用户的需求灵活操作。根据本专利技术的另一个方面，提供了一种用于实现集群自适应部署的脚本文件，包括程序指令，程序指令能够被处理器执行以实现上述的方法。由此，可以通过该脚本文件实现配置上述方法中的模板。方便对后续的自定义管理。根据本专利技术的另一个方面，提供了一种基于云平台的自适应部署大数据集群的部署方法，包括如下步骤：在虚拟机模板文件中的主节点虚拟机模板中配置上述脚本文件；根据虚拟机模板在隔离网络内创建虚拟机集群；部署虚拟机集群的主节点，并启动脚本文件。由此，可以在虚拟机模板上配置脚本文件，通过该脚本文件的运行实现控制整个集群的操作功能，并将该脚本文件只配置在主节点上，有利于对其它从节点进行管理。完成自适应性的部署，为用户提供自定义的个性化集群。根据本专利技术的另一个方面，提供了一种基于云平台的多集群自适应部署系统，包括：模板获取模块，用于获取虚拟机模板和脚本文件，和根据虚拟机模板和脚本文件生成主节点虚拟机模板；集群创建模块，用于根据虚拟机模板和主节点虚拟机模板在隔离网络内创建虚拟机集群；部署模块，用于部署虚拟机集群的主节点，并启动脚本文件，实现对虚拟机集群的自动部署。由此，可以通过该系统的模板获取模块部署主节点虚拟机和其上配置的脚本文件。通过集群创建模块和部署模块实现动态扩容、删减集群或节点，实时动态更改，更新集群配置的功能，完成自适应性的部署。附图说明图1为本专利技术一实施方式的用于实现集群自适应部署的方法流程图；图2为本专利技术另一实施方式的用于实现集群自适应部署的方法流程图；图3为本专利技术一实施方式的用于实现集群自适应部署的脚本文件结构图；图4为本专利技术一实施方式的基于云平台的自适应部署大数据集群的部署方法流程图；图5为本专利技术一实施方式的基于云平台的多集群自适应部署系统框图。具体实施方式下面结合附图对本专利技术作进一步详细的说明。下文所提到的具体实施方式，均是基于CloudStack平台实现，CloudStack是一个开源的具有高可用性及扩展性的云计算平台，同时是一个开源云计算解决方案，可以加速高伸缩性的公共和私有云(IaaS)的部署、管理、配置。使用CloudStack作为基础，数据中心操作者可以快速方便的通过现存基础架构创建云服务。在CloudStack下创建虚拟机集群环境，通常是在CloudStack云平台搭建完成后，由用户上传虚拟机模板，CloudStack云平台根据上传的系统虚拟机模板，自动创建两个系统虚拟机并运行，分别为控制台代理虚拟机(ConsoleproxyVM),简称CPVM；二级存储虚拟机(SecondaryStorageVM),简称SSVM。而在添加实例虚拟机前，CloudStack云平台系统会首先创建来宾网络，以实现网络隔离。其中，创建来宾网络，是根据当前的网络情况自动创建虚拟路由vRouter，以满足实例虚拟机的网络需求，每个来宾网络(客户网络)对应至少一个v本文档来自技高网...

【技术保护点】
1.用于实现集群自适应部署的方法，其特征在于，包括：在部署虚拟机集群的主节点时，加载配置文件；根据所述配置文件识别并标记所述虚拟机集群内的所有从节点；根据所述配置文件对标记的从节点进行配置信息的更新。

【技术特征摘要】
1.用于实现集群自适应部署的方法，其特征在于，包括：在部署虚拟机集群的主节点时，加载配置文件；根据所述配置文件识别并标记所述虚拟机集群内的所有从节点；根据所述配置文件对标记的从节点进行配置信息的更新。2.根据权利要求1所述的方法，其特征在于，所述配置文件包含从节点与主节点的端口映射规则，所述根据所述配置文件识别并标记所述虚拟机集群内的所有从节点包括：获取主节点所在的隔离网络内的集群信息；根据所述集群信息和配置文件中的映射规则识别并记录所述虚拟机集群内的所有从节点。3.根据权利要求2所述的方法，其特征在于，所述根据所述配置文件对标记的所有从节点进行配置信息的更新包括如下步骤：与所述虚拟机集群内的所有从节点建立通信连接；根据所述配置文件生成各个从节点的自定义配置文件；将所述自定义配置文件分别传输至相应的从节点进行配置文件的替换。4.根据权利要求3所述的方法，其特征在于，所述与所述虚拟机集群内的所有从节点建立通信连接包括：监测各个从节点的SSH服务的启动情况，在检测到SSH服务启动时对所述从节点建立SSH通信，并通过密钥的方式，实现SSH免密登陆。5.根据权利要求4所述的方法，其特征在于，所述自定义配置文件包括大数据集群配置文件、新的hosts文件和新的slave文件，所述根据所述配置文件对标记的所有从节点进行配置信息的更新还包括：在所述自定义配置文件传输完成后，通过所述SSH通信...

【专利技术属性】
技术研发人员：李超，周昌发，黄国骏，
申请(专利权)人：广东轩辕网络科技股份有限公司，
类型：发明
国别省市：广东,44