大数据运维管理平台制造技术

本申请公开了一种大数据运维管理平台，包括控制节点和多个子节点，每个子节点均具有预先构建的python运维库且负责一个或多个大数据组件的运维操作。控制节点可对外提供大数据组件集群的操作方式，并向各节点发送操作指令；各个子节点根据控制节点发送的大数据组件运维操作指令调用python运维库对目标大数据组件执行相应的运维操作；其中，python运维库包括多组运维操作脚本且用于为各运维操作提供统一的应用程序编程接口，各运维操作脚本均利用pyhton语言进行封装。本申请可屏蔽不同操作系统具体运维操作方式的差异，简化了运维操作脚本编写，有利于降低系统的复杂度、开发的困难度和维护工作的复杂度。

【技术实现步骤摘要】
大数据运维管理平台
本申请涉及大数据
，特别是涉及一种大数据运维管理平台。
技术介绍
随着大数据、云计算的快速发展，大数据平台作为大数据分析工具被广泛应用于各行各业中，对大数据进行管理运维是不可避免的一个环节。相关技术通常基于shell脚本或bat脚本对大数据组件进行自动安装部署。但是，基于shell脚本或bat脚本的自动安装部署方式在不同平台下的支持和行为有差异，在脚本编写时需要考虑不同shell的语法和兼容问题，不仅非常繁琐，而且极易发生错误。为了实现大数据管理，管理平台往往需要使用多种编程语言开发，不利于开发和团队间的配合工作，系统的复杂度和开发的困难度均较高。
技术实现思路
本申请提供了一种大数据运维管理平台，屏蔽了不同操作系统具体运维操作方式的差异，简化了运维操作脚本编写，有利于降低系统的复杂度、开发的困难度和维护工作的复杂度。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例提供了一种大数据运维管理平台，包括：包括控制节点和多个子节点，每个子节点均具有预先构建的python运维库；所述控制节点用于向外部系统提供大数据组件集群的操作方式，并向各节点发送操作指令；各个子节点根据所述控制节点发送的大数据组件运维操作指令调用所述python运维库对目标大数据组件执行相应的运维操作；其中，所述python运维库包括多组运维操作脚本且用于为各运维操作提供统一的应用程序编程接口，各运维操作脚本均利用pyhton语言进行封装。可选的，所述控制节点还包括组件配置插件；所述组件配置插件用于当接收到第一子节点的第一大数据组件的变更信息后，基于所述变更信息对所述第一大数据组件的组件配置文件进行更新，并将更新后的组件配置文件下发至所述第一子节点；其中，所述组件配置文件包括组件名称、组件版本、组件描述、组件服务、组件服务各运维操作与运维操作脚本的对应关系。可选的，所述控制节点包括集群状态监控模块，还包括与所述集群状态监控模块相连的告警提示模块；所述集群状态监控模块用于按照预设频率收集并汇总各子节点的资源消耗信息；所述资源消耗信息为当前子节点反馈的心跳数据和所属大数据组件集群的集群状态信息；所述告警提示模块用于当检测到当前子节点的资源消耗超过预设能耗阈值或是当前子节点的运行状态异常，则进行告警提示。可选的，所述操作方式可为以下任意一项或任意组合：表现层状态转移应用程序编程接口、web页面和命令行。可选的，大数据运维管理平台的系统版本采用python编程语言编译，所述控制节点包括升级模块，所述升级模块用于根据升级指令中携带的更新文件列表执行系统版本升级；所述更新文件列表包括升级后系统版本中新增文件、相比升级前系统版本发生修改的替换文件和相比升级前系统版本减少的删除文件；所述升级模块用于在所述升级前系统版本基础上添加所述新增文件、从所述升级前系统版本中删除所述删除文件、并利用所述替换文件替换所述升级前系统版本中相应文件，以完成系统版本升级。可选的，所述控制节点包括升级模块；所述升级模块利用git分布式版本控制系统的补丁包方式执行系统版本升级，所述git分布式版本控制系统的补丁包用于根据升级前系统版本和升级后系统版本自动生成更新文件列表，所述更新文件列表包括每个文件相比所述升级前系统版本和所述升级后系统版本发生增、删、改操作的记录信息。可选的，所述python运维库还包括多个子运维库，每个子运维库对应一种类型的大数据组件；每个子运维库均包含相应大数据组件在不同部署环境中实现同一运维操作的多个运维脚本组，且各运维脚本组具有唯一的标签。可选的，所述标签通过相应部署环境的系统架构信息来激活。可选的，所述python运维库中各运维操作脚本还支持函数调用；相应的，各子节点还包括脚本调用模块，所述脚本调用模块用于响应所属集群的大数据组件的脚本调用指令，所述脚本调用指令为利用相应大数据组件集成时预先定义的脚本调用函数按照目标运维操作各步骤顺序从所述python运维库中调用相应的运维操作脚本的指令。可选的，所述控制节点和各子节点的后台开发语言、所述大数据组件的运维操作语言和所述python运维库中的各运维脚本的编程语言均相同，且均为python语言。本申请提供的技术方案的优点在于，基于Leader(控制节点)/Follower(子节点)的系统架构，每个子节点负责一个或多个大数据组件，并在子节点上设置python运维库，控制节点提供大数据组件的操作方式和下发操作指令，子节点在接收到操作指令后利用python运维库执行相应的运维操作，python运维库统一使用python封装的运维脚本进行安装和部署，将操作系统和不同shell脚本的差异性屏蔽，不同操作系统下安装步骤相同的脚本只用编写一份，极大地简化了安装脚本的编写和维护工作；python运维库针对各个常用系统操作使用了统一的接口，用户在编写组件运维脚本的时候无需再过多的考虑系统或平台差异化的部分，无需再过多的考虑脚本的兼容性，进一步简化了运维操作脚本的编写和维护工作，而且还有利于降低系统的复杂度和开发的困难度。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明为了更清楚的说明本专利技术实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种大数据运维管理平台的系统架构示意图；图2为本专利技术实施例提供的另一种大数据运维管理平台的系统架构示意图；图3为本专利技术实施例提供的python运维库的架构示意图；图4为本专利技术实施例提供的控制节点或子节点一种具体实施方式结构图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。在介绍了本专利技术实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。首先参见图1，图1为本专利技术实施例提供的大数据运维管理平台在一种具体实施方式下的系统架构示意图，本专利技术实施例可包括以下内容：大数据运维管理平台的系统架构可采用Leader(领本文档来自技高网...

【技术保护点】
1.一种大数据运维管理平台，其特征在于，包括控制节点和多个子节点，每个子节点均具有预先构建的python运维库；/n所述控制节点用于向外部系统提供大数据组件集群的操作方式，并向各节点发送操作指令；/n各个子节点根据所述控制节点发送的大数据组件运维操作指令调用所述python运维库对目标大数据组件执行相应的运维操作；/n其中，所述python运维库包括多组运维操作脚本且用于为各运维操作提供统一的应用程序编程接口，各运维操作脚本均利用pyhton语言进行封装。/n

【技术特征摘要】
1.一种大数据运维管理平台，其特征在于，包括控制节点和多个子节点，每个子节点均具有预先构建的python运维库；
所述控制节点用于向外部系统提供大数据组件集群的操作方式，并向各节点发送操作指令；
各个子节点根据所述控制节点发送的大数据组件运维操作指令调用所述python运维库对目标大数据组件执行相应的运维操作；
其中，所述python运维库包括多组运维操作脚本且用于为各运维操作提供统一的应用程序编程接口，各运维操作脚本均利用pyhton语言进行封装。


2.根据权利要求1所述的大数据运维管理平台，其特征在于，所述控制节点还包括组件配置插件；
所述组件配置插件用于当接收到第一子节点的第一大数据组件的变更信息后，基于所述变更信息对所述第一大数据组件的组件配置文件进行更新，并将更新后的组件配置文件下发至所述第一子节点；
其中，所述组件配置文件包括组件名称、组件版本、组件描述、组件服务、组件服务各运维操作与运维操作脚本的对应关系。


3.根据权利要求2所述的大数据运维管理平台，其特征在于，所述控制节点包括集群状态监控模块，还包括与所述集群状态监控模块相连的告警提示模块；
所述集群状态监控模块用于按照预设频率收集并汇总各子节点的资源消耗信息；所述资源消耗信息为当前子节点反馈的心跳数据和所属大数据组件集群的集群状态信息；
所述告警提示模块用于当检测到当前子节点的资源消耗超过预设能耗阈值或是当前子节点的运行状态异常，则进行告警提示。


4.根据权利要求3所述的大数据运维管理平台，其特征在于，所述操作方式可为以下任意一项或任意组合：
表现层状态转移应用程序编程接口、web页面和命令行。


5.根据权利要求1所述的大数据运维管理平台，其特征在于，所述大数据运维管理平台的系统版本采用python编程语言编译，所述控制节点包括升级模块，所述升级模块用于根据升级指令中携带的更新文件列表执...

【专利技术属性】
技术研发人员：张垚，
申请(专利权)人：北京浪潮数据技术有限公司，
类型：发明
国别省市：北京;11