大数据集群处理方法和系统、电子设备和存储介质技术方案

本发明专利技术提供一种大数据集群处理方法和系统、电子设备和存储介质，其中所述大数据集群处理方法包括：对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。本发明专利技术通过定义定时任务脚本，然后在指定大数据集群下创建任务执行计划，并将该脚本添加到任务执行计划中，根据执行计划定时将该脚本推送到集群下的主机中运行，极大地提高了大数据集群运维工作的效率，节省了运维成本。节省了运维成本。节省了运维成本。

【技术实现步骤摘要】
大数据集群处理方法和系统、电子设备和存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种大数据集群处理方法和系统、电子设备和存储介质。

技术介绍

[0002]大数据集群是指实现对大数据从数据获取、数据存储和数据分析的集群。目前，不同的大数据集群通过各自独立的管理系统进行管理。大数据集群运维人员在管理大数据集群时，经常需要在集群下的主机中配置定时任务，执行诸如进程状态收集、数据统计等任务，每次设置、修改和删除定时任务时，都需要在每一台主机上编写任务脚本、配置crontab。
[0003]现有技术在大数据集群规模较大时，管理计划任务的时间成本急剧上升，并且不利于查看任务执行状态和收集任务结果。

技术实现思路

[0004]本专利技术提供一种大数据集群处理方法和系统、电子设备和存储介质，用以解决现有技术中存在的技术缺陷。
[0005]本专利技术提供一种大数据集群处理方法，包括：
[0006]对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
[0007]在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
[0008]基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
[0009]根据本专利技术提供的一种大数据集群处理方法，所述方法还包括以下任一或其组合：
[0010]对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；
[0011]对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；
[0012]删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。
[0013]根据本专利技术提供的一种大数据集群处理方法，所述定时将所述第一定时任务脚本推送到大数据集群下的主机中或定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中之后，所述方法还包括：
[0014]对所述第一任务执行计划的状态进行监控，并将所述第一任务执行计划的状态上报给所述大数据集群对应的服务器端；
[0015]所述定时将所述第二定时任务脚本推送到大数据集群下的主机中之后包括：
[0016]对所述第二任务执行计划的状态进行监控，并将所述第二任务执行计划的状态上报给所述大数据集群对应的服务器端。
[0017]根据本专利技术提供的一种大数据集群处理方法，所述基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中之后，所述方法还包括：
[0018]收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。
[0019]本专利技术还提供了一种大数据集群处理系统，包括：
[0020]脚本定义模块，用于对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
[0021]脚本分发模块，用于在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
[0022]定时推送模块，用于基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
[0023]根据本专利技术提供的一种大数据集群处理系统，所述大数据集群处理系统包括以下任一或其组合：
[0024]修改模块，用于对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；
[0025]更新模块，用于对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；
[0026]删除模块，用于删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。
[0027]根据本专利技术提供的一种大数据集群处理系统，所述大数据集群处理系统包括：
[0028]状态监控模块，用于对所述第一任务执行计划或第二任务执行计划的状态进行监控，并将所述第一任务执行计划或第二任务执行计划的状态上报给所述大数据集群对应的服务器端。
[0029]根据本专利技术提供的一种大数据集群处理系统，所述大数据集群处理系统包括：
[0030]运行结果收集模块，用于收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。
[0031]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述大数据集群处理方法的步骤。
[0032]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述大数据集群处理方法的步骤。
[0033]本专利技术通过定义定时任务脚本，然后在指定大数据集群下创建任务执行计划，并将该脚本添加到任务执行计划中，根据执行计划定时将该脚本推送到集群下的主机中运行，并将任务执行状态和结果上报到系统服务器端；通过基于所述第一任务执行计划，定时
将所述第一定时任务脚本推送到大数据集群下的主机中，实现了后续第一定时任务脚本只需要修改一次即可定时对指定大数据集群下的所有主机生效，极大地提高了大数据集群运维工作的效率，节省了运维成本。
附图说明
[0034]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本专利技术实施例提供的大数据集群处理方法的流程示意图之一；
[0036]图2是本专利技术实施例提供的大数据集群处理方法的流程示意图之二；
[0037]图3是本专利技术实施例提供的大数据集群处理方法的流程示意图之三；
[0038]图4是本专利技术实施例提供的大数据集群处理方法的流程示意图之四；
[0039]图5是本专利技术提供的大数据集群处理系统的示意图；
[0040]图6是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0041]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0042]本专利技术实施例公开了一种大数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据集群处理方法，其特征在于，包括：对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。2.根据权利要求1所述的大数据集群处理方法，其特征在于，所述方法还包括以下任一或其组合：对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。3.根据权利要求2所述的大数据集群处理方法，其特征在于，所述定时将所述第一定时任务脚本推送到大数据集群下的主机中或定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中之后，所述方法还包括：对所述第一任务执行计划的状态进行监控，并将所述第一任务执行计划的状态上报给所述大数据集群对应的服务器端；所述定时将所述第二定时任务脚本推送到大数据集群下的主机中之后包括：对所述第二任务执行计划的状态进行监控，并将所述第二任务执行计划的状态上报给所述大数据集群对应的服务器端。4.根据权利要求1所述的大数据集群处理方法，其特征在于，所述基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中之后，所述方法还包括：收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。5.一种大数据集群处理系统，其特征在于，包括：脚本定义模块，用于对大数据集群中的主机进行脚...

【专利技术属性】
技术研发人员：陈金龙，
申请(专利权)人：京东数字科技控股股份有限公司，
类型：发明
国别省市：