大数据集群的检测方法及装置、电子设备及存储介质制造方法及图纸

本申请提供了一种大数据集群的检测方法及装置、电子设备及存储介质，包括：获取大数据集群的检测文件，检测文件至少第一检测文件和第二检测文件；第一检测文件包括访问大数据集群的访问信息；第二检测文件包括基于大数据集群进行业务数据处理的执行语句；依据第一检测文件访问大数据集群，若无法访问大数据集群或在第一时长内无法访问大数据集群，发出预警通知，从而可以使及时发现大数据集群停止运行的问题；若在第一时长范围内访问至大数据集群，但依据第二检测文件，对大数据集群进行业务数据处理；业务数据处理的时长大于第二时长，或无法进行业务数据处理，说明大数据集群停止运行，发出预警通知，从而及时发现大数据集群停止运行的问题。

【技术实现步骤摘要】
大数据集群的检测方法及装置、电子设备及存储介质
本申请涉及电子信息领域，尤其涉及一种大数据集群的检测方法及装置、电子设备及存储介质。
技术介绍
随着大数据技术的发展，越来越多的大数据集群(例如，GreenPlum。以及HADOOP等大数据集群)用于处理企业的业务。但是，目前对大数据集群的进行检测，无法检测大数据集群出现运行停止的情况，只有在用户办理业务无法使用大数据集群的情况下，才能发现大数据集群停止运行，这极大的影响了企业业务处理的效率。
技术实现思路
专利技术人经研究发现，大数据集群停止运行的情况下，常常无法访问该大数据集群，或者访问进入后，大数据集群无法完成正常业务数据处理的检测任务，基于此，本申请提供了一种大数据集群的检测方法及装置、电子设备及存储介质，目的在于解决如何及时发现大数据集群停止运行的问题。一种大数据集群的检测方法，包括：获取大数据集群的检测文件，所述检测文件至少包括第一检测文件和第二检测文件；所述第一检测文件包括访问所述大数据集群的访问信息；所述第二检测文件包括基于所述大数据集群进行业务数据处理的执行语句；依据所述第一检测文件，访问所述大数据集群，若无法访问所述大数据集群或在第一时长内无法访问所述大数据集群，则发出预警通知；若在所述第一时长范围内访问至所述大数据集群，则依据所述第二检测文件，对所述大数据集群进行所述业务数据处理；若所述业务数据处理的时长大于第二时长，或无法进行所述业务数据处理，则发出所述预警通知。上述的方法，可选的，发出所述预警通知，包括：在无法访问所述大数据集群、所述第一时长内无法访问所述大数据集群、所述大数据集群的所述业务数据处理的时长大于所述第二时长，或者，所述大数据集群无法进行所述业务数据处理的情况下，生成预设的用于表征所述大数据集群停止运行的检测结果信息；将所述检测结果信息输出至检测日志文件；触发预设的预警工具读取所述检测日志文件，并将所述检测结果信息预对应的预警信息发送至预设的用户通信号，以提示所述大数据集群停止运行。上述的方法，可选的，所述获取大数据集群的检测文件，包括：按照预设的检测配置文件中指定的检测时间点，获取所述检测时间点预设对应的大数据集群的检测文件，其中，检测配置文件中包括，所述检测时间点与所述大数据集群的对应关系，所述检测时间点与所述大数据集群对应为，在所述检测时间点，检测所述大数据集群。上述的方法，可选的，还包括，若业务数据处理的时长小于所述第二时长，则确定所述大数据集群处于运行状态。上述的方法，可选的，所述访问信息至少包括：所述大数据集群的IP地址、所述大数据集群的标识、以及所述大数据集群的访问密码；所述访问所述大数据集群，包括：基于所述访问信息，访问所述大数据集群的主机节点。上述的方法，可选的，所述检测文件还包括第三检测文件，所述第三检测文件包括检测所述大数据集群中各个节点的运行状态的执行语句，所述第三检测文件用于检测所述大数据集群中所有节点的运行状态。上述的方法，可选的，还包括，响应于用户输入的新增检测文件的指令，获取新增的检测文件，以及所述新增的检测文件携带的标识，依据所述标识，确定所述新增的检测文件对应的所述大数据集群，所述检测文件与所述大数据集群对应，为采用所述检测文件对所述大数据集群进行检测。一种大数据集群的检测装置，包括：获取单元，用于获取大数据集群的检测文件，所述检测文件至少包括第一检测文件和第二检测文件；所述第一检测文件包括访问所述大数据集群的访问信息；所述第二检测文件包括基于所述大数据集群进行业务数据处理的执行语句；访问单元，用于依据所述第一检测文件，访问所述大数据集群，若无法访问所述大数据集群或在第一时长内无法访问所述大数据集群，则发出预警通知；处理单元，用于若在所述第一时长范围内访问至所述大数据集群，则依据所述第二检测文件，对所述大数据集群进行所述业务数据处理；若所述业务数据处理的时长大于第二时长，或无法进行所述业务数据处理，则发出所述预警通知。一种电子设备，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现上述的大数据集群的检测的方法。一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求上述的大数据集群的检测的方法。本申请所述的方法及装置，获取大数据集群的检测文件，检测文件至少第一检测文件和第二检测文件；第一检测文件包括访问大数据集群的访问信息；第二检测文件包括基于大数据集群进行业务数据处理的执行语句；依据第一检测文件访问大数据集群，若无法访问大数据集群或在第一时长内无法访问大数据集群，则说明大数据集群停止运行，则发出预警通知，从而可以使及时发现大数据集群停止运行的问题；若在第一时长范围内访问至大数据集群，但依据第二检测文件，对大数据集群进行业务数据处理；业务数据处理的时长大于第二时长，或无法进行业务数据处理，则说明大数据集群停止运行，则发出预警通知，从而可以及时的发现大数据集群停止运行的问题，综上，本申请提供的方法，可以及时的发现大数据集群停止运行的问题。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种数据集群的检测方法的流程图；图2为本申请实施例提供的大数据集群检测平台的架构图；图3为本申请实施例提供的一种数据集群的检测装置的结构示意图；图4为本申请实施例提供的一种电子设备的结构示意图。具体实施方式目前，越来越多的企业应用大数据集群进行业务数据的处理，但是目前无法检测大数据集群出现运行停止的情况，只有在用户办理业务无法使用大数据集群的情况下，才能发现大数据集群停止运行，这极大的影响了企业业务处理的效率。专利技术人经研究发现，大数据集群停止运行的情况下，常常无法访问该大数据集群，或者访问进入后，大数据集群无法完成正常业务数据处理的检测任务，基于此，本申请提供一种大数据集群的检测方法，目的在于，通过访问大数据集群，以及对大数据集群进行业务数据处理的检测任务，以判断大数据集群是否处于运行状态，并在判断出大数据集群处于停止运行状态的情况下，发出预警通知，使能够及时的发现大数据集群的异常。需要说明的是，本申请中，大数据集群处于运行状态，指的是大数据集群具有正常的处理业务数据的能力，大数据集群处于停止运行状态，指的是大数据集群中业务数据处理进程处于停止的状态，无法对外进行数据处理服务。为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中本文档来自技高网...

【技术保护点】
1.一种大数据集群的检测方法，其特征在于，包括：/n获取大数据集群的检测文件，所述检测文件至少包括第一检测文件和第二检测文件；所述第一检测文件包括访问所述大数据集群的访问信息；所述第二检测文件包括基于所述大数据集群进行业务数据处理的执行语句；/n依据所述第一检测文件，访问所述大数据集群，若无法访问所述大数据集群或在第一时长内无法访问所述大数据集群，则发出预警通知；/n若在所述第一时长范围内访问至所述大数据集群，则依据所述第二检测文件，对所述大数据集群进行所述业务数据处理；若所述业务数据处理的时长大于第二时长，或无法进行所述业务数据处理，则发出所述预警通知。/n

【技术特征摘要】
1.一种大数据集群的检测方法，其特征在于，包括：
获取大数据集群的检测文件，所述检测文件至少包括第一检测文件和第二检测文件；所述第一检测文件包括访问所述大数据集群的访问信息；所述第二检测文件包括基于所述大数据集群进行业务数据处理的执行语句；
依据所述第一检测文件，访问所述大数据集群，若无法访问所述大数据集群或在第一时长内无法访问所述大数据集群，则发出预警通知；
若在所述第一时长范围内访问至所述大数据集群，则依据所述第二检测文件，对所述大数据集群进行所述业务数据处理；若所述业务数据处理的时长大于第二时长，或无法进行所述业务数据处理，则发出所述预警通知。


2.根据权利要求1所述的方法，其特征在于，发出所述预警通知，包括：
在无法访问所述大数据集群、所述第一时长内无法访问所述大数据集群、所述大数据集群的所述业务数据处理的时长大于所述第二时长，或者，所述大数据集群无法进行所述业务数据处理的情况下，生成预设的用于表征所述大数据集群停止运行的检测结果信息；
将所述检测结果信息输出至检测日志文件；
触发预设的预警工具读取所述检测日志文件，并将所述检测结果信息预对应的预警信息发送至预设的用户通信号，以提示所述大数据集群停止运行。


3.根据权利要求1所述的方法，其特征在于，所述获取大数据集群的检测文件，包括：
按照预设的检测配置文件中指定的检测时间点，获取所述检测时间点预设对应的大数据集群的检测文件，其中，检测配置文件中包括，所述检测时间点与所述大数据集群的对应关系，所述检测时间点与所述大数据集群对应为，在所述检测时间点，检测所述大数据集群。


4.根据权利要求1所述的方法，其特征在于，还包括，若所述业务数据处理的时长小于所述第二时长，则确定所述大数据集群处于运行状态。


5.根据权利要求1所述的方法，其特征在于，所述访问信息至少包括：
所述大数据集...

【专利技术属性】
技术研发人员：刘煜，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11