一种MasterServer高可用测试的方法、系统、设备和存储介质技术方案

本发明专利技术提供一种MasterServer高可用测试的方法、系统、设备和存储介质，方法包括：检查集群基础环境并验证DolphinScheduler功能是否正常；响应于DolphinScheduler功能正常，在所述DolphinScheduler中运行多个离线数据集成作业，并确定每个离线数据集成作业运行的MasterServer节点；强制关闭任一未完成任务实例的MasterServer节点对应的MasterServer进程，并判断所述MasterServer进程上的未完成任务实例是否转移到其他MasterServer节点；以及响应于所述MasterServer进程上的未完成任务实例转移到其他MasterServer节点，记录容错时间并生成日志。本发明专利技术可以记录MasterServer被关闭的时间和该MasterServer上未完成任务实例容错至其他MasterServer的时间，可以计算DolphinScheduler工具MasterServer高可用用时，也提高了测试效率，节约人力资源。节约人力资源。节约人力资源。

【技术实现步骤摘要】
一种MasterServer高可用测试的方法、系统、设备和存储介质


[0001]本专利技术涉及测试领域，更具体地，特别是指一种MasterServer高可用测试的方法、系统、设备和存储介质。

技术介绍

[0002]开源大数据组件DolphinScheduler工具MasterServer(主服务器)的高可用功能是DolphinScheduler的重要功能，MasterServer采用分布式无中心设计理念，MasterServer主要负责DAG任务切分、任务提交监控，并同时监听其它MasterServer和WorkerServer(工作者服务器)的健康状态。MasterServer服务启动时向Zookeeper注册临时节点，通过监听Zookeeper临时节点变化来进行容错处理。因此DolphinScheduler工具MasterServer的HA功能测试是非常重要的环节。另外，DolphinScheduler工具MasterServer在高可用功能测试时，执行结果没有记录，记录只能采用手工测试，不能准确记录master(主)节点down(坏)掉后任务容错至备用节点的时间，并且操作复杂耗时耗力。

技术实现思路

[0003]有鉴于此，本专利技术实施例的目的在于提出一种MasterServer高可用测试的方法、系统、计算机设备及计算机可读存储介质，本专利技术可以记录MasterServer被杀死的时间和该MasterServer上未完成任务实例容错至其他MasterServer的时间，可以计算DolphinScheduler工具MasterServer高可用用时，也提高了测试效率，节约人力资源，为DolphinScheduler工具MasterServer高可用性测试提供了保证和依据。
[0004]基于上述目的，本专利技术实施例的一方面提供了一种MasterServer高可用测试的方法，包括如下步骤：检查集群基础环境并验证DolphinScheduler功能是否正常；响应于DolphinScheduler功能正常，在所述DolphinScheduler中运行多个离线数据集成作业，并确定每个离线数据集成作业运行的MasterServer节点；强制关闭任一未完成任务实例的MasterServer节点对应的MasterServer进程，并判断所述MasterServer进程上的未完成任务实例是否转移到其他MasterServer节点；以及响应于所述MasterServer进程上的未完成任务实例转移到其他MasterServer节点，记录容错时间并生成日志。
[0005]在一些实施方式中，所述检查集群基础环境并验证DolphinScheduler功能是否正常包括：确认所述DolphinScheduler中的多个MasterServer节点是否均正常运行，并确认离线数据集成作业工具的状态是否正常。
[0006]在一些实施方式中，所述强制关闭任一未完成任务实例的MasterServer节点对应的MasterServer进程包括：获取所述MasterServer进程的进程号，通过预设命令根据所述进程号关闭所述MasterServer进程，并记录关闭时间。
[0007]在一些实施方式中，方法还包括：响应于所述MasterServer进程上的未完成任务实例未转移到其他MasterServer节点，进行告警。
[0008]本专利技术实施例的另一方面，提供了一种MasterServer高可用测试的系统，包括：检
查模块，配置用于检查集群基础环境并验证DolphinScheduler功能是否正常；作业模块，配置用于响应于DolphinScheduler功能正常，在所述DolphinScheduler中运行多个离线数据集成作业，并确定每个离线数据集成作业运行的MasterServer节点；判断模块，配置用于强制关闭任一未完成任务实例的MasterServer节点对应的MasterServer进程，并判断所述MasterServer进程上的未完成任务实例是否转移到其他MasterServer节点；以及日志模块，配置用于响应于所述MasterServer进程上的未完成任务实例转移到其他MasterServer节点，记录容错时间并生成日志。
[0009]在一些实施方式中，所述检查模块配置用于：确认所述DolphinScheduler中的多个MasterServer节点是否均正常运行，并确认离线数据集成作业工具的状态是否正常。
[0010]在一些实施方式中，所述判断模块配置用于：获取所述MasterServer进程的进程号，通过预设命令根据所述进程号关闭所述MasterServer进程，并记录关闭时间。
[0011]在一些实施方式中，系统还包括告警模块，配置用于：响应于所述MasterServer进程上的未完成任务实例未转移到其他MasterServer节点，进行告警。
[0012]本专利技术实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
[0013]本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
[0014]本专利技术具有以下有益技术效果：可以记录MasterServer被杀死的时间和该MasterServer上未完成任务实例容错至其他MasterServer的时间，可以计算DolphinScheduler工具MasterServer高可用用时，也提高了测试效率，节约人力资源，为DolphinScheduler工具MasterServer高可用性测试提供了保证和依据。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0016]图1为本专利技术提供的MasterServer高可用测试的方法的实施例的示意图；
[0017]图2为本专利技术提供的MasterServer高可用测试的系统的实施例的示意图；
[0018]图3为本专利技术提供的MasterServer高可用测试的计算机设备的实施例的硬件结构示意图；
[0019]图4为本专利技术提供的MasterServer高可用测试的计算机存储介质的实施例的示意图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0021]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两
个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种MasterServer高可用测试的方法，其特征在于，包括如下步骤：检查集群基础环境并验证DolphinScheduler功能是否正常；响应于DolphinScheduler功能正常，在所述DolphinScheduler中运行多个离线数据集成作业，并确定每个离线数据集成作业运行的MasterServer节点；强制关闭任一未完成任务实例的MasterServer节点对应的MasterServer进程，并判断所述MasterServer进程上的未完成任务实例是否转移到其他MasterServer节点；以及响应于所述MasterServer进程上的未完成任务实例转移到其他MasterServer节点，记录容错时间并生成日志。2.根据权利要求1所述的方法，其特征在于，所述检查集群基础环境并验证DolphinScheduler功能是否正常包括：确认所述DolphinScheduler中的多个MasterServer节点是否均正常运行，并确认离线数据集成作业工具的状态是否正常。3.根据权利要求1所述的方法，其特征在于，所述强制关闭任一未完成任务实例的MasterServer节点对应的MasterServer进程包括：获取所述MasterServer进程的进程号，通过预设命令根据所述进程号关闭所述MasterServer进程，并记录关闭时间。4.根据权利要求1所述的方法，其特征在于，方法还包括：响应于所述MasterServer进程上的未完成任务实例未转移到其他MasterServer节点，进行告警。5.一种MasterServer高可用测试的系统，其特征在于，包括：检查模块，配置用于检查集群基础环境并验证DolphinScheduler功能是否正常；作业模块，配置用于响应于Dol...

【专利技术属性】
技术研发人员：王倩，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：