【技术实现步骤摘要】
本申请涉及数据处理，特别涉及一种分布式数据交换系统的作业管理方法、装置及服务器。
技术介绍
1、在大量的政府项目交付过程中，不同部门、组织、层级和区域之间的数据交换过程中会存在网络不可达情况，需要在每一个网络区域部署一套数据集成工具，将数据交换到公共缓存区。
2、目前开源的数据集成产品有很多，比如datax、kettle、flink cdc、seatunnel等，而在同一网络区域中，不同部门之间存在集成作业执行资源抢占的问题，当资源负载较高时作业之间互相影响，抽取写入性能自然也会下降，一般情况下用户发现执行缓慢的作业会手动停止并重新执行，从而影响整个交换的效率，且无法实现自动化。
技术实现思路
1、本申请提供一种分布式数据交换系统的作业管理方法、装置及服务器，以解决相关技术无法实现任务自动切换实现资源均衡，且手动切换执行环境无法实现断点续传等问题。
2、本申请第一方面实施例提供一种分布式数据交换系统的作业管理方法，所述分布式数据交换系统把控多个集成引擎，其中，所述方法包括以下步骤：识别目标集成引擎上运行的作业实例的作业指标和作业类型；根据所述作业指标和所述作业类型确定所述目标集成引擎上满足过慢运行条件的目标作业实例，将所述目标作业实例存储至分布式可靠存储；获取所述多个集成引擎中每个集成引擎的负载率，基于所述负载率小于预负载率的集成引擎，从所述分布式可靠存储中调取所述目标作业实例继续运行。
3、可选地，所述作业指标包括作业实例的读取数据量的平均值、
4、可选地，所述根据所述作业指标和所述作业类型确定所述目标集成引擎上满足过慢运行条件的目标作业实例，包括：若所述作业类型为所述全量批作业，则根据所述写入数据量平均值、所述写入数据量的平均值和所述整体平均值确定满足过慢运行条件的目标作业实例；若所述作业类型为所述实时作业，则根据所述写入数据量的平均值和所述读取数据量的平均值确定满足过慢运行条件的目标作业实例。
5、可选地，所述根据所述写入数据量的平均值和所述整体平均值确定满足过慢运行条件的目标作业实例，包括：分别计算当前作业实例在第一预设时长内写入数据量的第一平均值和第二预设时长内写入数据量的第二平均值，并计算所述第一平均值和所述第二平均值的第一差值；若所述第一差值大于或等于所述第一预设值，则计算当前作业实例的在第三预设时长内写入数据量的第三平均值，若所述第一平均值与所述第三平均值之间的第二差值大于或等于第二预设值，则判定所述当前作业实例为满足过慢运行条件的目标作业实例，其中，所述第一预设值大于所述第二预设值；若所述第一差值小于第三预设值，则获取所述当前作业实例的第一整体平均值和上一个或多个作业实例的第二整体平均值，若所述第一整体平均值和所述第二整体平均值的第三差值大于第四预设值，则判定所述当前作业实例为满足过慢运行条件的目标作业实例，其中，所述第一预设值大于所述第三预设值；否则，判定所述当前作业实例不满足过慢运行条件。
6、可选地，在判定所述当前作业实例不满足过慢运行条件之后，还包括：若所述第一差值大于或等于所述第三预设值，则分别计算所述当前作业实例在第四预设时长内写入数据量的第四平均值和第五预设时长内的第三整体平均值；若所述第四平均值和所述第三整体平均值的第四差值小于或等于第五预设值、大于第六预设值，或者，若所述第三差值大于或等于第七预设值、小于所述第四预设值，则生成所述当前作业实例运行缓慢的预设提示，其中，所述第四预设值大于所述第七预设值，所述第六预设值大于所述第五预设值。
7、可选地，所述根据所述写入数据量的平均值和所述读取数据量的平均值确定满足过慢运行条件的目标作业实例，包括：获取当前作业实例在第六预设时长内写入数据量的第五平均值、在第七预设时长内写入数据量的第六平均值、所述第八预设时长内的读取数据量的平均值和第九预设时长内的写入数据量的平均值；计算所述第五平均值分别与所述第六平均值、所述读取数据量的平均值和所述写入数据量的平均值的第五差值、第六差值和第七差值；若所述第五差值大于第八预设值，且所述第六差值和/或第七差值大于第九预设值，则判定所述当前作业实例为满足所述过慢运行条件的目标作业实例；若所述第五差值大于第十预设值、小于或等于所述第八预设值，且所述第六差值和/或第七差值大于第十一预设值，则生成所述当前作业实例运行缓慢的预设提示，其中，所述第八预设值大于所述第十预设值，所述第九预设值大于所述第十一预设值。
8、可选地，所述获取所述多个集成引擎中每个集成引擎的负载率，包括：获取所述每个集成引擎的网络io使用率和队列占用率；根据所述网络io使用率和所述队列占用率计算所述负载率。
9、本申请第二方面实施例提供一种分布式数据交换系统的作业管理装置，所述分布式数据交换系统把控多个集成引擎，其中，所述装置包括：识别模块，用于识别目标集成引擎上运行的作业实例的作业指标和作业类型；确定模块，用于根据所述作业指标和所述作业类型确定所述目标集成引擎上满足过慢运行条件的目标作业实例，将所述目标作业实例存储至分布式可靠存储；运行模块，用于获取所述多个集成引擎中每个集成引擎的负载率，基于所述负载率小于预负载率的集成引擎，从所述分布式可靠存储中调取所述目标作业实例继续运行。
10、可选地，所述作业指标包括作业实例的读取数据量的平均值、写入数据量平均值和整体平均值中的一个或多个，所述作业类型包括全量批作业和实时作业。
11、可选地，所述确定模块，进一步用于在所述作业类型为所述全量批作业时，则根据所述写入数据量的平均值和所述整体平均值确定满足过慢运行条件的目标作业实例；在所述作业类型为所述实时作业时，则根据所述写入数据量的平均值和所述读取数据量的平均值确定满足过慢运行条件的目标作业实例。
12、可选地，所述确定模块，进一步用于分别计算当前作业实例在第一预设时长内写入数据量的第一平均值和第二预设时长内写入数据量的第二平均值，并计算所述第一平均值和所述第二平均值的第一差值；若所述第一差值大于或等于所述第一预设值，则计算当前作业实例的在第三预设时长内写入数据量的第三平均值，若所述第一平均值与所述第三平均值之间的第二差值大于或等于第二预设值，则判定所述当前作业实例为满足过慢运行条件的目标作业实例，其中，所述第一预设值大于所述第二预设值；若所述第一差值小于第三预设值，则获取所述当前作业实例的第一整体平均值和上一个或多个作业实例的第二整体平均值，若所述第一整体平均值和所述第二整体平均值的第三差值大于第四预设值，则判定所述当前作业实例为满足过慢运行条件的目标作业实例，其中，所述第一预设值大于所述第三预设值；否则，判定所述当前作业实例不满足过慢运行条件。
13、可选地，所述分布式数据交换系统的作业管理装置，还包括：计算模块和生成模块，其中，计算模块用于在判定所述当前作业实例不满足过慢运行条件之后，在所述第一差值大于或等本文档来自技高网...
【技术保护点】
1.一种分布式数据交换系统的作业管理方法，其特征在于，所述分布式数据交换系统把控多个集成引擎，其中，所述方法包括以下步骤：
2.根据权利要求1所述的分布式数据交换系统的作业管理方法，其特征在于，所述作业指标包括作业实例的读取数据量的平均值、写入数据量的平均值和整体平均值中的一个或多个，所述作业类型包括全量批作业和实时作业。
3.根据权利要求2所述的分布式数据交换系统的作业管理方法，其特征在于，所述根据所述作业指标和所述作业类型确定所述目标集成引擎上满足过慢运行条件的目标作业实例，包括：
4.根据权利要求3所述的分布式数据交换系统的作业管理方法，其特征在于，所述根据所述写入数据量的平均值和所述整体平均值确定满足过慢运行条件的目标作业实例，包括：
5.根据权利要求4所述的分布式数据交换系统的作业管理方法，其特征在于，在判定所述当前作业实例不满足过慢运行条件之后，还包括：
6.根据权利要求3所述的分布式数据交换系统的作业管理方法，其特征在于，所述根据所述写入数据量的平均值和所述读取数据量的平均值确定满足过慢运行条件的目标作业实
7.根据权利要求3所述的分布式数据交换系统的作业管理方法，其特征在于，所述获取所述多个集成引擎中每个集成引擎的负载率，包括：
8.一种分布式数据交换系统的作业管理装置，其特征在于，所述分布式数据交换系统把控多个集成引擎，其中，所述装置包括：
9.一种服务器，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的分布式数据交换系统的作业管理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-7任一项所述的分布式数据交换系统的作业管理方法。
...【技术特征摘要】
1.一种分布式数据交换系统的作业管理方法，其特征在于，所述分布式数据交换系统把控多个集成引擎，其中，所述方法包括以下步骤：
2.根据权利要求1所述的分布式数据交换系统的作业管理方法，其特征在于，所述作业指标包括作业实例的读取数据量的平均值、写入数据量的平均值和整体平均值中的一个或多个，所述作业类型包括全量批作业和实时作业。
3.根据权利要求2所述的分布式数据交换系统的作业管理方法，其特征在于，所述根据所述作业指标和所述作业类型确定所述目标集成引擎上满足过慢运行条件的目标作业实例，包括：
4.根据权利要求3所述的分布式数据交换系统的作业管理方法，其特征在于，所述根据所述写入数据量的平均值和所述整体平均值确定满足过慢运行条件的目标作业实例，包括：
5.根据权利要求4所述的分布式数据交换系统的作业管理方法，其特征在于，在判定所述当前作业实例不满足过慢运行条件之后，还包括：<...
【专利技术属性】
技术研发人员：揣晨熙，徐颖，
申请(专利权)人：杭州玖青数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。