【技术实现步骤摘要】
本申请涉及数据处理，特别涉及一种分布式数据交换系统的作业管理方法、装置及服务器。
技术介绍
1、在大量的政府项目交付过程中，不同部门、组织、层级和区域之间的数据交换过程中会存在网络不可达情况，需要在每一个网络区域部署一套数据集成工具，将数据交换到公共缓存区。
2、目前开源的数据集成产品有很多，比如datax、kettle、flink cdc、seatunnel等，而在同一网络区域中，不同部门之间存在集成作业执行资源抢占的问题，当资源负载较高时作业之间互相影响，抽取写入性能自然也会下降，一般情况下用户发现执行缓慢的作业会手动停止并重新执行，从而影响整个交换的效率，且无法实现自动化。
技术实现思路
1、本申请提供一种分布式数据交换系统的作业管理方法、装置及服务器，以解决相关技术无法实现任务自动切换实现资源均衡，且手动切换执行环境无法实现断点续传等问题。
2、本申请第一方面实施例提供一种分布式数据交换系统的作业管理方法，所述分布式数据交换系统把控多个集成引擎，其中，所述方...
【技术保护点】
1.一种分布式数据交换系统的作业管理方法，其特征在于，所述分布式数据交换系统把控多个集成引擎，其中，所述方法包括以下步骤：
2.根据权利要求1所述的分布式数据交换系统的作业管理方法，其特征在于，所述作业指标包括作业实例的读取数据量的平均值、写入数据量的平均值和整体平均值中的一个或多个，所述作业类型包括全量批作业和实时作业。
3.根据权利要求2所述的分布式数据交换系统的作业管理方法，其特征在于，所述根据所述作业指标和所述作业类型确定所述目标集成引擎上满足过慢运行条件的目标作业实例，包括：
4.根据权利要求3所述的分布式数据交换系统的作...
【技术特征摘要】
1.一种分布式数据交换系统的作业管理方法，其特征在于，所述分布式数据交换系统把控多个集成引擎，其中，所述方法包括以下步骤：
2.根据权利要求1所述的分布式数据交换系统的作业管理方法，其特征在于，所述作业指标包括作业实例的读取数据量的平均值、写入数据量的平均值和整体平均值中的一个或多个，所述作业类型包括全量批作业和实时作业。
3.根据权利要求2所述的分布式数据交换系统的作业管理方法，其特征在于，所述根据所述作业指标和所述作业类型确定所述目标集成引擎上满足过慢运行条件的目标作业实例，包括：
4.根据权利要求3所述的分布式数据交换系统的作业管理方法，其特征在于，所述根据所述写入数据量的平均值和所述整体平均值确定满足过慢运行条件的目标作业实例，包括：
5.根据权利要求4所述的分布式数据交换系统的作业管理方法，其特征在于，在判定所述当前作业实例不满足过慢运行条件之后，还包括：<...
【专利技术属性】
技术研发人员：揣晨熙，徐颖，
申请(专利权)人：杭州玖青数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。