一种基于多种计算引擎治理的优化方法和装置制造方法及图纸

本发明专利技术涉及大数据处理技术领域，特别是一种基于多种计算引擎治理的优化方法和装置。架构简单，所以部署简单且易于维护，服务端和客户端本身都不存储任何数据，数据都放到数据库上进行维护，因此服务端和客户端服务都可以水平伸缩，不依赖任何中间件。DAG对任务流程进行组织，可以将大的DAG拆分为子DAG，拆分可以通过策略均衡子DAG的任务大小，也可以通过将相同的执行引擎任务聚合到一个子DAG中，拆分灵活易于根据业务需求聚合任务。任务管理通过结合资源管理提供的资源信息，提供了任务和客户端进行动态绑定的可能，任务即可以通过轮询客户端服务列表来达到负载均衡，也可以通过资源利用率低优先策略配置分摊更多任务，提供更多的灵活策略来适应业务变化。

【技术实现步骤摘要】

本专利技术涉及大数据处理，特别是一种基于多种计算引擎治理的优化方法和装置。

技术介绍

1、随着计算技术的不断发展，出现了各种类型的计算引擎，如mapreduce，spark、flink、tensorflow、pytorch、trino等，被广泛应用于大数据数据处理、机器学习和科学计算、数据分析等领域。在一些通用的大数据平台上为了满足不同使用场景，系统适配了多种不同的计算引擎。在一个平台中同时使用多个计算引擎带来了引擎的管理和协调功能挑战。市面上使用多引擎的方式有三种，一种是直接对接底层计算引擎来使用，这种方式简单直接，但是如果平台其它子系统需要使用又需要单独开发对接计算引擎，最耗费资源；另外一种方式是提供一个公共能力服务包装多引擎的连接方式，部署的时候可以单节点和多节点部署，这样的方式能够减少重复开发的目的，节省资源并减少了单点故障，但是这样的方式也带来了某个节点可能出现热点的问题；第三种方式是解决了热点问题，但是引入了诸如物料管理、资源管理、公共管理等多个功能模块，系统功能庞大复杂，不够轻量级，部署维护不方便；所以围绕着多计算引擎的接入、避免热点节点提高本文档来自技高网...

【技术保护点】

1.一种基于多种计算引擎治理的优化方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种基于多种计算引擎治理的优化方法的装置，其特征在于所述服务端：基于http的通信协议方式，使用JSON标准格式来提供和前端用户进行交互能力的软件系统，包含接口、任务流解析、DAG、任务管理功能、任务优化器、调度管理器、资源管理器功能，RPC功能；

【技术特征摘要】

1.一种基于多种计算引擎治理的优化方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种基于多种计算引擎治理的优化方法的装置，其特征在于所述服务端：基于htt...

【专利技术属性】
技术研发人员：张传东，曾淋，刘博，石仁杰，
申请(专利权)人：中电万维信息技术有限责任公司，
类型：发明
国别省市：