大数据计算中间件系统技术方案

本申请涉及大数据技术领域，提供一种大数据计算中间件系统

【技术实现步骤摘要】
大数据计算中间件系统、数据处理方法及存储介质


[0001]本申请涉及大数据
，具体涉及一种大数据计算中间件系统
、
数据处理方法及存储介质
。

技术介绍

[0002]目前，上层应用与大数据集群之间多采用直接连接的方式，由于大数据集群的计算存储引擎的种类繁多，采用直接连接的方式，每一个上层应用需要与每一个计算存储引擎建立连接，从而形成复杂的调用关系，且当大数据集群组件增加时，复杂度会呈指数级上升
。
为了能够调用多种计算存储引擎，上层应用不得不适配每种计算存储引擎的接口，从而造成上层应用与计算存储引擎之间的深度耦合，对于系统的维护
、
扩展都会带来较大的困难
。
并且，直接连接进行交互的方式功能上比较单一，要求上层应用为每一种计算存储引擎实现连接
、
交互等功能，导致上层应用与各种大数据组件之间的连接关系非常复杂，同样的功能无法被复用，造成计算存储引擎的连接效率低下
。

技术实现思路

[0003]本申请实施例提供一种大数据计算中间件系统
、
数据处理方法及存储介质，用以解决现有的上层应用与大数据集群之间直接连接，造成深度耦合和连接关系复杂，功能无法被复用导致引擎的连接效率低的技术问题
。
[0004]第一方面，本申请实施例提供一种大数据计算中间件系统，包括计算治理模块和计算存储引擎，所述计算治理模块包括引擎连接器
、
引擎管理器和应用管理器，所述引擎管理器用于向所述引擎连接器的创建提供资源，并保存所述引擎连接器的实例，其中：
[0005]所述应用管理器根据接收到的计算任务从所述引擎管理器上获取所述计算任务可复用的目标引擎连接器，或者，在所述引擎管理器上创建所述计算任务对应的目标引擎连接器；
[0006]所述目标引擎连接器将所述计算任务转发至所述计算存储引擎中执行
。
[0007]在一个实施例中，所述系统还包括资源管理器，所述应用管理器根据接收到的计算任务从所述引擎管理器上获取所述计算任务可复用的目标引擎连接器，或者，在所述引擎管理器上创建所述计算任务对应的目标引擎连接器，具体包括：
[0008]所述应用管理器根据接收到的计算任务查询所述引擎管理器上的各引擎连接器的实例，以确定所述引擎连接器的实例中是否存在所述计算任务可复用的引擎连接器；
[0009]若存在，获取所述计算任务可复用的目标引擎连接器；
[0010]若不存在，根据所述计算任务中的用户信息，在所述用户信息注册的引擎管理器中查找可用引擎管理器，并根据各所述可用引擎管理器的性能信息确定目标引擎管理器，所述性能信息包括可用性信息
、
资源剩余信息和负载信息；
[0011]根据所述计算任务中的启动参数和用户配置参数，计算创建引擎连接器所需的资源信息；
[0012]根据所述资源信息向所述资源管理器申请资源，资源申请成功后，封装引擎启动请求，并通过远程过程调用将所述引擎启动请求发送给所述目标引擎管理器进行服务启动，以创建所述计算任务对应的目标引擎连接器
。
[0013]在一个实施例中，若所述引擎连接器的实例中不存在所述计算任务可复用的引擎连接器，所述应用管理器还用于生成引擎创建请求并发送给所述目标引擎管理器；
[0014]所述目标引擎管理器用于：
[0015]接收所述引擎创建请求，并从所述引擎创建请求中解析启动参数，并确定待启动的目标引擎连接器的类型和版本信息；
[0016]获取所述类型和版本信息对应的引擎启动插件，利用所述启动参数构造所述目标引擎连接器的启动脚本；
[0017]根据所述启动插件和所述启动脚本启动所述目标引擎连接器，并创建所述目标引擎连接器的连接上下文，以初始化所述目标引擎连接器
。
[0018]在一个实施例中，所述系统还包括历史任务模块，所述目标引擎连接器具体用于：
[0019]接收所述计算任务，通过线程池将所述计算任务异步发送给所述计算存储引擎，并返回执行编码；
[0020]根据所述执行编码获取所述计算任务的执行信息，和
/
或，创建多个监听器监听所述计算存储引擎对所述计算任务的执行情况，若所述计算存储引擎不支持所述监听器，启动守护线程，利用所述守护线程向所述计算存储引擎获取所述计算任务的执行信息，所述执行信息包括执行状态
、
执行进度
、
执行日志和结果集；
[0021]将所述执行信息中的结果集持久化到所述历史任务模块，并更新所述计算任务在所述历史任务模块中的任务状态
。
[0022]在一个实施例中，所述系统还包括入口服务，所述入口服务用于：
[0023]接收上层应用发起的任务请求，并校验所述任务请求的合法性，若校验通过，对所述任务请求进行持久化；
[0024]根据所述任务请求生成计算任务，并将所述计算任务发送到任务调度队列中，所述任务调度队列包括消费队列和消费线程，所述消费队列用于存放所述计算任务，所述消费线程按照先进先出的方式，从所述消费队列中取出所述计算任务进行消费
。
[0025]在一个实施例中，所述系统还包括公共增强模块，所述公共增强模块包括统一配置管理，用于提供全局设置和通用设置得查询和保存操作
。
[0026]在一个实施例中，所述公共增强模块还包括统一上下文服务和统一物料服务，其中，所述统一物料管理服务用于：
[0027]存储不同类型的文件数据，所述文件数据包括脚本文件
、
资源文件和运行所述计算存储引擎时使用的类库；
[0028]合并多个不同版本的资源文件
。
[0029]在一个实施例中，所述系统还包括路由通信模块，用于提供路由通信服务
。
[0030]第二方面，本申请实施例提供一种数据处理方法，应用于如第一方面所述的大数据计算中间件系统，所述数据处理方法包括以下步骤：
[0031]根据接收到的计算任务获取所述计算任务可复用的目标引擎连接器，或者，创建所述计算任务对应的目标引擎连接器；
[0032]通过所述目标引擎连接器将所述计算任务转发至对应的计算存储引擎中执行
。
[0033]第三方面，本申请实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第二方面所述的数据处理方法的步骤
。
[0034]本申请实施例提供的大数据计算中间件系统
、
数据处理方法及存储介质，通过大数据计算中间件系统可以屏蔽底层计算存储引擎的不同，当接收到计算任务时，可以选择可复用的引擎连接器或者创建引擎连接器，无需针对相同的功能在每个上层应用和引擎连接器之间建立连接，简化了上层应用和引擎连接器的连接关系，使得相同的功能可以被复用，提高了引擎的连接效率
。
附图说明<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种大数据计算中间件系统，其特征在于，所述系统包括计算治理模块和计算存储引擎，所述计算治理模块包括引擎连接器
、
引擎管理器和应用管理器，所述引擎管理器用于向所述引擎连接器的创建提供资源，并保存所述引擎连接器的实例，其中：所述应用管理器根据接收到的计算任务从所述引擎管理器上获取所述计算任务可复用的目标引擎连接器，或者，在所述引擎管理器上创建所述计算任务对应的目标引擎连接器；所述目标引擎连接器将所述计算任务转发至所述计算存储引擎中执行
。2.
根据权利要求1所述的大数据计算中间件系统，其特征在于，所述系统还包括资源管理器，所述应用管理器根据接收到的计算任务从所述引擎管理器上获取所述计算任务可复用的目标引擎连接器，或者，在所述引擎管理器上创建所述计算任务对应的目标引擎连接器，具体包括：所述应用管理器根据接收到的计算任务查询所述引擎管理器上的各引擎连接器的实例，以确定所述引擎连接器的实例中是否存在所述计算任务可复用的引擎连接器；若存在，获取所述计算任务可复用的目标引擎连接器；若不存在，根据所述计算任务中的用户信息，在所述用户信息注册的引擎管理器中查找可用引擎管理器，并根据各所述可用引擎管理器的性能信息确定目标引擎管理器，所述性能信息包括可用性信息
、
资源剩余信息和负载信息；根据所述计算任务中的启动参数和用户配置参数，计算创建引擎连接器所需的资源信息；根据所述资源信息向所述资源管理器申请资源，资源申请成功后，封装引擎启动请求，并通过远程过程调用将所述引擎启动请求发送给所述目标引擎管理器进行服务启动，以创建所述计算任务对应的目标引擎连接器
。3.
根据权利要求2所述的大数据计算中间件系统，其特征在于：若所述引擎连接器的实例中不存在所述计算任务可复用的引擎连接器，所述应用管理器还用于生成引擎创建请求并发送给所述目标引擎管理器；所述目标引擎管理器用于：接收所述引擎创建请求，并从所述引擎创建请求中解析启动参数，并确定待启动的目标引擎连接器的类型和版本信息；获取所述类型和版本信息对应的引擎启动插件，利用所述启动参数构造所述目标引擎连接器的启动脚本；根据所述启动插件和所述启动脚本启动所述目标引擎连接器，并创建所述目标引擎连接器的连接上下文，以初始化所述目标引擎连接器
。4.
根据权利要求1所述的大数据计算中间件系统，其特征在于，所述系统还包括历史任务模块，所述目标引擎连接器具体用于：接收所述计算任...

【专利技术属性】
技术研发人员：翟舒珂，
申请(专利权)人：中移系统集成有限公司中国移动通信集团有限公司，
类型：发明
国别省市：