一种分布式大数据计算引擎制造技术

本发明专利技术涉及一种分布式大数据计算引擎，包括：统一接口模块、分布式计算引擎模块和运算结果处理模块；统一接口模块用于接收计算任务，并基于计算任务的数据类型标识进行任务解析，以启动对应的计算引擎；分布式计算引擎模块包括流计算引擎、批计算引擎和批流一体计算引擎，分别用于读取并执行对应的计算任务；运算结果处理模块用于采集各个计算引擎的运行状态数据，进行运行状态监控并向客户端返回任务计算结果。本发明专利技术解决了现有技术中的大数据计算引擎在面对多种复杂的计算场景时，无法针对多类型的数据处理任务提供并行高效的实时计算，以进行实时快速响应的问题。

【技术实现步骤摘要】

本专利技术属于数据处理，具体涉及一种分布式大数据计算引擎。

技术介绍

1、随着情报、监视和侦察系统产生的异构数据越来越大，包括电子侦察数据、可见光谱数据、情报数据、各种场地实时态势数据以及后勤保障、人员调动等指令数据，各场景下数据业务的多样性和复杂性增加，在数据存储、计算和数据分析处理业务打通方面的挑战也越来越大。

2、在分布式计算方面，除了传统在海量数据批量处理需求外，数据的实时处理高效辅助作战决策。因此技术上需要有一个统一的大数据计算引擎来处理批计算、流计算及批流一体计算的所有需求。

技术实现思路

1、鉴于上述的分析，本专利技术旨在公开一种分布式大数据计算引擎，解决了现有技术中的数据计算引擎在面对多种复杂的计算场景时，无法针对多类型的数据处理任务提供并行高效的实时计算，导致延时高，无法进行实时快速响应的问题。

2、本专利技术的目的主要是通过以下技术方案实现的：

3、一方面，本专利技术公开了一种分布式大数据计算引擎，该计算引擎包括：统一接口模块、分布式计算引擎模块和运算结本文档来自技高网...

【技术保护点】

1.一种分布式大数据计算引擎，其特征在于，包括：统一接口模块、分布式计算引擎模块和运算结果处理模块；

2.根据权利要求1所述的分布式大数据计算引擎，其特征在于，

3.根据权利要求2所述的分布式大数据计算引擎，其特征在于，所述行列混合存储包括：将一个表分为多个tablet，每个所述tablet包括MetaData元数据及多个行集RowSet，所述行集RowSet包含一个MemRowSet及多个DiskRowSet；

4.根据权利要求1所述的分布式大数据计算引擎，其特征在于，所述流计算引擎包括控制节点模块，计算节点模块和Zookeeper集群模块；

...

【技术特征摘要】

1.一种分布式大数据计算引擎，其特征在于，包括：统一接口模块、分布式计算引擎模块和运算结果处理模块；

2.根据权利要求1所述的分布式大数据计算引擎，其特征在于，

3.根据权利要求2所述的分布式大数据计算引擎，其特征在于，所述行列混合存储包括：将一个表分为多个tablet，每个所述tablet包括metadata元数据及多个行集rowset，所述行集rowset包含一个memrowset及多个diskrowset；

4.根据权利要求1所述的分布式大数据计算引擎，其特征在于，所述流计算引擎包括控制节点模块，计算节点模块和zookeeper集群模块；

5.根据权利要求4所述的分布式大数据计算引擎，其特征在于，所述物理计算节点包括监测进程tracker和工作进程worker；所述监测进程tracker通过所述zookeeper集群模块获取任务信息并创建工作进程work...

【专利技术属性】
技术研发人员：孟英谦，李旭光，葛晋鹏，李泽宇，陈朔，邬书豪，随秋林，张敏，刘晓兰，薛行，王嘉岩，李子行，
申请(专利权)人：中国兵器工业计算机应用技术研究所，
类型：发明
国别省市：