大数据实时计算方法及平台技术

本发明专利技术提供一种大数据实时计算方法及平台，该方法包括创建实时计算任务，并配置实时计算任务的任务信息，任务信息包括集群信息、数据源信息和数据存储信息；根据集群信息分配实时计算任务到对应的计算集群；将实时计算任务解析生成有向无环DAG图，根据有向无环图生成计算程序；计算集群申请资源并根据计算程序从数据源信息获取数据执行计算分析实时计算任务，并建立实时数据模型；根据存储信息保存计算分析结果，并且分析结果可多次复用。本申请在创建任务时配置数据源以获取精准数据，并根据业务需求配置计算集群执行分析实时计算任务，通过数据建模，以使分析结果更加精准，并且分析结果可多次复用，以恢复节点数据，异常时不必再从头开始计算。时不必再从头开始计算。时不必再从头开始计算。

【技术实现步骤摘要】
大数据实时计算方法及平台


[0001]本专利技术涉及大数据领域，具体涉及大数据实时计算分析领域，特别是涉及一种大数据实时计算方法以及实时计算平台。

技术介绍

[0002]随着大数据的应用场景越来越广泛，离线的大数据分析和挖掘难以满足用户对各类业务实时反馈的诉求，在一些场景下，需要对不断发生变化的数据进行各种逻辑计算，以在较短的时间内完成数据的统计、监控和分析功能。大数据实时分析平台应运而生，通过开发相应的实时计算程序，开发实时分析平台以满足低延迟的数据分析和挖掘，从而支撑各类实时业务场景和系统。
[0003]常见的实时程序都是使用底层程序设计语言进行开发，如C++语言、Java语言，主要是通过事先编写好的实时分析程序去完成计算过程，也有部分采用SQL的方式去执行一些简单的分析任务，所有的任务都是通过加载配置好的数据源进行分析，并将最终结果存入数据存储以提供给业务端使用，其无法对实时数据做到更复杂的计算逻辑，并且计算分析过程的中间结果不能复用。

技术实现思路

[0004]为了解决上述问题，本专利技术的目的是提供一种大数据实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据实时计算方法，其特征在于，包括以下步骤：创建实时计算任务，并配置实时计算任务的任务信息，所述任务信息包括集群信息、数据源信息和数据存储信息；根据所述集群信息分配所述实时计算任务到对应的计算集群；将所述实时计算任务解析生成有向无环DAG图，并根据所述有向无环图生成计算程序；所述计算集群申请资源并根据所述计算程序从所述数据源信息获取数据执行计算分析所述实时计算任务，并建立实时数据模型；根据所述存储信息保存计算分析结果，并且所述分析结果可多次复用。2.根据权利要求1所述的大数据实时计算方法，其特征在于，所述创建实时计算任务，并配置实时计算任务的任务信息的步骤，包括：所创建的所述实时计算任务可跨集群提交任务。3.根据权利要求2所述的大数据实时计算方法，其特征在于，所创建的所述实时计算任务是基于结构化查询语言SQL创建的。4.根据权利要求1所述的大数据实时计算方法，其特征在于，所述计算集群为多计算集群，每个所述计算集群根据按照业务逻辑分成独立的集群。5.根据权利要求1所述的大数据实时计算方法，其特征在于，所述数据源信息和数据存储信息包括至少一个数据源及至少一个存储端信息。6.根据权利要求1所述的大数据实时计算方法，其特征在于，根据所述实时数据模型，对所述实时计算任务进行指向性恢复。7.根据权利要求1所...

【专利技术属性】
技术研发人员：李鹏，
申请(专利权)人：深圳依时货拉拉科技有限公司，
类型：发明
国别省市：