一种分布式实时计算方法、装置、系统及其存储介质制造方法及图纸

本发明专利技术公开了一种分布式实时计算方法、装置、系统及其存储介质，该方法包括接收可以被解析为有向无环图的计算逻辑信息；解析所述计算逻辑信息生成有向无环图，所述有向无环图具有多个节点和连接所述节点的有向边，所述节点用于指示计算逻辑中的数据操作，所述有向边用于指示计算逻辑中的数据流向；根据所述有向无环图生成计算作业；将所述计算作业提交至分布式计算集群生成常驻计算任务；根据实时数据流通过所述计算任务计算得到实时数据结果。有向无环图可以直观地使开发人员理解数据架构，降低开发周期和开发难度。解决了现有技术中开发周期长、开发难度大的技术问题。

【技术实现步骤摘要】
一种分布式实时计算方法、装置、系统及其存储介质
本专利技术涉及互联网
，尤其是指一种分布式实时计算方法、装置、系统及其存储介质。
技术介绍
分布式实时计算(StreamComputing也称“流计算”)，是一种持续、低时延、事件触发的计算模型。计算逻辑信息开发的第一步是将计算逻辑信息通过实时计算框架编程语言进行编码，还必须要进行后续的编译调试、测试、部署等多个必要的环节。在程序开发的环节中由于实时计算框架的编程语言不但十分复杂，还需要开发人员熟悉框架相关的概念、命令和API(ApplicationProgrammingInterface，应用程序编程接口)等相关知识，因此开发人员需要具备深厚的编程功底，即便是经验丰富的开发人员在上述过程中也需要大量的时间去研究程序的架构。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题，一个现有技术中的计算逻辑信息完整开发的周期大约需要几个到十几个工作日，发开周期过长并且难度大！
技术实现思路
本专利技术的实施例提供了一种分布式实时计算方法，该方法包括：接收可以本文档来自技高网...

【技术保护点】
1.一种分布式实时计算方法，其特征在于，该方法包括：/n接收可以被解析为有向无环图的计算逻辑信息；/n解析所述计算逻辑信息生成有向无环图，所述有向无环图具有多个节点和连接所述节点的有向边，所述节点用于指示计算逻辑中的数据操作，所述有向边用于指示计算逻辑中的数据流向；/n根据所述有向无环图生成计算作业；/n将所述计算作业提交至分布式计算集群生成常驻计算任务；/n根据实时数据流通过所述计算任务计算得到实时数据结果。/n

【技术特征摘要】
1.一种分布式实时计算方法，其特征在于，该方法包括：
接收可以被解析为有向无环图的计算逻辑信息；
解析所述计算逻辑信息生成有向无环图，所述有向无环图具有多个节点和连接所述节点的有向边，所述节点用于指示计算逻辑中的数据操作，所述有向边用于指示计算逻辑中的数据流向；
根据所述有向无环图生成计算作业；
将所述计算作业提交至分布式计算集群生成常驻计算任务；
根据实时数据流通过所述计算任务计算得到实时数据结果。


2.根据权利要求1所述的分布式实时计算方法，其特征在于，所述接收可以被解析为有向无环图的计算逻辑信息步骤前，该方法还包括：
将计算作业中的数据操作定义为不同类型的节点；
将所述数据操作的执行顺序定义为数据流向；
根据所述计算作业中的所述节点和所述数据流向架构计算逻辑信息，所述计算逻辑信息可以被解析为有向无环图。


3.根据权利要求2所述的分布式实时计算方法，其特征在于，所述将计算作业中的数据操作定义为不同类型的节点包括：
通过SQL编程语言对所述节点进行定义。


4.根据权利要求2所述分布式实时计算方法，其特征在于，所述将计算作业中的数据操作定义为不同类型的节点包括：
所述数据操作的类型包括数据输入、数据输出、数据计算和/或数据转换。


5.根据权利要求1至4任一项所述的分布式实时计算方法，其特征在于，所述解析所述计算逻辑信息生成有向无环图的步骤后，该方法还包括：
从所述有向无环图中用于数据输入的节点开始对每个所述节点进行遍历；
在遍历过程中判断每个所述节点的类型，将所述数据操作中用于数据输入的节点添加为数据源，所述数据操作中用于数据输出的节点添加为数据输出口。


6.根据权利要求5所述的分布式实时计算方法，其特征在于，在遍历过程中判断每个所述节点的类型，将所述数据操作中用于数据输入的节点添加为数据源，所述数据操作中用于数据输出的节点添加为数据输出口的步骤后，该方法还包括：
判断所述有向无环图是否完成遍历；
如果所述有向无环图完成遍历，根据所述有向无环图生成计算作业；
如果所述有向无环图未完成遍历，跳转到从所述有向无环图中用于数据输入的节点开始对每个所述节点进行遍历的步骤，直到所述有向无环图完成遍历后，根据所述有向无环图生成计算作业。

<...

【专利技术属性】
技术研发人员：李玥，何小锋，刘海锋，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11