一种基于实时流计算的在线组件编排计算方法及系统技术方案

本发明专利技术提供了大数据应用技术领域的一种基于实时流计算的在线组件编排计算方法及系统，方法包括如下步骤：步骤S10、通过可视化编辑器对组件库的组件进行编排，生成编排模板；步骤S20、调度器将所述编排模板发送给编排引擎，对所述编排模板进行计算流程的设定，生成计算模板；步骤S30、调度器对所述计算模板进行验证后，发布到编排引擎；步骤S40、计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果。本发明专利技术的优点在于：极大的提升了组件编排的效率。极大的提升了组件编排的效率。极大的提升了组件编排的效率。

【技术实现步骤摘要】
一种基于实时流计算的在线组件编排计算方法及系统


[0001]本专利技术涉及大数据应用
，特别指一种基于实时流计算的在线组件编排计算方法及系统。

技术介绍

[0002]在大数据应用领域，现有的实时流计算框架都是基于线上+线下的模式进行运行的，即当用户有需求时，开发人员根据用户需求编写计算框架的业务逻辑代码，将编写的业务逻辑代码上传到实时流计算框架进行计算，得到结果。
[0003]然而，现有线上+线下的模式，每次从用户需求转化成产品需求后，都需要开发人员进行开发实现，效率高低取决与开发人员的能力，一旦由于对用户需求理解有误，则会造成返工，严重影响了工作效率，实现起来非常耗时，少则几个小时，多则几天甚至几个月。因此，如何提供一种基于实时流计算的在线组件编排计算方法及系统，实现提升组件编排的效率，成为一个亟待解决的问题。

技术实现思路

[0004]本专利技术要解决的技术问题，在于提供一种基于实时流计算的在线组件编排计算方法及系统，实现提升组件编排的效率。
[0005]第一方面，本专利技术提供了一种基于实时流计算的在线组件编排计算方法，包括如下步骤：
[0006]步骤S10、通过可视化编辑器对组件库的组件进行编排，生成编排模板；
[0007]步骤S20、调度器将所述编排模板发送给编排引擎，对所述编排模板进行计算流程的设定，生成计算模板；
[0008]步骤S30、调度器对所述计算模板进行验证后，发布到编排引擎；
[0009]步骤S40、计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果。
[0010]进一步地，所述步骤S10中，所述组件库至少包括数据接入组件、数据预处理组件以及数据输出组件；
[0011]所述数据接入组件至少包括Kafka接入子组件、数据库接入子组件、URL接入子组件以及文件接入子组件；所述数据预处理组件至少包括数据过滤子组件、数据转换子组件、数据筛选子组件、数据关联子组件以及算法选择子组件；所述数据输出组件至少包括文件输出子组件、数据库输出子组件以及Kafka输出子组件。
[0012]进一步地，所述步骤S20具体为：
[0013]调度器将所述编排模板发送给编排引擎，编排引擎对所述编排模板中的各组件进行计算流程的设定，生成计算模板。
[0014]进一步地，所述步骤S30具体包括：
[0015]步骤S31、调度器通过解析器调用并解析编排引擎生成的所述计算模板；
[0016]步骤S32、调度器基于解析的所述计算模板生成第一计算任务，并将所述第一计算任务发送给计算引擎进行计算，生成第一计算结果；
[0017]步骤S33、调度器接收计算引擎发送的所述第一计算结果，人工核查所述第一计算结果是否正确，若是，则所述计算模板验证通过，将所述计算模板发布到编排引擎；若否，则所述计算模板验证不通过，并进入步骤S10。
[0018]进一步地，所述步骤S40具体包括：
[0019]步骤S41、计算引擎将接收的计算指令转发给调度器；
[0020]步骤S42、调度器接收到所述计算指令后，通过解析器调用并解析编排引擎发布的所述计算模板；
[0021]步骤S43、调度器基于解析的所述计算模板以及计算指令生成第二计算任务，并将所述第二计算任务发送给计算引擎进行计算，生成并输出第二计算结果。
[0022]第二方面，本专利技术提供了一种基于实时流计算的在线组件编排计算系统，包括如下模块：
[0023]组件编排模块，用于通过可视化编辑器对组件库的组件进行编排，生成编排模板；
[0024]计算模板生成模块，用于调度器将所述编排模板发送给编排引擎，对所述编排模板进行计算流程的设定，生成计算模板；
[0025]计算模板验证发布模块，用于调度器对所述计算模板进行验证后，发布到编排引擎；
[0026]计算模块，用于计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果。
[0027]进一步地，所述组件编排模块中，所述组件库至少包括数据接入组件、数据预处理组件以及数据输出组件；
[0028]所述数据接入组件至少包括Kafka接入子组件、数据库接入子组件、URL接入子组件以及文件接入子组件；所述数据预处理组件至少包括数据过滤子组件、数据转换子组件、数据筛选子组件、数据关联子组件以及算法选择子组件；所述数据输出组件至少包括文件输出子组件、数据库输出子组件以及Kafka输出子组件。
[0029]进一步地，所述计算模板生成模块具体为：
[0030]调度器将所述编排模板发送给编排引擎，编排引擎对所述编排模板中的各组件进行计算流程的设定，生成计算模板。
[0031]进一步地，所述计算模板验证发布模块具体包括：
[0032]计算模板生成单元，用于调度器通过解析器调用并解析编排引擎生成的所述计算模板；
[0033]计算模板解析单元，用于调度器基于解析的所述计算模板生成第一计算任务，并将所述第一计算任务发送给计算引擎进行计算，生成第一计算结果；
[0034]计算模板验证单元，用于调度器接收计算引擎发送的所述第一计算结果，人工核查所述第一计算结果是否正确，若是，则所述计算模板验证通过，将所述计算模板发布到编排引擎；若否，则所述计算模板验证不通过，并进入组件编排模块。
[0035]进一步地，所述计算模块具体包括：
[0036]计算指令发送单元，用于计算引擎将接收的计算指令转发给调度器；
[0037]计算模板解析单元，用于调度器接收到所述计算指令后，通过解析器调用并解析编排引擎发布的所述计算模板；
[0038]计算指令执行单元，用于调度器基于解析的所述计算模板以及计算指令生成第二计算任务，并将所述第二计算任务发送给计算引擎进行计算，生成并输出第二计算结果。
[0039]本专利技术的优点在于：
[0040]通过可视化编辑器对组件库的组件进行编排，再利用编排引擎设定各编排的组件的计算流程，生成计算模板；计算模板验证通过后，通过编排引擎进行发布和存储，最终利用发布的计算模板执行计算指令，输出计算结果；即通过可视化的编排定制数据从获取、处理到输出的全生命周期，只需简单的操作即可完成组件的编排和发布，发布的计算模板可重复利用，对计算模板的调整也及其方便，直接在现有的计算模板上直接重新编排即可，不需要开发人员的参与，极大的提升了组件编排的效率，极大的提升了用户需求的响应效率。
附图说明
[0041]下面参照附图结合实施例对本专利技术作进一步的说明。
[0042]图1是本专利技术一种基于实时流计算的在线组件编排计算方法的流程图。
[0043]图2是本专利技术一种基于实时流计算的在线组件编排计算系统的结构示意图。
[0044]图3是本专利技术的系统架构图。
具体实施方式
[0045]本申请实施例中的技术方案，总体思路如下：通过可视化编辑器对组件库的组件进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实时流计算的在线组件编排计算方法，其特征在于：包括如下步骤：步骤S10、通过可视化编辑器对组件库的组件进行编排，生成编排模板；步骤S20、调度器将所述编排模板发送给编排引擎，对所述编排模板进行计算流程的设定，生成计算模板；步骤S30、调度器对所述计算模板进行验证后，发布到编排引擎；步骤S40、计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果。2.如权利要求1所述的一种基于实时流计算的在线组件编排计算方法，其特征在于：所述步骤S10中，所述组件库至少包括数据接入组件、数据预处理组件以及数据输出组件；所述数据接入组件至少包括Kafka接入子组件、数据库接入子组件、URL接入子组件以及文件接入子组件；所述数据预处理组件至少包括数据过滤子组件、数据转换子组件、数据筛选子组件、数据关联子组件以及算法选择子组件；所述数据输出组件至少包括文件输出子组件、数据库输出子组件以及Kafka输出子组件。3.如权利要求1所述的一种基于实时流计算的在线组件编排计算方法，其特征在于：所述步骤S20具体为：调度器将所述编排模板发送给编排引擎，编排引擎对所述编排模板中的各组件进行计算流程的设定，生成计算模板。4.如权利要求1所述的一种基于实时流计算的在线组件编排计算方法，其特征在于：所述步骤S30具体包括：步骤S31、调度器通过解析器调用并解析编排引擎生成的所述计算模板；步骤S32、调度器基于解析的所述计算模板生成第一计算任务，并将所述第一计算任务发送给计算引擎进行计算，生成第一计算结果；步骤S33、调度器接收计算引擎发送的所述第一计算结果，人工核查所述第一计算结果是否正确，若是，则所述计算模板验证通过，将所述计算模板发布到编排引擎；若否，则所述计算模板验证不通过，并进入步骤S10。5.如权利要求1所述的一种基于实时流计算的在线组件编排计算方法，其特征在于：所述步骤S40具体包括：步骤S41、计算引擎将接收的计算指令转发给调度器；步骤S42、调度器接收到所述计算指令后，通过解析器调用并解析编排引擎发布的所述计算模板；步骤S43、调度器基于解析的所述计算模板以及计算指令生成第二计算任务，并将所述第二计算任务发送给计算引擎进行计算，生成并输出第二计算结果。6.一种基于实时流计算的在线组件编排计算系统，其特征在于：包括如下模块...

【专利技术属性】
技术研发人员：郑康秋，林俊德，陈立峰，李霖，闫二乐，李立泓，
申请(专利权)人：福建新大陆软件工程有限公司，
类型：发明
国别省市：