多类型数据共享服务的执行方法技术

本发明专利技术提供一种多类型数据共享服务的执行方法，包括以下步骤：在前端进行多个节点的编排，并生成编排结果数据，其中，每一类型的数据共享服务作为一个节点，相邻节点之间具有依赖关系；在服务端对所述编排结果数据进行解析和校验，并生成分层执行链路数据；基于YARN启动执行引擎；用户调用所述执行引擎，所述执行引擎根据所述分层执行链路数据进行执行，并将执行结果返回给用户。本发明专利技术能够满足复杂场景下的数据共享服务的需求，并且能够实现内存及CPU的资源隔离，有效避免对服务器其他应用正常运行的影响，可支持应用宕机自动恢复。可支持应用宕机自动恢复。可支持应用宕机自动恢复。

【技术实现步骤摘要】
多类型数据共享服务的执行方法


[0001]本专利技术涉及大数据
，具体涉及一种多类型数据共享服务的执行方法。

技术介绍

[0002]目前的数据共享服务一般有两种，分别为针对数据源的数据共享服务和针对第三方接口的数据共享服务。但这两种类型的服务之间相互独立，在进行服务执行时，无法通过相互依赖的方式对结果进行计算、统计等，无法满足复杂场景的数据共享服务的需求。并且，目前也无法做到服务器资源的有效隔离，在系统请求激增或服务错误运行的情况下，容易导致服务器瘫痪，以致影响服务器上其他应用的正常运行。

技术实现思路

[0003]本专利技术为解决上述技术问题，提供了一种多类型数据共享服务的执行方法，能够满足复杂场景下的数据共享服务的需求，并且能够实现内存及CPU的资源隔离，有效避免对服务器其他应用正常运行的影响，可支持应用宕机自动恢复。
[0004]本专利技术采用的技术方案如下：
[0005]一种多类型数据共享服务的执行方法，包括以下步骤：在前端进行多个节点的编排，并生成编排结果数据，其中，每一类型的数据共享服务作为一个节点，相邻节点之间具有依赖关系；在服务端对所述编排结果数据进行解析和校验，并生成分层执行链路数据；基于YARN(一种可为上层应用提供统一的资源管理和调度的资源管理器)启动执行引擎；用户调用所述执行引擎，所述执行引擎根据所述分层执行链路数据进行执行，并将执行结果返回给用户。
[0006]在前端进行多个节点的编排，并生成编排结果数据，具体包括：根据用户指令在前端页面生成流程画布，并自动添加START节点和END节点；将多种类型的数据共享服务作为节点拖入所述流程画布中，并将多种类型的数据共享服务对应的节点依序添加至所述START节点与所述END节点之间，以及设置各个节点的输入参数，构成编排流程图；将所述编排流程图转义为JSON字符串，作为所述编排结果数据，并将所述编排结果数据发送至服务端的解析和校验接口。
[0007]在服务端对所述编排结果数据进行解析和校验，并生成分层执行链路数据，具体包括：从所述编排结果数据中解析出节点配置和节点连线配置；将所述节点配置和节点连线配置重组成执行流程树；通过深度优先搜索遍历整棵执行流程树，校验是否有向无环、START节点和END节点的位置；在校验通过后，将所述执行流程树转换为分层执行链路的JSON字符串。
[0008]基于YARN启动执行引擎，具体包括：应用启动时检查并上传执行引擎lib包到HDFS上；通过yarnClient提交执行引擎到YARN上运行；ResourceManager启动ApplicationMaster，由ApplicationMaster向ResourceManager申请资源；ApplicationMaster申请到资源后，在NodeManager的Container中启动执行引擎；执行引擎
启动后，将多种类型的数据共享服务的节点IP和服务端口号上传HDFS；应用定时查询HDFS上存储的执行引擎服务列表，以提供给用户调用。
[0009]所述执行引擎根据所述分层执行链路数据进行执行，并将执行结果返回给用户，具体包括：获取第一层中的START节点，根据节点的输入参数从数据共享服务的节点的输入参数中获取对应的值，以JSON格式存储到缓存中；获取第二层中的节点，根据节点输入参数设置的上游节点和JSONPATH，获取对应节点结果集中的特定值作为该节点输入参数的值；判断节点对应的数据共享服务类型，提交到线程池中运行，同一层的节点并行运行，运行结束，将结果集以JSON格式存储到缓存中；逐层执行完毕后，将最终的执行结果返回给用户。
[0010]本专利技术的有益效果：
[0011]本专利技术通过对多种类型的数据共享服务进行编排，使得不同类型的数据共享服务之间形成依赖关系，能够满足复杂场景下的数据共享服务的需求，并且，执行引擎基于YARN运行，能够实现内存及CPU的资源隔离，有效避免对服务器其他应用正常运行的影响，可支持应用宕机自动恢复。
附图说明
[0012]图1为本专利技术实施例的多类型数据共享服务的执行方法的流程图；
[0013]图2为本专利技术一个实施例的节点编排的流程图；
[0014]图3为本专利技术一个实施例的前端节点编排页面示意图；
[0015]图4为本专利技术一个实施例的生成分层执行链路数据的流程图；
[0016]图5为本专利技术一个实施例的基于YARN启动执行引擎的流程图；
[0017]图6为本专利技术一个实施例的执行引擎执行服务的流程图。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]如图1所示，本专利技术实施例的多类型数据共享服务的执行方法包括以下步骤：
[0020]S1，在前端进行多个节点的编排，并生成编排结果数据，其中，每一类型的数据共享服务作为一个节点，相邻节点之间具有依赖关系。
[0021]S2，在服务端对编排结果数据进行解析和校验，并生成分层执行链路数据。
[0022]S3，基于YARN启动执行引擎。
[0023]S4，用户调用执行引擎，执行引擎根据分层执行链路数据进行执行，并将执行结果返回给用户。
[0024]步骤S1所涉及的语言为TypeScript和React。如图2所示，步骤S1具体包括如下步骤：
[0025]S101，根据用户指令在前端页面生成流程画布，并自动添加START节点和END节点。
[0026]用户可通过点击创建服务编排按钮，由前端页面生成流程画布，本专利技术一个实施例的前端节点编排页面如图3所示。
[0027]S102，将多种类型的数据共享服务作为节点拖入流程画布中，并将多种类型的数据共享服务对应的节点依序添加至START节点与END节点之间，以及设置各个节点的输入参数，构成编排流程图。
[0028]本专利技术以多种类型的数据共享服务包括第一类型的数据共享服务和第二类型的数据共享服务为例。在步骤S101之后，可设置START节点的输入参数，在将第一类型的数据共享服务API1和第二类型的数据共享服务API2拖入流程画布后，可通过连线的方式对上下游节点进行链接，添加下游节点的输入参数，并设置各输入参数所对应的上游节点结果集中的值。在依次设置完多种类型的数据共享服务的节点后，将最后一个类型的数据共享服务的节点与END节点相连。由此，不同节点之间形成了上下游关系，且上游节点的输出结果可以作为下游节点的输入值。
[0029]S103，将编排流程图转义为JSON字符串，作为编排结果数据，并将编排结果数据发送至服务端的解析和校验接口。
[0030]在本专利技术的一个具体实施例中，编排流程图转义得到的JSON字符串如下：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多类型数据共享服务的执行方法，其特征在于，包括以下步骤：在前端进行多个节点的编排，并生成编排结果数据，其中，每一类型的数据共享服务作为一个节点，相邻节点之间具有依赖关系；在服务端对所述编排结果数据进行解析和校验，并生成分层执行链路数据；基于YARN启动执行引擎；用户调用所述执行引擎，所述执行引擎根据所述分层执行链路数据进行执行，并将执行结果返回给用户。2.根据权利要求1所述的多类型数据共享服务的执行方法，其特征在于，在前端进行多个节点的编排，并生成编排结果数据，具体包括：根据用户指令在前端页面生成流程画布，并自动添加START节点和END节点；将多种类型的数据共享服务作为节点拖入所述流程画布中，并将多种类型的数据共享服务对应的节点依序添加至所述START节点与所述END节点之间，以及设置各个节点的输入参数，构成编排流程图；将所述编排流程图转义为JSON字符串，作为所述编排结果数据，并将所述编排结果数据发送至服务端的解析和校验接口。3.根据权利要求2所述的多类型数据共享服务的执行方法，其特征在于，在服务端对所述编排结果数据进行解析和校验，并生成分层执行链路数据，具体包括：从所述编排结果数据中解析出节点配置和节点连线配置；将所述节点配置和节点连线配置重组成执行流程树；通过深度优先搜索遍历整棵执行流程树，校验是否有向无环、START节点和END节点的位置；在校验通过后，将所述执行流程树转换为...

【专利技术属性】
技术研发人员：郑力恺，甄月朋，杨秦敏，宁海元，
申请(专利权)人：杭州玳数科技有限公司，
类型：发明
国别省市：