数据集成服务处理方法、装置及电子设备制造方法及图纸

本申请实施例公开了数据集成服务处理方法、装置及电子设备，所述方法包括：获取SaaS的租户关联的多个数据源服务之间的依赖关系；通过执行离线任务，对所述SaaS服务的服务接口中的输入参数获取逻辑进行离线调用，以便在所述离线任务中对所述多个数据源服务进行远程调用；将所述多个数据源服务返回的输出数据进行组合后，将所述商品标识与输出数据组合结果之间的对应关系保存到所述SaaS服务侧的数据库中；接收到以目标商品标识为参数的在线查询请求后，从所述数据库中查询获得对应的输出数据组合结果，并将其作为所述服务接口中算法处理逻辑的输入参数。通过本申请实施例，能够提升SaaS服务在提供接口查询服务的过程中的整体效率。效率。效率。

【技术实现步骤摘要】
数据集成服务处理方法、装置及电子设备


[0001]本申请涉及软件即服务中的数据集成
，特别是涉及数据集成服务处理方法、装置及电子设备。

技术介绍

[0002]SaaS(Software
‑
as
‑
a
‑
Service，软件即服务)服务通常基于一套标准软件系统为大量的不同客户(又称为租户)提供服务。这要求SaaS服务能够支持不同租户之间数据和配置的隔离，从而保证每个租户数据的安全与隐私，以及用户对诸如界面、处理逻辑、数据结构等的个性化需求，其中，数据集成任务就是其中一个很重要的方面。
[0003]例如，在一种面向企业租户(to B)的SaaS服务中，具体的租户可能是一些商家(可以是在一些电商平台中开设店铺的商家，也可以是线下商家)，该SaaS服务的主要能力是为租户提供补货策略管理方面的服务。也就是说，在供应链场景下，具体的商家可能每天都需要往具体的仓库中进行补货，因此，在每次进行补货时，需要首先计算出补货量，然后，把货入到具体的仓里。在此过程中，商家端需要执行与补货相关的定时任务，但是，该定时任务的执行需要一些策略的支持，而前述SaaS服务则可以提供这方面的支持。也就是说，在使用前述SaaS服务的情况下，关于策略的制定，包括每次需要补货的量等，可以由SaaS服务来确定，商家端只需要按照SaaS服务制定好的策略执行即可。
[0004]在上述提供SaaS服务的过程中，由于该服务的租户数量众多，每个租户下又有数量众多的商品(每种商品可以对应一个Item)，而每种商品对应的补货策略又都可能是不同的，需要分别向SaaS服务请求具体的策略。因此，SaaS服务提供方通常会为租户提供一些接口，租户可以通过这种接口向SaaS服务发起查询，以获得所需的数据。
[0005]为了减轻租户的调用负担，上述接口的入参通常只是「ItemId」，但是，在接口内部通常需要根据「ItemId」拉取更多能够通过「ItemId」获取到的其他数据，作为实际处理过程中所用到参数。而在获取其他数据时，通常还需要调用其他一些数据源服务(通常可以是具体租户侧的服务)。而调用这些数据源服务通常会涉及到RPC(Remote Procedure Call，远程过程调用)访问，并且采用同步阻塞方式进行调用，这就导致上述接口的整体延迟时间会受到这些数据源服务的延迟时间的影响。另外，由于SaaS服务的租户数量以及每个租户下的Item数量都是非常多，因此，SaaS服务提供的接口的QPS(Queries
‑
per
‑
second，每秒查询率)可能会非常高，但是，下游的数据源服务可能无法承受如此高QPS的请求。
[0006]因此，如何提升SaaS服务在提供接口查询服务的过程中的整体效率，成为需要本领域技术人员解决的技术问题。

技术实现思路

[0007]本申请提供了数据集成服务处理方法、装置及电子设备，能够提升SaaS服务在提供接口查询服务的过程中的整体效率。
[0008]本申请提供了如下方案：
[0009]一种数据集成服务处理方法，包括：
[0010]获取软件即服务SaaS的租户关联的多个数据源服务之间的依赖关系；所述多个数据源服务包括部署在所述租户侧的数据源服务；
[0011]通过执行离线任务，以所述租户关联的商品标识为参数，对所述SaaS服务的服务接口中的输入参数获取逻辑进行离线调用，以便在所述离线任务中对所述多个数据源服务进行远程调用；
[0012]将所述多个数据源服务返回的输出数据进行组合后，将所述商品标识与输出数据组合结果之间的对应关系保存到所述SaaS服务侧的数据库中；
[0013]接收到以目标商品标识为参数对所述SaaS服务的服务接口发起的在线查询请求后，从所述数据库中查询获得所述目标商品标识对应的输出数据组合结果，并将其作为所述服务接口中算法处理逻辑的输入参数，以获得算法处理结果并返回给查询方。
[0014]一种数据集成服务处理装置，包括：
[0015]依赖关系获取单元，用于获取软件即服务SaaS的租户关联的多个数据源服务之间的依赖关系；所述多个数据源服务包括部署在所述租户侧的数据源服务；
[0016]离线任务执行单元，用于通过执行离线任务，以所述租户关联的商品标识为参数，对所述SaaS服务的服务接口中的输入参数获取逻辑进行离线调用，以便在所述离线任务中对所述多个数据源服务进行远程调用；
[0017]保存单元，用于将所述多个数据源服务返回的输出数据进行组合后，将所述商品标识与输出数据组合结果之间的对应关系保存到所述SaaS服务侧的数据库中；
[0018]数据库查询单元，用于接收到以目标商品标识为参数对所述SaaS服务的服务接口发起的在线查询请求后，从所述数据库中查询获得所述目标商品标识对应的输出数据组合结果，并将其作为所述服务接口中算法处理逻辑的输入参数，以获得算法处理结果并返回给查询方。
[0019]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述的方法的步骤。
[0020]一种电子设备，包括：
[0021]一个或多个处理器；以及
[0022]与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述任一项所述的方法的步骤。
[0023]根据本申请提供的具体实施例，本申请公开了以下技术效果：
[0024]通过本申请实施例，首先可以确定出租户关联的多个数据源服务之间的依赖关系，然后可以通过执行离线任务，以所述租户关联的商品标识为参数，对所述SaaS服务的服务接口中的输入参数获取逻辑进行离线调用，并在所述离线任务中对所述多个数据源服务进行远程调用。之后，可以将所述多个数据源服务的输出数据进行组合后，将所述商品标识与输出数据组合结果之间的对应关系保存到SaaS服务侧的数据库中。这样，接收到以目标商品标识为参数对所述SaaS服务的服务接口发起的在线查询请求后，可以直接从SaaS服务侧的数据库中查询获得所述目标商品标识对应的输出数据组合结果，并将其作为所述服务接口中的算法处理逻辑的输入参数，以获得算法处理结果并返回给查询方。这样，由于向租户侧的数据源服务服务发起远程调用的过程已经预先在离线任务中完成，而查数据库操作
对应的延迟相比于向租户侧的数据源服务服务发起远程调用会低很多，因此，可以提升SaaS在实际通过在线查询服务过程中的整体效率。
[0025]在可选的实施方式中，为了能够在执行离线任务过程中可以支持不同数据源服务之间的并行处理等，还采用了基于有向图的拓扑结构对数据源服务之间的依赖关系进行表达，并进行节点流程编排，因此，可以提升离线任务的执行效率。
[0026]当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
[0027]为了更清楚地说明本申请实施例或现有技术中的技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据集成服务处理方法，其特征在于，包括：获取软件即服务SaaS的租户关联的多个数据源服务之间的依赖关系；所述多个数据源服务包括部署在所述租户侧的数据源服务；通过执行离线任务，以所述租户关联的商品标识为参数，对所述SaaS服务的服务接口中的输入参数获取逻辑进行离线调用，以便在所述离线任务中对所述多个数据源服务进行远程调用；将所述多个数据源服务返回的输出数据进行组合后，将所述商品标识与输出数据组合结果之间的对应关系保存到所述SaaS服务侧的数据库中；接收到以目标商品标识为参数对所述SaaS服务的服务接口发起的在线查询请求后，从所述数据库中查询获得所述目标商品标识对应的输出数据组合结果，并将其作为所述服务接口中算法处理逻辑的输入参数，以获得算法处理结果并返回给查询方。2.根据权利要求1所述的方法，其特征在于，所述确定当前服务的租户关联的多个数据源服务之间的依赖关系，包括：提供数据源服务配置界面，以用于分别为各数据源服务输入配置信息，其中，所述配置界面中包括用于为当前数据源服务指定上游数据源服务的操作选项，所述上游数据源服务为一个或多个；根据接收到的配置信息，确定同一租户关联的多个数据源服务之间的依赖关系。3.根据权利要求1所述的方法，其特征在于，还包括：根据所述依赖关系，创建多个数据源服务之间的有向图结构，并根据所述有向图的拓扑排序，为所述租户创建支持并行以及串行执行的节点流程编排方案；所述在所述离线任务中对所述多个数据源服务进行远程调用，包括：将所述节点流程编排方案与支持拓扑任务运行的任务分发框架相结合，以生成运行态的拓扑任务，并按照所述节点流程编排方案对所述多个数据源服务进行远程调用。4.根据权利要求3所述的方法，其特征在于，所述将所述节点流程编排方案与支持拓扑任务运行的任务分发框架相结合，包括：根据输入的商品标识发起多轮循环，在每轮循环中，对不依赖其他数据源服务的数据源服务，和/或所依赖的数据源服务已完成处理的数据源服务，进行调用处理，并在处理完后加入到已完成集合中，直到将同一流程中的多个数据源服务全部调用处理完成。5.根据权利要求1所述的方法，其特征在于，还包括：如果所述服务器中不存在所述目标商品标识对应的数据，则通过实时调用数据源服务的方式获取数据源服务的输出数据，并组合为所述服务接口中的算法处理逻辑的输入参数。6.根据权利要求1所述的方法，其特征在于，还包括：在将所述输出数据组合结果保存到数据库中之后，接收所述租户提交的指定商品对应的输出数据发生变化的通...

【专利技术属性】
技术研发人员：王凯，刘宏，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：