多组件数据流的查询方法、系统、设备及存储介质技术方案

本申请公开了一种多组件数据流的查询方法、系统、设备及存储介质，其中，该多组件数据流的查询方法包括：实时获取业务数据；建立流式服务框架，基于流式服务框架，将业务数据返回至流式服务客户端；建立多组件服务链框架，基于流式服务框架和多组件服务链框架，将业务数据以流式数据输出，用于查询多组件数据流；在整个过程中从数据库一直到浏览器的业务数据都是流式串行处理的，其中涉及的除浏览器以外的每个组件同一时间都只处理一条业务数据，多组件同时工作，可以导出大量的业务数据，并且，减少大量业务数据在内存中堆积的情况，充分利用CPU和网络资源，提高业务数据处理效率和多组件数据流查询的整体性能。和多组件数据流查询的整体性能。和多组件数据流查询的整体性能。

【技术实现步骤摘要】
多组件数据流的查询方法、系统、设备及存储介质


[0001]本申请涉及信息查询领域，尤其涉及一种多组件数据流的查询方法、系统、设备及存储介质。

技术介绍

[0002]微服务架构是一种架构概念，旨在通过将功能分解到各个离散的服务中以实现对解决方案的解耦。
[0003]小微企业在实施微服务架构过程中，不仅受限于成本投入，而且每个微服务可分配的资源往往相当有限，如果执行大量的数据查询，查询过程中需要在内存中存放庞大的数据列表，易导致内存溢出。并且，若查询结果需要在其他微服务组件配合下进行加工处理，当逐条调用相关微服务接口进行处理时，效率较低；当将相关组件上需要的数据一次性加载到主组件上处理时，不仅会造成大量的业务数据传输，导致网络拥堵，同时也会加剧各组件的内存消耗。
[0004]因此，如何兼顾低成本和业务数据处理能力，是目前亟待解决的问题。

技术实现思路

[0005]本申请实施例提供一种多组件数据流的查询方法、系统、设备及存储介质，以解决或部分解决如何兼顾低成本和业务数据处理能力的问题。
[0006]一种多组件数据流的查询方法，包括：实时获取业务数据；建立流式服务框架，基于流式服务框架，将业务数据返回至流式服务客户端；建立多组件服务链框架，基于流式服务框架和多组件服务链框架，将业务数据以流式数据输出，用于查询多组件数据流。
[0007]本申请在一较佳示例中可以进一步配置为：建立流式服务框架，基于流式服务框架，将业务数据返回至流式服务客户端，包括：开启数据库事务；基于数据库事务，将业务数据传递给业务数据对应的流服务方法，获得流服务方法返回的可迭代对象；基于HttpServletResponse的输出流，将可迭代对象返回流式服务客户端。
[0008]本申请在一较佳示例中可以进一步配置为：多组件服务链框架包括服务链配置组件；通过服务链配置组件提供的查询接口，向其他组件返回服务链对应的配置信息。
[0009]本申请在一较佳示例中可以进一步配置为：通过服务链配置组件提供的查询接口，向其他组件返回服务链对应的配置信息，包括：获取定义ID的多组件服务链，多组件服务链包括一个基础服务和至少一个处理器；
通过基础服务输出业务数据，采用至少一个处理器分别对业务数据中的业务数据信息进行处理，用于向其他组件返回多组件服务链对应的配置信息。
[0010]本申请在一较佳示例中可以进一步配置为：建立多组件服务链框架，包括：接收业务数据对应的上游数据，将上游数据逐条进行加工；将加工后的上游数据向下游输出，用于实现处理器包装流服务。
[0011]本申请在一较佳示例中可以进一步配置为：处理器包装流服务包括主线程和数据接收线程；主线程用于：获取上游链条的最后一个节点信息；基于节点信息，创建阻塞式队列，用于数据输出；启动数据接收线程，将阻塞式队列包装为Iterable对象，并将Iterable对象返回至流式服务框架；数据接收线程用于：通过流式服务客户端调用上游流服务，确定上游流服务的类型；接收基于上游流服务传送的数据信息，将数据信息逐条传送至处理器进行处理，获得数据信息处理结果；将数据信息处理结果传送至阻塞式队列。
[0012]本申请在一较佳示例中可以进一步配置为：建立多组件服务链框架，包括：调用服务链配置组件的查询接口，获取服务链结构；基于服务链结构，获取最后一个处理器节点，并调用处理器节点所在服务链配置组件中的微服务组件对应的处理器包装流服务；通过处理器包装流服务传入业务参数、节点信息和剩余链条，获得传入结果并回调。
[0013]本申请目的二是提供一种多组件数据流的查询系统。
[0014]本申请的上述申请目的二是通过以下技术方案得以实现的：一种多组件数据流的查询系统，包括：获取数据模块，用于实时获取业务数据；建立流式服务框架模块，用于建立流式服务框架，基于流式服务框架，将业务数据返回至流式服务客户端；建立多组件服务链框架模块，用于建立多组件服务链框架，基于流式服务框架和多组件服务链框架，将业务数据以流式数据输出，用于查询多组件数据流。
[0015]本申请目的三是提供一种电子设备。
[0016]本申请的上述申请目的三是通过以下技术方案得以实现的：一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述多组件数据流的查询方法。
[0017]一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述多组件数据流的查询方法。
[0018]综上，本申请包括以下有益技术效果：上述多组件数据流的查询方法、系统、设备及存储介质，通过以流方式返回业务数
据的业务接口，允许服务端在实时获取业务数据的同时通过建立流式服务框架将业务数据返回至流式服务客户端，并且在流式服务框架的基础上，建立多组件服务链框架，然后将业务数据以流式数据的形式输出，进而查询多组件数据流；在整个过程中从数据库一直到浏览器的业务数据都是流式串行处理的，其中涉及的除浏览器以外的每个组件同一时间都只处理一条业务数据，多组件同时工作，可以导出大量的业务数据，并且，减少大量业务数据在内存中堆积的情况，充分利用CPU和网络资源，提高业务数据处理效率和多组件数据流查询的整体性能。
附图说明
[0019]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1绘示本申请一实施例中多组件数据流的查询方法的流程图；图2为一实施例在物流场景中多组件数据流的的查询方法的服务链配置结构示意图；图3绘示本申请第一实施例中多组件数据流的查询方法的整体流程图；图4绘示本申请一实施例中多组件数据流的查询系统的示意图；图5绘示本申请一实施例中电子设备的示意图。
具体实施方式
[0021]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0022]下面结合说明书附图对本申请实施例作进一步详细描述。
[0023]本申请实施例提供一种多组件数据流的查询方法，该方法的主要流程描述如下：参照图1，S10、实时获取业务数据。
[0024]具体地，本实施例从数据库中查询并获取业务数据。
[0025]步骤S10的作用在于提高了数据获取的全面性和实时性。
[0026]S20、建立流式服务框架，基于流式服务框架，将业务数据返回至流式服务客户端。
[0027]具体地，流式服务框架可包括多个构件：服务门面、流服务方法以及流式服务客户端等。其中，服务门面可为标准Servl本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多组件数据流的查询方法，其特征在于，包括：实时获取业务数据；建立流式服务框架，基于所述流式服务框架，将所述业务数据返回至流式服务客户端；建立多组件服务链框架，基于所述流式服务框架和所述多组件服务链框架，将所述业务数据以流式数据输出，用于查询多组件数据流。2.根据权利要求1所述的一种多组件数据流的查询方法，其特征在于，所述建立流式服务框架，基于所述流式服务框架，将所述业务数据返回至流式服务客户端，包括：开启数据库事务；基于所述数据库事务，将所述业务数据传递给所述业务数据对应的流服务方法，获得所述流服务方法返回的可迭代对象；基于HttpServletResponse的输出流，将所述可迭代对象返回所述流式服务客户端。3.根据权利要求1所述的一种多组件数据流的查询方法，其特征在于，所述多组件服务链框架包括服务链配置组件；通过所述服务链配置组件提供的查询接口，向其他组件返回服务链对应的配置信息。4.根据权利要求3所述的一种多组件数据流的查询方法，其特征在于，所述通过所述服务链配置组件提供的查询接口，向其他组件返回服务链对应的配置信息，包括：获取定义ID的多组件服务链，所述多组件服务链包括一个基础服务和至少一个处理器；通过所述基础服务输出所述业务数据，采用至少一个所述处理器分别对所述业务数据中的业务数据信息进行处理，用于向所述其他组件返回所述多组件服务链对应的配置信息。5.根据权利要求1所述的一种多组件数据流的查询方法，其特征在于，所述建立多组件服务链框架，包括：接收所述业务数据对应的上游数据，将所述上游数据逐条进行加工；将加工后的所述上游数据向下游输出，用于实现处理器包装流服务。6.根据权利要求5所述的一种多组件数据流的查询方法，其特征在于，所述处理器包装流服务包括主线程和数据接...

【专利技术属性】
技术研发人员：陈焕瑾，
申请(专利权)人：深圳市普拉托科技有限公司，
类型：发明
国别省市：