用于微服务架构的数据查询系统、方法、设备及存储介质技术方案

本发明专利技术提供了一种用于微服务架构的数据查询系统、方法、设备及存储介质，该系统包括：微服务数据表管理模块，用于建立微服务数据表；调度任务管理模块，用于根据所述微服务数据表建立调度任务库，调度任务根据所对应的微服务的消息中间件主题，从消息中间件中消费微服务生产的数据，所述微服务生产的数据包括微服务的全局唯一标识码；数据存储模块；数据查询模块，用于获取查询请求，并根据所述查询请求中的全局唯一标识码从所述搜索服务器中查询对应的微服务日志。采用本发明专利技术的技术方案，在大数据环境下实现数据快速查询定位，提高数据查询和问题诊断效率，并可以提供可视化查询结果展示，提升用户使用体验。

【技术实现步骤摘要】
用于微服务架构的数据查询系统、方法、设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种用于微服务架构的数据查询系统、方法、设备及存储介质。
技术介绍
在OTA(OnlineTravelAgency，在线旅行社)企业或其他互联网企业中，微服务架构已经成为了一种业界的潮流或者标准，随着微服务架构的推广和应用，企业中必然存在众多的微服务组合和架构，这些微服务生态所产生的数据和日志量非常大，一般可以达到数百TB甚至数十至数百PB规模，如此大数据量的数据甚至日志进行查询处理非常麻烦，一个原因是因为服务之间存在上下游的调用关系，另外是因为服务种类过多，格式不统一产生的问题，如何在这些数据和日志中查询需要查询的数据，并进行数据可视化展现，是需要面临的问题。例如我们要查询一个订单它发生了什么，比如用户投诉发现订单钱多收了或少收了，此时怎么查询日志和数据，并进行问题诊断定位，准确而又快速的找到问题，当然我们可以通过逐个服务按照上下游关系的微服务日志链条式的跟踪下来，查看原始的报文或日志，但是这样不仅效率非常低、而且需要多个微服务相关的运维人员来支持配合，调用海量的资源来查找定位一个问题。
技术实现思路
针对现有技术中的问题，本专利技术的目的在于提供一种用于微服务架构的数据查询系统、方法、设备及存储介质，在大数据环境下实现数据快速查询定位，提高数据查询和问题诊断效率。本专利技术实施例提供一种用于微服务架构的数据查询系统，包括：微服务数据表管理模块，用于建立微服务数据表，所述微服务数据表包括各个微服务的微服务标识和消息中间件主题；调度任务管理模块，用于根据所述微服务数据表建立调度任务库，所述调度任务库中的调度任务与各个所述微服务相对应，所述调度任务根据所对应的微服务的消息中间件主题，从消息中间件中消费微服务生产的数据，所述微服务生产的数据包括微服务的全局唯一标识码；数据存储模块，用于将所述调度任务消费得到的微服务生产的数据以微服务日志的形式存储至搜索服务器；数据查询模块，用于获取查询请求，并根据所述查询请求中的全局唯一标识码从所述搜索服务器中查询对应的微服务日志。可选地，所述微服务数据表还包括各个微服务的微服务调用信息，所述系统还包括调用关系链建立模块，所述调用关系链建立模块用于根据各个微服务的微服务调用信息建立微服务调用链。可选地，各个微服务的全局唯一标识码由所述微服务调用链中的起始微服务生成，所述起始微服务为调用链中未被其他微服务调用的微服务；所述起始微服务生成各个微服务的全局唯一标识码后，在调用下游微服务时由下游微服务依次传递所述全局唯一标识码至对应的微服务，各个所述微服务接收到上游微服务传递的全局唯一标识码时，写入该全局唯一标识码到消息中间件，并继续向下游微服务传递该全局唯一标识码。可选地，所述微服务数据表还包括各个微服务的日志索引信息，所述数据存储模块将所述各个微服务生产的数据存储至搜索服务器时，将所述各个微服务生产的数据以所对应的日志索引信息为标识进行存储。可选地，所述数据查询模块获取到用户的查询请求之后，执行如下步骤：根据所述查询请求中的全局唯一标识码从所述搜索服务器中搜索微服务日志；根据搜索到的微服务日志的日志索引信息和微服务的微服务标识的关联关系，确定搜索相关联的微服务；根据所述调用关系链生成可视化微服务调用关系图，所述调用关系图中示出各个微服务和各个微服务与上游微服务和下游微服务的调用关系；在所述调用关系图中，将搜索相关联的微服务采用预设的突出显示方式进行标识。可选地，所述数据查询模块获取到用户的查询请求之后，执行如下步骤：根据所述查询请求中的全局唯一标识码从所述搜索服务器中搜索微服务日志；根据搜索到的微服务日志，查询该微服务日志的上游调用报文、下游返回响应报文和该微服务日志本身的请求报文；将搜索到的微服务日志和查询到的报文采用预设的可视化展示方式生成可视化图形或可视化图表。可选地，所述系统还包括：问题诊断模块，用于从所述搜索服务器中查询待分析的微服务日志，并根据预设的问题诊断规则分析查询到的微服务日志。本专利技术实施例还提供一种用于微服务架构的数据查询方法，采用所述的用于微服务架构的数据查询系统，所述方法包括如下步骤：获取查询请求，从所述查询请求中提取全局唯一标识码；根据所述全局唯一标识码从所述搜索服务器中查询对应的微服务日志。可选地，所述微服务数据表还包括各个微服务的微服务调用信息和日志索引信息，所述数据存储模块将所述各个微服务生产的数据存储至搜索服务器时，将所述各个微服务生产的数据以所对应的日志索引信息为标识进行存储；所述方法还包括如下步骤：根据所述查询请求中的全局唯一标识码从所述搜索服务器中搜索微服务日志；根据搜索到的微服务日志的日志索引信息和微服务的微服务标识的关联关系，确定搜索相关联的微服务；根据所述各个微服务的微服务调用信息生成可视化微服务调用关系图，所述调用关系图中示出各个微服务和各个微服务与上游微服务和下游微服务的调用关系；在所述调用关系图中，将搜索相关联的微服务采用预设的突出显示方式进行标识。可选地，所述方法还包括如下步骤：根据所述查询请求中的全局唯一标识码从所述搜索服务器中搜索微服务日志；根据搜索到的微服务日志，查询该微服务日志的上游调用报文、下游返回响应报文和该微服务日志本身的请求报文；将搜索到的微服务日志和查询到的报文采用预设的可视化展示方式生成可视化图形或可视化图表。本专利技术实施例还提供一种数据查询设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的用于微服务架构的数据查询方法的步骤。本专利技术实施例还提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现所述的用于微服务架构的数据查询方法的步骤。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。本专利技术所提供的数用于微服务架构的数据查询系统、方法、设备及存储介质具有下列优点：本专利技术通过采集微服务数据，按照上下游调用关系逐个存储，利用一定数据结构保障查询的快速和准确，在大数据环境下实现数据快速查询定位；实现基于全局唯一标识码的全链路的大数据查询，能够获得涉及的所有上下游调用关系的微服务数据和日志，提高数据查询和问题诊断效率，提高对应用程序的可能存在问题的分析效率，帮助快速定位产生问题的相关逻辑；并可以提供可视化查询结果展示，提升用户使用体验。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。图1是本专利技术一实施例的用于微服务架构的数据查询系统的结构示意图；图2是本专利技术一实施例的用于微服务架构的数据查询方法的流程图；图3是本专利技术一实施例的调用关系图的示意图；图4是本专利技术一实施例的调用关系图形显示的流程图；图5是本专利技术一实施例的查询日志可视化的流程图；图6是本专利技术一实施例的用于微服务架构的数据查询设备的结构示意图；图7是本专利技术一实施例的计算机可读存储介质的结构示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传本文档来自技高网...

【技术保护点】
1.一种用于微服务架构的数据查询系统，其特征在于，包括：微服务数据表管理模块，用于建立微服务数据表，所述微服务数据表包括各个微服务的微服务标识和消息中间件主题；调度任务管理模块，用于根据所述微服务数据表建立调度任务库，所述调度任务库中的调度任务与各个所述微服务相对应，所述调度任务根据所对应的微服务的消息中间件主题，从消息中间件中消费微服务生产的数据，所述微服务生产的数据包括微服务的全局唯一标识码；数据存储模块，用于将所述调度任务消费得到的微服务生产的数据以微服务日志的形式存储至搜索服务器；数据查询模块，用于获取查询请求，并根据所述查询请求中的全局唯一标识码从所述搜索服务器中查询对应的微服务日志。

【技术特征摘要】
1.一种用于微服务架构的数据查询系统，其特征在于，包括：微服务数据表管理模块，用于建立微服务数据表，所述微服务数据表包括各个微服务的微服务标识和消息中间件主题；调度任务管理模块，用于根据所述微服务数据表建立调度任务库，所述调度任务库中的调度任务与各个所述微服务相对应，所述调度任务根据所对应的微服务的消息中间件主题，从消息中间件中消费微服务生产的数据，所述微服务生产的数据包括微服务的全局唯一标识码；数据存储模块，用于将所述调度任务消费得到的微服务生产的数据以微服务日志的形式存储至搜索服务器；数据查询模块，用于获取查询请求，并根据所述查询请求中的全局唯一标识码从所述搜索服务器中查询对应的微服务日志。2.根据权利要求1所述的用于微服务架构的数据查询系统，其特征在于，所述微服务数据表还包括各个微服务的微服务调用信息，所述系统还包括调用关系链建立模块，所述调用关系链建立模块用于根据各个微服务的微服务调用信息建立微服务调用链。3.根据权利要求2所述的用于微服务架构的数据查询系统，其特征在于，各个微服务的全局唯一标识码由所述微服务调用链中的起始微服务生成，所述起始微服务为调用链中未被其他微服务调用的微服务；所述起始微服务生成各个微服务的全局唯一标识码后，在调用下游微服务时由下游微服务依次传递所述全局唯一标识码至对应的微服务，各个所述微服务接收到上游微服务传递的全局唯一标识码时，写入该全局唯一标识码到消息中间件，并继续向下游微服务传递该全局唯一标识码。4.根据权利要求2所述的用于微服务架构的数据查询系统，其特征在于，所述微服务数据表还包括各个微服务的日志索引信息，所述数据存储模块将所述各个微服务生产的数据存储至搜索服务器时，将所述各个微服务生产的数据以所对应的日志索引信息为标识进行存储。5.根据权利要求4所述的用于微服务架构的数据查询系统，其特征在于，所述数据查询模块获取到用户的查询请求之后，执行如下步骤：根据所述查询请求中的全局唯一标识码从所述搜索服务器中搜索微服务日志；根据搜索到的微服务日志的日志索引信息和微服务的微服务标识的关联关系，确定搜索相关联的微服务；根据所述调用关系链生成可视化微服务调用关系图，所述调用关系图中示出各个微服务和各个微服务与上游微服务和下游微服务的调用关系；在所述调用关系图中，将搜索相关联的微服务采用预设的突出显示方式进行标识。6.根据权利要求1所述的用于微服务架构的数据查询系统，其特征在于，所述数据查询模块获取到用户的查询请求...

【专利技术属性】
技术研发人员：张翔，许鹏，余达明，
申请(专利权)人：携程旅游网络技术上海有限公司，
类型：发明
国别省市：上海,31