一种隐私集群查询方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种隐私集群查询方法、装置及电子设备，所述方法包括：接收并解析用户查询任务；将所述查询任务的执行主体信息存入第一数据库，将所述查询任务的执行信息存入消息队列进行消费；根据所述执行主体信息和消费后的执行信息生成任务元信息；根据所述任务元信息筛选目标执行引擎访问隐私集群并查询目标数据表；将查询结果存入第二数据库。本发明专利技术将执行信息存入消息队列中实时进行消费，保证查询的实时性，根据所述执行主体信息和消费后的执行信息生成任务元信息；根据所述任务元信息筛选目标执行引擎，实现对消耗资源不同的查询任务进行分别处理，将查询资源路由到不同的执行引擎，进而保障查询效率。

A privacy cluster query method, device and electronic device

【技术实现步骤摘要】
一种隐私集群查询方法、装置及电子设备
本专利技术涉及计算机
，具体而言，涉及一种隐私集群查询方法、装置、电子设备及计算机可读介质。
技术介绍
一些具有商业价值或者隐私的数据通常存储在隐私集群(如服务器集群safe3)中，以保证数据的安全性。因此，隐私集群不能随意访问，通常需要通过一个堡垒机间接来访问。而在这种方式中，客户端无法保存查询结果，用户每查询一次就需要登录一次客户端通过堡垒机间接查询。对于数据量大的查询，显然这种方式查询效率低下、操作复杂。
技术实现思路
本专利技术旨在解决现有技术中对隐私集群的数据查询效率低、查询操作复杂的技术问题。为了解决上述技术问题，本专利技术第一方面提出一种隐私集群查询方法，所述方法包括：接收并解析用户查询任务；将所述查询任务的执行主体信息存入第一数据库，将所述查询任务的执行信息存入消息队列进行消费；根据所述执行主体信息和消费后的执行信息生成任务元信息；根据所述任务元信息筛选目标执行引擎访问隐私集群并查询目标数据表；将查询结果存入第二数据库。根据本专利技术一种优选实施方式，所述根据所述执行主体信息和消费后的执行信息生成任务元信息包括：查找与所述执行主体信息中的执行参数相对应的任务执行ID；根据所述任务执行ID确定目标执行信息；当所述目标执行信息消费后，根据所述执行主体信息和消费后的目标执行信息生成任务元信息。根据本专利技术一种优选实施方式，所述消息队列中的执行信息分为查询消息、状态消息和kill任务消息，所述目标执行引擎包括同步执行器和异步执行器；当所述任务元信息中包含查询消息或状态消息时，所述目标执行引擎通过同步执行器访问隐私集群并查询目标数据表，并将查询日志和结果存入所述第二数据库；当所述任务元信息中包含kill任务消息时，所述目标执行引擎通过异步执行器访问隐私集群并查询目标数据表。根据本专利技术一种优选实施方式，所述根据所述任务元信息筛选目标执行引擎包括：根据所述任务元信息确定隐私集群中目标数据表占有资源量；根据所述目标数据表占有资源量筛选对应的目标执行引擎访问隐私集群并查询目标数据表。根据本专利技术一种优选实施方式，所述执行主体信息包括：用户属性信息、meta信息、执行参数、认证信息、以及用户自定义信息，所述执行信息包括：执行触发信息、执行状态信息。根据本专利技术一种优选实施方式，所述第一数据库为Mysql数据库，所述第二数据库为Redis数据库，所述消息队列为RabbitMQ。为解决上述技术问题，本专利技术第二方面提供一种隐私集群查询装置，所述装置包括：接收模块，用于接收并解析用户查询任务；第一数据库，用于存储所述查询任务的执行主体信息；消息队列，用于存储所述查询任务的执行信息；生成模块，用于根据所述执行主体信息和消费后的执行信息生成任务元信息；查询模块，用于根据所述任务元信息筛选目标执行引擎访问隐私集群并查询目标数据表；第二数据库，用于存储查询结果。根据本专利技术一种优选实施方式，所述生成模块包括：查找模块，用于查找与所述执行主体信息中的执行参数相对应的任务执行ID；确定模块，用于根据所述任务执行ID确定目标执行信息；子生成模块，用于当所述目标执行信息消费后，根据所述执行主体信息和消费后的目标执行信息生成任务元信息。根据本专利技术一种优选实施方式，所述装置还包括控制模块，所述消息队列中的执行信息分为查询消息、状态消息和kill任务消息，所述目标执行引擎包括同步执行器和异步执行器；所述控制模块，用当所述任务元信息中包含查询消息或状态消息时，控制所述目标执行引擎通过同步执行器访问隐私集群并查询目标数据表，并将查询日志和结果存入所述第二数据库；当所述任务元信息中包含kill任务消息时，控制所述目标执行引擎通过异步执行器访问隐私集群并查询目标数据表。根据本专利技术一种优选实施方式，所述查询模块包括：第一确定模块，用于根据所述任务元信息确定隐私集群中目标数据表占有的资源量；筛选模块，用于根据所述目标数据表占有的资源量筛选对应的目标执行引擎访问隐私集群并查询目标数据表。根据本专利技术一种优选实施方式，所述执行主体信息包括：用户属性信息、meta信息、执行参数、认证信息、以及用户自定义信息，所述执行信息包括：执行触发信息、执行状态信息。根据本专利技术一种优选实施方式，所述第一数据库为Mysql数据库，所述第二数据库为Redis数据库，所述消息队列为RabbitMQ。为了解决上述技术问题，本专利技术第三方面提供一种电子设备，包括：处理器；以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行上述的方法。为了解决上述技术问题，本专利技术第四方面提出一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现上述方法。本专利技术将对隐私集群的查询任务解析为执行主体信息和执行信息，将执行信息存入消息队列中实时进行消费，保证查询的实时性，根据所述执行主体信息和消费后的执行信息生成任务元信息；根据所述任务元信息筛选目标执行引擎，实现对消耗资源不同的查询任务进行分别处理，将查询资源路由到不同的执行引擎，进而保障查询效率，本专利技术还将查询结果存入第二数据库，方便用户实时调取。此外，本专利技术还进一步将执行信息分为查询消息、状态消息和kill任务消息三种类型，根据不同类型的执行信息控制目标执行引擎的同步或异步执行，保证查询的有序时效性。通过本专利技术，用户只需提交查询任务即可快速获取对隐私集群的数据查询结果，无需登录客户端再通过堡垒机间接查询隐私集群的数据，具有查询操作简单、查询效率高的优点。附图说明为了使本专利技术所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本专利技术的具体实施例。但需声明的是，下面描述的附图仅仅是本专利技术的示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。图1是本专利技术一种隐私集群查询方法的流程示意图；图2是本专利技术一种隐私集群查询装置的结构框架示意图；图3是根据本专利技术的一种电子设备的示例性实施例的结构框图；图4是本专利技术一个计算机可读介质实施例的示意图。具体实施方式现在将参考附图来更加全面地描述本专利技术的示例性实施例，虽然各示例性实施例能够以多种具体的方式实施，但不应理解为本专利技术仅限于在此阐述的实施例。相反，提供这些示例性实施例是为了使本专利技术的内容更加完整，更加便于将专利技术构思全面地传达给本领域的技术人员。在符合本专利技术的技术构思的前提下，在某个特定的实施例中描述的结构、性能、效果或者其他特征可以以任何合适的方式结合到一个或更多其他的实施例中。在对于具体实施例的介绍过程中，对结构、性能、效果或者其他本文档来自技高网...

【技术保护点】
1.一种隐私集群查询方法，其特征在于，所述方法包括：/n接收并解析用户查询任务；/n将所述查询任务的执行主体信息存入第一数据库，将所述查询任务的执行信息存入消息队列进行消费；/n根据所述执行主体信息和消费后的执行信息生成任务元信息；/n根据所述任务元信息筛选目标执行引擎访问隐私集群并查询目标数据表；/n将查询结果存入第二数据库。/n

【技术特征摘要】
1.一种隐私集群查询方法，其特征在于，所述方法包括：
接收并解析用户查询任务；
将所述查询任务的执行主体信息存入第一数据库，将所述查询任务的执行信息存入消息队列进行消费；
根据所述执行主体信息和消费后的执行信息生成任务元信息；
根据所述任务元信息筛选目标执行引擎访问隐私集群并查询目标数据表；
将查询结果存入第二数据库。


2.根据权利要求1所述的方法，其特征在于，所述根据所述执行主体信息和消费后的执行信息生成任务元信息包括：
查找与所述执行主体信息中的执行参数相对应的任务执行ID；
根据所述任务执行ID确定目标执行信息；
当所述目标执行信息消费后，根据所述执行主体信息和消费后的目标执行信息生成任务元信息。


3.根据权利要求1-2所述的方法，其特征在于，所述消息队列中的执行信息分为查询消息、状态消息和kill任务消息，所述目标执行引擎包括同步执行器和异步执行器；
当所述任务元信息中包含查询消息或状态消息时，所述目标执行引擎通过同步执行器访问隐私集群并查询目标数据表，并将查询日志和结果存入所述第二数据库；
当所述任务元信息中包含kill任务消息时，所述目标执行引擎通过异步执行器访问隐私集群并查询目标数据表。


4.根据权利要求1-3所述的方法，其特征在于，所述根据所述任务元信息筛选目标执行引擎包括：
根据所述任务元信息确定隐私集群中目标数据表占有资源量；
根据所述目标数据表占有资源量筛选对应的目标执行引擎访问隐私集群并查询目标数据表。


5.根据权利要求1-4所述的方法，...

【专利技术属性】
技术研发人员：金晶，王安滨，常富洋，
申请(专利权)人：北京淇瑀信息科技有限公司，
类型：发明
国别省市：北京;11