【技术实现步骤摘要】
本申请涉及数据分析，尤其涉及一种多源数据查询方法、装置、设备、存储介质。
技术介绍
1、在实际开发、测试、交付以及运维过程中，均会涉及到对各种类型数据源的数据分析以及结构使用。不管是数据分析还是结构使用，都需要从数据源中查询到相应的数据。由于数据源可大致分为离线源和实时源，在以往查询数据时，使用实时源提供工具查询实时数据或使用离线源提供的工具查询离线数据，导致后端需配置多种工具来查询不同数据源的数据，不仅浪费资源且增加了查询复杂度，影响数据查询效率。
技术实现思路
1、本申请提供一种多源数据查询方法、装置、设备及存储介质，以解决现有技术中后端需配置多种工具来查询不同数据源的数据的问题，节约后端资源并简化查询复杂度，有利于提高数据查询效率。
2、第一方面，本申请提供了一种多源数据查询方法，包括：
3、根据前端平台传输的数据查询请求，确定待查询数据源为实时源或离线源；
4、在所述待查询数据源为实时源的情况下，根据所述数据查询请求中的集合名称对所述实时源中对应的数据集合进行订阅以获取订阅的数据集合缓存的数据，在获取到的数据中筛选出满足所述数据查询请求的查询条件的目标数据；
5、在所述待查询数据源为离线源的情况下，根据所述数据查询请求中的表名称和查询条件生成结构化查询语句，根据所述结构化查询语句在所述离线源中获取满足所述查询条件的目标数据。
6、可选地，在所述根据所述数据查询请求中的集合名称对所述实时源中对应的数据集合进行订阅之前
7、在所述数据查询请求中获取所述实时源的ip地址信息和端口信息，根据所述实时源的ip地址信息和端口信息与所述实时源建立通信连接。
8、可选地，所述在获取到的数据中筛选出满足所述数据查询请求的查询条件的目标数据，包括：
9、根据所述查询条件中的数据数量、数据维度和/或数据时间段，在获取到的数据中筛选出对应的第一候选数据；
10、根据所述查询条件中的字段规则，在所述第一候选数据中筛选出对应字段信息满足所述字段规则的目标数据。
11、可选地，在所述在获取到的数据中筛选出满足所述数据查询请求的查询条件的目标数据之后，还包括：
12、将所述目标数据发送至所述前端平台，以使所述前端平台提取所述目标数据的首层字段信息，将所述首层字段信息作为元数据。
13、可选地，在所述根据所述数据查询请求中的查询条件生成结构化查询语句之前，还包括：
14、在所述数据查询请求中获取所述离线源的ip地址信息和端口信息，通过java数据库连接接口基于所述离线源的ip地址信息和端口信息与所述离线源建立通信连接。
15、可选地，所述根据所述数据查询请求中的表名称和查询条件生成结构化查询语句，包括：
16、根据所述数据查询请求中的表名称生成基础查询语句；
17、根据所述查询条件中的数据维度和/或数据时间段，生成第一等于条件查询语句；
18、根据所述查询条件中的字段规则，生成第二等于条件查询语句；
19、将所述基础查询语句、所述第一等于条件查询语句和所述第二等于条件查询语句进行拼接，得到结构化查询语句。
20、可选地，在所述根据所述数据查询请求中的查询条件生成结构化查询语句之后，还包括：
21、根据所述数据查询请求中的表名称，查询所述离线源中所述表名称对应的表结构；
22、将所述表结构发送至所述前端平台，以使所述前端平台选择所述表结构的任一字段作为元数据。
23、第二方面，本申请提供了一种多源数据查询装置，包括：
24、数据源确定模块，被配置为根据前端平台传输的数据查询请求，确定待查询数据源为实时源或离线源；
25、第一数据查询模块，被配置为在所述待查询数据源为实时源的情况下，根据所述数据查询请求中的集合名称对所述实时源中对应的数据集合进行订阅以获取订阅的数据集合缓存的数据，在获取到的数据中筛选出满足所述数据查询请求的查询条件的目标数据；
26、第二数据查询模块，被配置为在所述待查询数据源为离线源的情况下，根据所述数据查询请求中的表名称和查询条件生成结构化查询语句，根据所述结构化查询语句在所述离线源中获取满足所述查询条件的目标数据。
27、可选地，所述第一数据查询模块包括：
28、第一通信连接单元，被配置为在所述根据所述数据查询请求中的集合名称对所述实时源中对应的数据集合进行订阅之前，在所述数据查询请求中获取所述实时源的ip地址信息和端口信息，根据所述实时源的ip地址信息和端口信息与所述实时源建立通信连接。
29、可选地，所述第一数据查询模块包括：
30、候选数据筛选单元，被配置为根据所述查询条件中的数据数量、数据维度和/或数据时间段，在获取到的数据中筛选出对应的第一候选数据；
31、第一目标数据确定单元，被配置为根据所述查询条件中的字段规则，在所述第一候选数据中筛选出对应字段信息满足所述字段规则的目标数据。
32、可选地，所述第一数据查询模块包括：
33、第一元数据获取单元，被配置为在所述在获取到的数据中筛选出满足所述数据查询请求的查询条件的目标数据之后，将所述目标数据发送至所述前端平台，以使所述前端平台提取所述目标数据的首层字段信息，将所述首层字段信息作为元数据。
34、可选地，所述第二数据查询模块包括：
35、第二通信连接单元，被配置为在所述根据所述数据查询请求中的查询条件生成结构化查询语句之前，在所述数据查询请求中获取所述离线源的ip地址信息和端口信息，通过java数据库连接接口基于所述离线源的ip地址信息和端口信息与所述离线源建立通信连接。
36、可选地，所述第二数据查询模块包括：
37、第一语句生成单元，被配置为根据所述数据查询请求中的表名称生成基础查询语句；
38、第二语句生成单元，被配置为根据所述查询条件中的数据维度和/或数据时间段，生成第一等于条件查询语句；
39、第三语句生成单元，被配置为根据所述查询条件中的字段规则，生成第二等于条件查询语句；
40、语句拼接单元，被配置为将所述基础查询语句、所述第一等于条件查询语句和所述第二等于条件查询语句进行拼接，得到结构化查询语句。
41、可选地，所述第二数据查询模块包括：
42、表结构查询单元，被配置为根据所述数据查询请求中的表名称，查询所述离线源中所述表名称对应的表结构；
43、第二元数据获取单元，被配置为将所述表结构发送至所述前端平台，以使所述前端平台选择所述表结构的任一字段作为元数据。
44、第三方面，本申请提供了一种多源数据查询设备，包括：
45、一个或多个处理器；存储器，存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执本文档来自技高网...
【技术保护点】
1.一种多源数据查询方法，其特征在于，包括：
2.根据权利要求1所述的多源数据查询方法，其特征在于，在所述根据所述数据查询请求中的集合名称对所述实时源中对应的数据集合进行订阅之前，还包括：
3.根据权利要求1所述的多源数据查询方法，其特征在于，所述在获取到的数据中筛选出满足所述数据查询请求的查询条件的目标数据，包括：
4.根据权利要求1所述的多源数据查询方法，其特征在于，在所述在获取到的数据中筛选出满足所述数据查询请求的查询条件的目标数据之后，还包括：
5.根据权利要求1所述的多源数据查询方法，其特征在于，在所述根据所述数据查询请求中的查询条件生成结构化查询语句之前，还包括：
6.根据权利要求1所述的多源数据查询方法，其特征在于，其特征在于，所述根据所述数据查询请求中的表名称和查询条件生成结构化查询语句，包括：
7.根据权利要求1所述的多源数据查询方法，其特征在于，在所述根据所述数据查询请求中的查询条件生成结构化查询语句之后，还包括：
8.一种多源数据查询装置，其特征在于，包括：
9.
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的多源数据查询方法。
...【技术特征摘要】
1.一种多源数据查询方法，其特征在于，包括：
2.根据权利要求1所述的多源数据查询方法，其特征在于，在所述根据所述数据查询请求中的集合名称对所述实时源中对应的数据集合进行订阅之前，还包括：
3.根据权利要求1所述的多源数据查询方法，其特征在于，所述在获取到的数据中筛选出满足所述数据查询请求的查询条件的目标数据，包括：
4.根据权利要求1所述的多源数据查询方法，其特征在于，在所述在获取到的数据中筛选出满足所述数据查询请求的查询条件的目标数据之后，还包括：
5.根据权利要求1所述的多源数据查询方法，其特征在于，在所述根据所述数据查询请求中的查询条件...
【专利技术属性】
技术研发人员：邝炜聪，秦基伟，洪敏新，
申请(专利权)人：佳都科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。