本申请实施例提供了一种数据查询方法、装置和电子设备，涉及大数据技术领域，用以在多数据源的场景下为用户选择与查询请求最匹配的数据源。该方法中，首先获取查询请求；所述查询请求用于查询数据；根据所述查询请求和元数据，确定与所述查询请求匹配的至少两个数据源；确定所述至少两个数据源中每个数据源的第一可信度；所述每个数据源的第一可信度是根据生产环境的第一系统负载和所述每个数据源在处理所述查询请求时的第一响应时长中的至少一个确定的；将所述查询请求发送至所述至少两个数据源中所述第一可信度最高的数据源。个数据源中所述第一可信度最高的数据源。个数据源中所述第一可信度最高的数据源。
【技术实现步骤摘要】
一种数据查询方法、装置和电子设备
[0001]本申请涉及大数据
，特别涉及一种数据查询方法、装置和电子设备。
技术介绍
[0002]大数据分析场景下，由于常用的搜索引擎、数据库和数仓工具，它们的架构设计和底层原理不同，解决问题的领域也不同。通常需要多个数据库或数仓工具组合使用才可以满足业务的需求及其稳定性。因此一份数据往往需要写入多个不同的数据源以供各种解决方案的业务来使用。
[0003]在这种多数据源场景下，业务方选择合适的数据源来做业务查询时通常需要熟悉每种数据源的特性以及该数据源适用和不适用的场景然后业务方对业务特性进行分类，利用数据源支持的特定语言进行开发。而当业务方面临解决方案开发迭代或发现稳定性问题时，因业务与具体数据源的强耦合特性，后续升级数据源版本或替换更优数据源时就需要再次重复上述过程。
[0004]因此，现有技术无法在多数据源的场景下为业务方选择最优的数据源的技术问题。
技术实现思路
[0005]本申请实施例提供了一种数据查询方法、装置和电子设备，用以在多数据源的场景下为用户选择与查询请求最匹配的数据源。
[0006]第一方面，本申请实施例提供了一种数据查询方法，包括：获取查询请求；所述查询请求用于查询数据；根据所述查询请求和元数据，确定与所述查询请求匹配的至少两个数据源；确定所述至少两个数据源中每个数据源的第一可信度；所述每个数据源的第一可信度是根据生产环境的第一系统负载和所述每个数据源在处理所述查询请求时的第一响应时长中的至少一个确定的；将所述查询请求发送到所述至少两个数据源中所述第一可信度最高的数据源。
[0007]基于上述方案，当数据存储于多数据源时，通过确定不同查询场景和不同查询条件下的每个数据源的第一可信度，可以为用户选择最为匹配的数据源。与此同时，将生产环境的系统负载和数据源处理查询请求的响应时长作为第一可信度的评价依据可以根据性能和稳定性对数据源进行综合考虑，可以避免系统存在稳定性隐患，也就是可以避免系统崩溃的情况出现。
[0008]一种可能的实现方式，所述确定所述至少两个数据源中每个数据源的第一可信度，包括：所述查询请求包括查询场景和查询条件；所述查询场景用于表示所述查询请求查询的数据所属的业务，所述查询条件包括查询时间跨度和要求返回的字段数量中的至少一个；获取预先存储的每个数据源的查询场景、查询条件与稳定性可信度的第一对应关系；其中，所述第一对应关系是预先根据所述每个数据源在所述查询场景下以所述查询条件进行查询时的第二系统负载确定的；根据所述第一对应关系，确定所述查询场景与所述查询条
件所对应的所述每个数据源的稳定性可信度，作为所述每个数据源的第一可信度。
[0009]基于上述方案，可以将数据源的稳定性可信度作为第一可信度，也就是可为用户选择稳定性最高的数据源作为最匹配的数据源，可以避免系统存在稳定性隐患。
[0010]一种可能的实现方式，所述根据所述第一对应关系，确定所述查询场景与所述查询条件所对应的所述每个数据源的稳定性可信度之后，还包括：获取预先存储的每个数据源的查询场景、查询条件与性能可信度的第二对应关系；其中，所述第二对应关系是预先根据所述每个数据源在所述查询场景下以所述查询条件进行查询得到响应的第二响应时长确定的；根据所述第二对应关系，确定所述查询场景与所述查询条件所对应的所述每个数据源的性能可信度；根据所述每个数据源的稳定性可信度和所述每个数据源的性能可信度，确定所述每个数据源的第一可信度。
[0011]基于上述方案，根据稳定性可信度和性能可信度确定第一可信度，可以实现根据生产环境的实际情况为用户选择最匹配的数据源，也就是可以实现在系统负载低的时候通过选择性能好的数据源的方式，给用户提供良好的体验。在系统负载较高时选择稳定性高的数据源，可以避免由于过于追求性能而导致系统崩溃的情况发生。
[0012]一种可能的实现方式，所述根据所述第二对应关系，确定所述查询场景与所述查询条件所对应的所述每个数据源的性能可信度之后，还包括：在所述生产环境的系统负载低于第一阈值时，确定所述第一响应时长；所述第一响应时长是所述每个数据源在指定时长内处理一个或多个所述查询请求时的响应时长；根据所述第一响应时长和所述第二响应时长确定修正值；根据所述修正值修正所述性能可信度。
[0013]基于上述方案，通过在生产环境系统负载低时，对性能可信度进行修正，可以提高性能可信度的准确性。
[0014]一种可能的实现方式，所述根据所述每个数据源的稳定性可信度和所述每个数据源的性能可信度，确定所述每个数据源的第一可信度，具体包括：根据所述生产环境的第一系统负载确定所述性能可信度的权重和所述稳定性可信度的权重；对所述性能可信度和所述稳定性可信度进行加权求和处理，确定所述每个数据源的第一可信度。
[0015]基于上述方案，对性能可信度和稳定性可信度加权求和处理，可以实现在系统负载低的时候通过选择性能好的数据源的方式，可以给用户提供良好的体验，而在系统负载较高时通过选择稳定性高的数据源的方式，可以避免系统存在稳定性隐患，也就是可以避免由于过于追求性能而导致系统崩溃的情况发生。
[0016]一种可能的实现方式，所述根据所述生产环境的第一系统负载确定所述性能可信度的权重和所述稳定性可信度的权重，还包括：当所述生产环境的系统负载大于或等于第二阈值时，确定所述稳定性可信度的权重大于所述性能可信度的权重。
[0017]基于上述方案，在系统负载较高时通过增加稳定性可信度的权重的方式，可以避免系统崩溃，使系统稳定运行。
[0018]一种可能的实现方式，所述查询场景包括全文检索、条件过滤、聚合统计和关联分析中的一种或多种。
[0019]基于上述方案，由于每个数据源适用的查询场景并不相同，因此通过对多种查询场景分别考虑，可以实现将用户的查询请求发送至最为匹配的数据源。
[0020]第二方面，本申请实施例提供了一种数据查询装置，包括：通信单元和处理单元；
[0021]通信单元，被配置为：获取查询请求；所述查询请求用于查询数据；处理单元，被配置为：根据所述查询请求和元数据，确定与所述查询请求匹配的至少两个数据源；确定所述至少两个数据源中每个数据源的第一可信度；所述每个数据源的第一可信度是根据生产环境的第一系统负载和所述每个数据源在处理所述查询请求时的第一响应时长中的至少一个确定的；通信单元，还被配置为：将所述查询请求发送至所述至少两个数据源中所述第一可信度最高的数据源。
[0022]一种可能的实现方式，所述处理单元确定所述至少两个数据源中每个数据源的第一可信度，具体被配置为：所述查询请求包括查询场景和查询条件；所述查询场景用于表示所述查询请求查询的数据所属的业务，所述查询条件包括查询时间跨度和要求返回的字段数量中的至少一个；获取预先存储的每个数据源的查询场景、查询条件与稳定性可信度的第一对应关系；其中，所述第一对应关系是预先根据所述每个数据源在所述查询场景下以所述查询条件进行查询时的第本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据查询方法，其特征在于，包括：获取查询请求；所述查询请求用于查询数据；根据所述查询请求和元数据，确定与所述查询请求匹配的至少两个数据源；确定所述至少两个数据源中每个数据源的第一可信度；所述每个数据源的第一可信度是根据生产环境的第一系统负载和所述每个数据源在处理所述查询请求时的第一响应时长中的至少一个确定的；将所述查询请求发送到所述至少两个数据源中所述第一可信度最高的数据源。2.根据权利要求1所述的方法，其特征在于，所述确定所述至少两个数据源中每个数据源的第一可信度，包括：所述查询请求包括查询场景和查询条件；所述查询场景用于表示所述查询请求查询的数据所属的业务，所述查询条件包括查询时间跨度和要求返回的字段数量中的至少一个；获取预先存储的每个数据源的查询场景、查询条件与稳定性可信度的第一对应关系；其中，所述第一对应关系是预先根据所述每个数据源在所述查询场景下以所述查询条件进行查询时的第二系统负载确定的；根据所述第一对应关系，确定所述查询场景与所述查询条件所对应的所述每个数据源的稳定性可信度，作为所述每个数据源的第一可信度。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一对应关系，确定所述查询场景与所述查询条件所对应的所述每个数据源的稳定性可信度之后，还包括：获取预先存储的每个数据源的查询场景、查询条件与性能可信度的第二对应关系；其中，所述第二对应关系是预先根据所述每个数据源在所述查询场景下以所述查询条件进行查询得到响应的第二响应时长确定的；根据所述第二对应关系，确定所述查询场景与所述查询条件所对应的所述每个数据源的性能可信度；根据所述每个数据源的稳定性可信度和所述每个数据源的性能可信度，确定所述每个数据源的第一可信度。4.根据权利要求3所述的方法，其特征在于，所述根据所述第二对应关系，确定所述查询场景与所述查询条件所对应的所述每个数据源的性能可信度之后，还包括：在所述生产环境的第一系统负载低于第一阈值时，确定所述第一响应时长；所述第一响应...
【专利技术属性】
技术研发人员：李学良，韩大鑫，袁帅，黄俊，叶晓虎，
申请(专利权)人：北京神州绿盟科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。