基于分布式存储的数据查询方法及装置制造方法及图纸

本申请提供一种基于分布式存储的数据查询方法及装置，用以实现快速且高效的进行数据查询。方法包括：第一节点获取第一查询请求，第一查询请求用于请求查询第一业务，第一节点为分布式存储集群中的源节点；第一节点根据第一业务，确定分布式存储集群中的第一查询路径；第一节点根据第一查询路径，确定第一查询指示信息，其中，第一查询指示信息中包括：第一查询路径中的每个非叶子节点的信息；一个非叶子节点的信息包括：该非叶子节点的标识以及该非叶子节点的非叶子子节点的信息，一个非叶子子节点为该非叶子节点的潜在子节点中的至少部分子节点；第一节点向第一查询路径对应的节点发送第一查询指示信息。送第一查询指示信息。送第一查询指示信息。

【技术实现步骤摘要】
基于分布式存储的数据查询方法及装置


[0001]本申请涉及大数据领域，尤其涉及一种基于分布式存储的数据查询方法及装置。

技术介绍

[0002]目前，随着数据规模越来越大，采用分布式存储是解决目前大规模数据存储的主要技术手段。具体而言，分布式存储会按一定存储规则，充分利用每个节点的存储能力，将数据分别存储在各个节点中。如果需要查询数据，再通过遍历，从相应节点中读取数据。
[0003]但是，分布式存储的问题在于，由于节点数量较多，在查询数据时，通常不知道数据存储在哪个节点，从而需要逐一遍历每个节点，导致数据查询的耗时较长，数据查询的效率较低。

技术实现思路

[0004]本申请实施例提供一种基于分布式存储的数据查询方法及装置，用以实现快速且高效的进行数据查询。
[0005]为达到上述目的，本申请采用如下技术方案：第一方面，本申请实施例提供了一种基于分布式存储的数据查询方法，所述方法包括：第一节点获取第一查询请求，所述第一查询请求用于请求查询第一业务，所述第一节点为分布式存储集群中的源节点；所述第一节点根据所述第一业务，确定所述分布式存储集群中的第一查询路径；所述第一节点根据所述第一查询路径，确定第一查询指示信息，其中，所述第一查询指示信息中包括：所述第一查询路径中的每个非叶子节点的信息；一个非叶子节点的信息包括：该非叶子节点的标识以及该非叶子节点的非叶子子节点的信息，一个非叶子子节点为该非叶子节点的潜在子节点中的至少部分子节点，一个非叶子节点的信息用于指示查询指示信息需要发往所述非叶子节点，一个非叶子子节点的信息用于指示查询指示信息需要发往所述非叶子子节点；所述第一节点向所述第一查询路径对应的节点发送所述第一查询指示信息。
[0006]基于第一方面所述的方法可知，通过分析业务的类型，确定出待查询的数据最有可能存储的节点，并确定这些节点对应的第一查询路径。如此，向第一查询路径对应的节点发送第一查询指示信息，便可以实现遍历第一查询路径对应的节点，从而实现快速且高效的进行数据查询。此外，由于第一查询指示信息中包括第一查询路径中的每个非叶子节点的信息，而一个非叶子节点的信息又包括该非叶子节点的标识以及该非叶子节点的非叶子子节点的信息，从而形成一个递归结构。这样，基于该递归结构，便可以准确地遍历第一查询路径对应的节点。
[0007]一种可能的设计方案中，一个非叶子节点的标识包括多个比特，每个比特用于指示该非叶子节点的潜在子节点中对应的一个子节点是否为该非叶子节点的非叶子子节点，以避免误指示和误确定。
[0008]一种可能的设计方案中，一个非叶子节点的潜在子节点包括：该非叶子节点连接
的所有节点，该所有节点包括：该非叶子节点的上游节点和所述非叶子节点的下游节点。
[0009]一种可能的设计方案中，所述第一查询路径中的每个非叶子节点的信息为协议预定义的长度，或者所述第一查询路径中的每个非叶子节点的信息的位置根据所述第一查询指示信息中的寻址字段确定，以便非叶子节点能够从第一查询指示信息中准确地找到自身的信息。
[0010]一种可能的设计方案中，所述第一节点根据所述第一业务，确定所述分布式存储集群中的第一查询路径，包括：所述第一节点根据所述第一业务的业务类型，从所述分布式存储集群中确定出存储类型与所述业务类型相似的所有节点；所述第一节点根据所述所有节点的拓扑结构，确定所述所有节点对应的所述第一查询路径。
[0011]一种可能的设计方案中，在所述第一节点向所述第一查询路径对应的节点发送所述第一查询指示信息之后，所述方法还包括：若所述第一节点确定所述第一查询指示信息未命中，则所述第一节点根据所述第一业务，确定所述分布式存储集群中的第二查询路径，所述第二查询路径中包括的节点与所述第一查询路径中包括的节点不同；所述第一节点根据所述第二查询路径，确定第二查询指示信息，其中，所述第二查询指示信息中包括：所述第二查询路径中非叶子节点的信息；所述第一节点向所述第二查询路径对应的节点发送所述第二查询指示信息。也就是说，在一次查询未命中的情况下，第一节点可以按照相似度从高至低的顺序，继续执行查询，直至能够高效地找到第一业务对应的数据。
[0012]第二方面，本申请实施例提供了一种基于分布式存储的数据查询方法，所述方法包括：第一非叶子节点接收来自第一节点的第一查询指示信息，其中，所述第一非叶子节点为所述第一查询路径中的子节点，所述第一查询指示信息中包括：所述第一查询路径中非叶子节点的信息；其中，一个非叶子节点的信息包括：该非叶子节点的标识以及该非叶子节点的非叶子子节点的信息，一个非叶子子节点为该非叶子节点的潜在子节点中的至少部分子节点，一个非叶子节点的信息用于指示查询指示信息需要发往所述非叶子节点，一个非叶子子节点的信息用于指示查询指示信息需要发往所述非叶子子节点；所述第一非叶子节点根据所述第一查询指示信息，判断所述第一非叶子节点是否存储有第一业务的数据；若否，所述第一非叶子节点将所述第一查询指示信息除所述第一非叶子节点的信息以外的其他信息剥离，得到更新的第一查询指示信息；所述第一非叶子节点向所述第一非叶子节点的非叶子子节点发送所述更新的第一查询指示信息。如此，可实现删除冗余信息，提高数据传输效率。
[0013]第三方面，本申请实施例提供了一种基于分布式存储的数据查询装置，应用于第一节点，所述装置包括：收发模块，用于获取第一查询请求，所述第一查询请求用于请求查询第一业务，所述第一节点为分布式存储集群中的源节点；处理模块，用于根据所述第一业务，确定所述分布式存储集群中的第一查询路径；根据所述第一查询路径，确定第一查询指示信息，其中，所述第一查询指示信息中包括：所述第一查询路径中的每个非叶子节点的信息；一个非叶子节点的信息包括：该非叶子节点的标识以及该非叶子节点的非叶子子节点的信息，一个非叶子子节点为该非叶子节点的潜在子节点中的至少部分子节点，一个非叶子节点的信息用于指示查询指示信息需要发往所述非叶子节点，一个非叶子子节点的信息用于指示查询指示信息需要发往所述非叶子子节点；所述收发模块，还用于向所述第一查询路径对应的节点发送所述第一查询指示信息。
[0014]一种可能的设计方案中，一个非叶子节点的标识包括多个比特，每个比特用于指示该非叶子节点的潜在子节点中对应的一个子节点是否为该非叶子节点的非叶子子节点。
[0015]一种可能的设计方案中，一个非叶子节点的潜在子节点包括：该非叶子节点连接的所有节点，该所有节点包括：该非叶子节点的上游节点和所述非叶子节点的下游节点。
[0016]一种可能的设计方案中，所述第一查询路径中的每个非叶子节点的信息为协议预定义的长度，或者所述第一查询路径中的每个非叶子节点的信息的位置根据所述第一查询指示信息中的寻址字段确定。
[0017]一种可能的设计方案中，所述处理模块，还用于根据所述第一业务的业务类型，从所述分布式存储集群中确定出存储类型与所述业务类型相似的所有节点；所述第一节点根据所述所有节点的拓扑结构，确定所述所有节点对应的所述第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式存储的数据查询方法，其特征在于，所述方法包括：第一节点获取第一查询请求，所述第一查询请求用于请求查询第一业务，所述第一节点为分布式存储集群中的源节点；所述第一节点根据所述第一业务，确定所述分布式存储集群中的第一查询路径；所述第一节点根据所述第一查询路径，确定第一查询指示信息，其中，所述第一查询指示信息中包括：所述第一查询路径中的每个非叶子节点的信息；一个非叶子节点的信息包括：该非叶子节点的标识以及该非叶子节点的非叶子子节点的信息，一个非叶子子节点为该非叶子节点的潜在子节点中的至少部分子节点，一个非叶子节点的信息用于指示查询指示信息需要发往所述非叶子节点，一个非叶子子节点的信息用于指示查询指示信息需要发往所述非叶子子节点；所述第一节点向所述第一查询路径对应的节点发送所述第一查询指示信息。2.根据权利要求1所述的方法，其特征在于，一个非叶子节点的标识包括多个比特，每个比特用于指示该非叶子节点的潜在子节点中对应的一个子节点是否为该非叶子节点的非叶子子节点。3.根据权利要求1所述的方法，其特征在于，一个非叶子节点的潜在子节点包括：该非叶子节点连接的所有节点，该所有节点包括：该非叶子节点的上游节点和所述非叶子节点的下游节点。4.根据权利要求1所述的方法，其特征在于，所述第一查询路径中的每个非叶子节点的信息为协议预定义的长度，或者所述第一查询路径中的每个非叶子节点的信息的位置根据所述第一查询指示信息中的寻址字段确定。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述第一节点根据所述第一业务，确定所述分布式存储集群中的第一查询路径，包括：所述第一节点根据所述第一业务的业务类型，从所述分布式存储集群中确定出存储类型与所述业务类型相似的所有节点；所述第一节点根据所述所有节点的拓扑结构，确定所述所有节点对应的所述第一查询路径。6.根据权利要求5所述的方法，其特征在于，在所述第一节点向所述第一查询路径对应的节点发送所述第一查询指示信息之后，所述方法还包括：若所述第一节点确定所述第一查询指示信息未命中，则所述第一节点根据所述第一业务，确定所述分布式存储集群中的第二查询路径，所述第二查询路径中包括的节点与所述第一查询路径中包括的节点不同；所述第一节点根据所述第二查询路径，确定第二查询指示信息，其中，所述第二查询指示信息中包括：所述第二查询路径中非叶子节点的信息；所述第一节点向所述第二查询路径对应的节点发送所述第二查询指示信息。7.一种基于分布式存储的数据查询方法，其特征在于，所述方法包括：第一非叶子节点接收来自第一节点的第一查询请求，其中，所述第一非叶子节点为所述第一查询路径中的子节点，所述第一查询指示信息中包括：所述第一查询路径中非叶子节...

【专利技术属性】
技术研发人员：付胜龙，王钰，贺金生，万世红，宋军，袁彬，陈灏，肖朝斌，张思伟，
申请(专利权)人：大汉电子商务有限公司，
类型：发明
国别省市：