数据的查询方法及装置制造方法及图纸

本发明专利技术公开了一种数据的查询方法及装置。其中，该方法包括：获取元数据中的大维度，其中，大维度为唯一值大于等于预设阈值的维度，元数据包括维度和维度的唯一值，元数据记录了维度与唯一值的对应关系；在查询记录中查找与大维度相同的目标维度，并将与大维度相同的目标维度对应的指标作为大维度对应的指标，其中，查询记录中记录了目标维度与指标的对应关系；根据大维度及其对应的指标从事实数据表中选取预设数量的数据生成聚合表；在聚合表中查询与大维度和指标相关的数据。本发明专利技术解决了根据大维度直接生成聚合表导致的通过聚合表进行数据查询效率低的技术问题。

Data query method and device

The invention discloses a data query method and device. Among them, the method includes: obtaining the large dimension in the metadata, in which the large dimension is the dimension that the unique value is greater than the default threshold, the metadata includes the unique value of the dimension and dimension, the metadata records the correspondence between the dimension and the unique value, and finds the same target dimension as the large dimension in the query record, and will be the same as the large dimension. The target dimension of the same dimension is the corresponding index of the large dimension, in which the relationship between the target dimension and the target is recorded in the query record, and the data generation aggregation table is selected from the fact table according to the large dimension and its corresponding index, and the query is related to the large dimension and the index in the aggregation table. Data. The invention solves the technical problem of low efficiency of data query by aggregating tables generated directly by aggregating tables based on large dimensions.

【技术实现步骤摘要】
数据的查询方法及装置
本专利技术涉及数据处理领域，具体而言，涉及一种数据的查询方法及装置。
技术介绍
在联机分析处理领域里，我们经常碰到一些大维度，例如channel(渠道)，url(网页)等，很多时候我们需要对这些大维度做分组剖析，然后去看对应指标的前N个，也就是看前N个此维度的值以及指标，例如看维度url，通过页面浏览量指标来看，看前10个浏览量最多的url页面是哪些，用于指导网站运营或是业务优化。联机分析处理面临的一个问题是大维度做分组剖析时的性能开销，常见的传统方式是通过聚合表的联机分析处理的思路来解决，但是预聚合后，由于url等大维度的唯一值太多，导致其查询性能缓慢。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据的查询方法及装置，以至少解决根据大维度直接生成聚合表导致的通过聚合表进行数据查询效率低的技术问题。根据本专利技术实施例的一个方面，提供了一种数据查询方法，包括：获取元数据中的大维度，其中，所述大维度为唯一值大于等于预设阈值的维度，所述元数据包括维度和维度的唯一值，所述元数据记录了所述维度与所述唯一值的对应关系；在查询记录中查找与所述大维度相同的目标维度，并将与所述大维度相同的所述目标维度对应的指标作为所述大维度对应的指标，其中，所述查询记录中记录了所述目标维度与所述指标的对应关系；根据所述大维度及其对应的指标从事实数据表中选取预设数量的数据生成聚合表；在所述聚合表中查询与所述大维度和所述指标相关的数据。进一步地，根据所述大维度及其对应的指标从事实数据表中选取预设数量的数据生成聚合表包括：按照所述大维度对所述事实数据表进行分组；按照所述指标对所述事实数据表中的数据进行排序，得到分组排序后的数据；从分组排序后的数据中选取出排序靠前的预设数量的数据；根据选取出的所述预设数量的数据生成聚合表。进一步地，获取元数据中的大维度包括：获取所述元数据，其中，所述元数据包括维度和维度的唯一值，所述维度与所述唯一值相对应；查找所述元数据中所述唯一值大于等于预设阈值的维度；将所述元数据中所述唯一值大于等于预设阈值的维度作为所述大维度。进一步地，在所述聚合表中查询与所述大维度和所述指标相关的数据包括：获取查询条件，所述查询条件包括查询维度和查询指标；判断所述聚合表中是否包括与所述查询维度一致的大维度；如果判断出所述聚合表中包括与所述查询维度一致的大维度，则判断所述查询指标与生成所述聚合表时的指标是否一致，并且判断所述查询指标的排列次序与生成所述聚合表时的指标的排列次序是否一致；如果判断出所述查询指标与生成所述聚合表时的指标一致，并且判断出所述查询指标的排列次序与生成所述聚合表时的指标的排列次序一致，则按照所述查询维度和所述查询指标在所述聚合表中查询数据。进一步地，在判断所述聚合表中是否包括与所述查询维度一致的大维度之后，所述方法还包括：如果判断出所述聚合表中不包括与所述查询维度一致的大维度，则按照所述查询维度和所述查询指标从所述事实数据表中查询数据；或者如果判断出所述查询指标与生成所述聚合表时的指标不一致，或者判断出所述查询指标的排列次序与生成所述聚合表时的指标的排列次序不一致，则按照所述查询维度和所述查询指标从所述事实数据表中查询数据。根据本专利技术实施例的另一方面，还提供了一种数据查询装置，包括：获取单元，用于获取元数据中的大维度，其中，所述大维度为唯一值大于等于预设阈值的维度，所述元数据包括维度和维度的唯一值，所述元数据记录了所述维度与所述唯一值的对应关系；查找单元，用于在查询记录中查找与所述大维度相同的目标维度，并将与所述大维度相同的所述目标维度对应的指标作为所述大维度对应的指标，其中，所述查询记录中记录了所述目标维度与所述指标的对应关系；聚合单元，用于根据所述大维度及其对应的指标从事实数据表中选取预设数量的数据生成聚合表；查询单元，用于在所述聚合表中查询与所述大维度和所述指标相关的数据。进一步地，所述聚合单元包括：分组模块，用于按照所述大维度对所述事实数据表进行分组；排序模块，用于按照所述指标对所述事实数据表中的数据进行排序，得到分组排序后的数据；选择模块，用于从分组排序后的数据中选取出排序靠前的预设数量的数据；聚合模块，用于根据选取出的所述预设数量的数据生成所述聚合表。进一步地，所述获取单元包括：第一获取模块，用于获取所述元数据，其中，所述元数据包括维度和维度的唯一值，所述维度与所述唯一值相对应；查找模块，用于查找所述元数据中所述唯一值大于等于预设阈值的维度；确定模块，用于将所述元数据中所述唯一值大于等于预设阈值的维度作为所述大维度。进一步地，所述查询单元包括：第二获取模块，用于获取查询条件，所述查询条件包括查询维度和查询指标；第一判断模块，用于判断所述聚合表中是否包括与所述查询维度一致的大维度；第二判断模块，用于在判断出所述聚合表中包括与所述查询维度一致的大维度时，判断所述查询指标与生成所述聚合表时的指标是否一致，并且判断所述查询指标的排列次序与生成所述聚合表时的指标的排列次序是否一致；第一查询模块，用于在判断出所述查询指标与生成所述聚合表时的指标一致，并且判断出所述查询指标的排列次序与生成所述聚合表时的指标的排列次序一致时，按照所述查询维度和所述查询指标在所述聚合表中查询数据。进一步地，所述查询单元还包括：第二查询模块，用于在判断出所述聚合表中不包括与所述查询维度一致的大维度时，按照所述查询维度和所述查询指标从所述事实数据表中查询数据；或者第三查询模块，用于在判断出所述查询指标与生成所述聚合表时的指标不一致，或者判断出所述查询指标的排列次序与生成所述聚合表时的指标的排列次序不一致时，按照所述查询维度和所述查询指标从所述事实数据表中查询数据。在本专利技术实施例中，采用获取元数据中的大维度；在查询记录中查找与大维度相同的目标维度和目标维度对应的指标；根据大维度和指标从事实数据表中选取预设数量的数据生成聚合表；在聚合表中查询与大维度和指标相关的数据的方式，通过按指标对数据进行排序，并选取预设数量的数据生成聚合表，达到了减小聚合表中数据维度的目的，从而实现了提高通过聚合表进行数据查询的效率的技术效果，进而解决了根据大维度直接生成聚合表导致的通过聚合表进行数据查询效率低的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种可选的数据的查询方法的流程图；图2是根据本专利技术实施例的一种可选的数据的查询装置的示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例本文档来自技高网...

【技术保护点】
1.一种数据的查询方法，其特征在于，包括：获取元数据中的大维度，其中，所述大维度为唯一值大于等于预设阈值的维度，所述元数据包括维度和维度的唯一值，所述元数据记录了所述维度与所述唯一值的对应关系；在查询记录中查找与所述大维度相同的目标维度，并将与所述大维度相同的所述目标维度对应的指标作为所述大维度对应的指标，其中，所述查询记录中记录了所述目标维度与所述指标的对应关系；根据所述大维度及其对应的指标从事实数据表中选取预设数量的数据生成聚合表；在所述聚合表中查询与所述大维度和所述指标相关的数据。

【技术特征摘要】
1.一种数据的查询方法，其特征在于，包括：获取元数据中的大维度，其中，所述大维度为唯一值大于等于预设阈值的维度，所述元数据包括维度和维度的唯一值，所述元数据记录了所述维度与所述唯一值的对应关系；在查询记录中查找与所述大维度相同的目标维度，并将与所述大维度相同的所述目标维度对应的指标作为所述大维度对应的指标，其中，所述查询记录中记录了所述目标维度与所述指标的对应关系；根据所述大维度及其对应的指标从事实数据表中选取预设数量的数据生成聚合表；在所述聚合表中查询与所述大维度和所述指标相关的数据。2.根据权利要求1所述的方法，其特征在于，根据所述大维度及其对应的指标从事实数据表中选取预设数量的数据生成聚合表包括：按照所述大维度对所述事实数据表进行分组；按照所述指标对所述事实数据表中的数据进行排序，得到分组排序后的数据；从分组排序后的数据中选取出排序靠前的预设数量的数据；根据选取出的所述预设数量的数据生成聚合表。3.根据权利要求1所述的方法，其特征在于，获取元数据中的大维度包括：获取所述元数据，其中，所述元数据包括维度和维度的唯一值，所述维度与所述唯一值相对应；查找所述元数据中所述唯一值大于等于预设阈值的维度；将所述元数据中所述唯一值大于等于预设阈值的维度作为所述大维度。4.根据权利要求1-3任一项所述的方法，其特征在于，在所述聚合表中查询与所述大维度和所述指标相关的数据包括：获取查询条件，所述查询条件包括查询维度和查询指标；判断所述聚合表中是否包括与所述查询维度一致的大维度；如果判断出包括与所述查询维度一致的大维度，则判断所述查询指标与生成所述聚合表时的指标是否一致，并且判断所述查询指标的排列次序与生成所述聚合表时的指标的排列次序是否一致；如果判断出所述查询指标与生成所述聚合表时的指标一致，并且判断出所述查询指标的排列次序与生成所述聚合表时的指标的排列次序一致，则按照所述查询维度和所述查询指标在所述聚合表中查询数据。5.根据权利要求4所述的方法，其特征在于，在判断所述聚合表中是否包括与所述查询维度一致的大维度之后，所述方法还包括：如果判断出所述聚合表中不包括与所述查询维度一致的大维度，则按照所述查询维度和所述查询指标从所述事实数据表中查询数据；或者如果判断出所述查询指标与生成所述聚合表时的指标不一致，或者判断出所述查询指标的排列次序与生成所述聚合表时的指标的排列次序不一致，则按照所述查询维度和所述查询指标从所述事实数据表中查询数据。6.一种数据的查询装置，其特征在于，包括：获...

【专利技术属性】
技术研发人员：洪超，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11