一种数据立方体构建方法、设备和计算机可读存储介质技术

本申请实施例公开了一种数据立方体构建方法，所述方法包括：获取针对数据表的历史查询信息；基于历史查询信息的统计信息，构建多个查询模式；其中，统计信息是针对数据表的统计信息；基于多个查询模式和统计信息，得到多个数据模型；基于统计信息和多个数据模型，确定多个数据模型的基数信息；基于历史查询信息和基数信息对多个数据模型进行聚合，得到多个数据立方体；其中，每一数据立方体是由多个数据表构成的。本申请实施例还公开了一种数据立方体构建设备和计算机可读存储介质。方体构建设备和计算机可读存储介质。方体构建设备和计算机可读存储介质。

A data cube construction method, device and computer readable storage medium

【技术实现步骤摘要】
一种数据立方体构建方法、设备和计算机可读存储介质


[0001]本申请涉及大数据
，尤其涉及一种数据立方体构建方法、设备和计算机可读存储介质。

技术介绍

[0002]互联网技术的发展，使得数据量呈现爆炸性增长。为提高数据的查询速度，一般会在查询数据之前，将数据查询过程中计算量较大的工作预先完成，如此能够减少数据查询时的响应时间。相关技术中，会预先根据历史查询信息生成预计算模型，如此在接收到用户发送的查询请求后，就可以通过预计算模型得到查询结果。然而，上述方法无法实现多维数据查询。

技术实现思路

[0003]为解决上述技术问题，本申请实施例期望提供一种数据立方体构建方法、设备和计算机可读存储介质，解决了相关技术中的无法实现多维数据查询的问题。
[0004]本申请的技术方案是这样实现的：
[0005]一种数据立方体构建方法，所述方法包括：
[0006]获取针对数据表的历史查询信息；
[0007]基于所述历史查询信息的统计信息，构建多个查询模式；其中，所述统计信息是针对所述数据表的统计信息；
[0008]基于所述多个查询模式和所述统计信息，得到多个数据模型；
[0009]基于所述统计信息和所述多个数据模型，确定所述多个数据模型的基数信息；
[0010]基于所述历史查询信息和所述基数信息对所述多个数据模型进行聚合，得到多个数据立方体；其中，每一所述数据立方体是由多个数据表构成的。
[0011]上述方案中，所述基于所述历史查询信息的统计信息，构建多个查询模式，包括：
[0012]对所述历史查询信息进行解析，得到数据表的连接信息、数据表的统计信息和数据表中列的统计信息；其中，所述统计信息包括所述数据表的连接信息、所述数据表的统计信息和所述数据表中列的统计信息；
[0013]基于所述数据表的连接信息、所述数据表的统计信息和所述数据表中列的统计信息将每一所述历史查询信息转化为键值对形式，得到所述多个查询模式。
[0014]上述方案中，所述基于所述多个查询模式和所述统计信息，得到多个数据模型，包括：
[0015]基于所述多个查询模式的相似性对所述多个查询模式进行分组，得到多个查询模式组；
[0016]基于所述数据表的连接信息对所述多个查询模式组进行转化，得到所述多个数据模型。
[0017]上述方案中，所述基于所述多个查询模式的相似性对所述多个查询模式进行分
组，得到多个查询模式组，包括：
[0018]基于所述多个查询模式，生成多个向量；
[0019]基于所述多个向量的相似性对所述多个查询模式进行分组，得到所述多个查询模式组。
[0020]上述方案中，所述基于所述统计信息和所述多个数据模型，得到所述多个数据模型的基数信息，包括：
[0021]针对每一所述数据模型，从所述数据模型对应的数据表中列的统计信息中确定单列信息，并计算所述单列信息的基数；
[0022]将所述单列信息中的任意两个单列信息进行组合得到双列信息，并计算所述双列信息的基数；其中，所述基数信息包括所述单列信息的基数和所述双列信息的基数。
[0023]上述方案中，所述计算所述双列信息的基数，包括：
[0024]确定每一所述数据模型对应的主键；
[0025]基于所述主键和所述单列信息的基数，确定包括所述主键的双列信息的基数；
[0026]采用目标函数确定不包括所述主键的双列信息的基数。
[0027]上述方案中，所述基于所述历史查询信息和所述基数信息对所述多个数据模型进行聚合，得到多个数据立方体，包括：
[0028]基于所述历史查询信息和聚合条件对所述多个数据模型进行聚合，得到多个聚合组；
[0029]基于所述历史查询信息，确定所述多个聚合组的必须维度；其中，所述必须维度是基于每一所述聚合组在每次查询时都出现的列确定的；
[0030]基于所述基数信息和所述历史查询信息，确定所述多个聚合组的联合维度和层级维度；其中，所述联合维度是基于每一所述聚合组在每次查询时都一起出现的列的组合确定的；所述层级维度是基于每一所述聚合组中具有层级关系的列的组合确定的；
[0031]基于所述必须维度、所述联合维度和所述层级维度，对所述多个聚合组进行优化处理，得到所述多个数据立方体。
[0032]上述方案中，所述基于所述历史查询信息，确定所述多个聚合组的必须维度，包括：
[0033]针对每一所述聚合组，基于所述历史查询信息确定所述聚合组在每个查询时都出现的列；
[0034]基于所述聚合组在每次查询时都出现的列得到所述必须维度。
[0035]上述方案中，所述基于所述基数信息和所述历史查询信息，确定所述多个聚合组的联合维度和层级维度，包括：
[0036]针对每一所述聚合组，基于所述基数信息和所述历史查询信息确定所述聚合组中满足联合条件的列，并基于所述聚合组中满足所述联合条件的列得到所述联合维度；
[0037]基于所述基数信息和所述历史查询信息确定所述聚合组中满足层级条件的列，并基于所述聚合组中满足所述层级条件的列得到所述层级维度。
[0038]一种数据立方体构建设备，所述设备包括：处理器、存储器和通信总线；
[0039]所述通信总线用于实现处理器和存储器之间的通信连接；
[0040]所述处理器用于执行存储器中的数据立方体构建程序，以实现上述所述的数据立
方体构建方法的步骤。
[0041]一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述所述的数据立方体构建方法的步骤。
[0042]本申请的实施例所提供的数据立方体构建方法、设备和计算机可读存储介质，可以获取针对数据表的历史查询信息，基于历史查询信息的统计信息构建多个查询模式，基于多个查询模式和统计信息得到多个数据模型，并基于统计信息和多个数据模型确定多个数据模型的基数信息，然后基于历史查询信息和基数信息对多个数据模型进行聚合得到多个数据立方体，如此基于历史查询信息和多个数据模型的基数信息进行聚合得到的多个数据立方体能够进行多维数据查询，解决了相关技术中的无法实现多维数据查询的问题。
附图说明
[0043]图1为本申请实施例提供的一种数据立方体构建方法的流程示意图；
[0044]图2为本申请实施例提供的另一种数据立方体构建方法的流程示意图；
[0045]图3为本申请实施例提供的又一种数据立方体构建方法的流程示意图；
[0046]图4为本申请又一实施例提供的一种数据立方体构建方法的流程示意图；
[0047]图5为本申请实施例提供的一种数据立方体构建设备的结构示意图。
具体实施方式
[0048]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0049]应理解，说明书通篇中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据立方体构建方法，其特征在于，所述方法包括：获取针对数据表的历史查询信息；基于所述历史查询信息的统计信息，构建多个查询模式；其中，所述统计信息是针对所述数据表的统计信息；基于所述多个查询模式和所述统计信息，得到多个数据模型；基于所述统计信息和所述多个数据模型，确定所述多个数据模型的基数信息；基于所述历史查询信息和所述基数信息对所述多个数据模型进行聚合，得到多个数据立方体；其中，每一所述数据立方体是由多个数据表构成的。2.根据权利要求1所述的方法，其特征在于，所述基于所述历史查询信息的统计信息，构建多个查询模式，包括：对所述历史查询信息进行解析，得到数据表的连接信息、数据表的统计信息和数据表中列的统计信息；其中，所述统计信息包括所述数据表的连接信息、所述数据表的统计信息和所述数据表中列的统计信息；基于所述数据表的连接信息、所述数据表的统计信息和所述数据表中列的统计信息将每一所述历史查询信息转化为键值对形式，得到所述多个查询模式。3.根据权利要求2所述的方法，其特征在于，所述基于所述多个查询模式和所述统计信息，得到多个数据模型，包括：基于所述多个查询模式的相似性对所述多个查询模式进行分组，得到多个查询模式组；基于所述数据表的连接信息对所述多个查询模式组进行转化，得到所述多个数据模型。4.根据权利要求3所述的方法，其特征在于，所述基于所述多个查询模式的相似性对所述多个查询模式进行分组，得到多个查询模式组，包括：基于所述多个查询模式，生成多个向量；基于所述多个向量的相似性对所述多个查询模式进行分组，得到所述多个查询模式组。5.根据权利要求2所述的方法，其特征在于，所述基于所述统计信息和所述多个数据模型，得到所述多个数据模型的基数信息，包括：针对每一所述数据模型，从所述数据模型对应的数据表中列的统计信息中确定单列信息，并计算所述单列信息的基数；将所述单列信息中的任意两个单列信息进行组合得到双列信息，并计算所述双列信息的基数；其中，所述基数信息包括所述单列信息的基数和所述双列信息的基数。6.根据权利要求5所述的方法，其特征在于，所述计算所述双列信息的基数，包括：确定每一所述数据模型对应的主键；基于所述主键和所述单列信...

【专利技术属性】
技术研发人员：姜婧妍，张雪岩，黄杰，位凯志，古亮，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：