数据分析方法、设备及存储介质技术

本申请实施例提供一种数据分析方法、设备和介质。该方法包括:从收到的查询请求中解析得到多个分析维成员以及多个分析维成员之间的运算关系；根据运算关系对多个位图块计算，得到针对目标维成员的计算结果。其中，多个位图块与解析得到的多个分析维成员分别对应，位图块中的每一个指示位与目标维度的每一个目标维成员一一对应，所述指示位的取值用于指示目标维成员对应的结构化数据中是否包含所述位图块对应的分析维成员。采用上述技术方案中的方法，在解析得到多个分析维成员之后，查找到多个分析维成员各自对应的多个位图块所耗费的时间更短，从而缩短了OLAP服务器响应查询请求的时间。

Data Analysis Method, Equipment and Storage Media

The embodiment of this application provides a data analysis method, device and medium. The method includes: parsing multiple analysis dimension members from the query requests received and calculating multiple bitmap blocks according to the operation relations, and obtaining the calculation results for target dimension members. Among them, a plurality of bitmap blocks correspond to the parsed plurality of analysis dimension members, and each indicator bit in the bitmap block corresponds to each target dimension member one by one. The value of the indicator bit is used to indicate whether the corresponding analysis dimension members of the bitmap block are included in the structured data corresponding to the target dimension member. Using the method in the above technical scheme, after parsing multiple analysis dimension members, it takes less time to find multiple bitmap blocks corresponding to each analysis dimension member, thus shortening the response time of OLAP server to query requests.

【技术实现步骤摘要】
数据分析方法、设备及存储介质
本申请涉及联机实时分析
，具体涉及一种数据分析方法、设备及存储介质。
技术介绍
在大数据时代，单张表的数据量都是以十亿级、百亿级甚至兆级计。传统数据库基于关系模型，通过多张能互相联接的二维行列表格来组织数据，故而当数据量非常巨大时，利用结构化查询语言(StructuredQueryLanguage，SQL)来访问存储有海量数据的传统数据库，传统数据库无法秒级响应用户的查询请求，往往需要数分钟甚至更长的响应时间。相比于关系模型，多维数据模型赋予了数据新的组织和存储形式，满足用户从多角度、多层次作数据查询和分析的需要。多维数据模型包括至少一个维度(Dimension)，每个维度包括至少一个维成员(Member)。多维数据模型基本的应用是为了实现联机实时分析(OnlineAnalyticalProcessing,OLAP)。OLAP技术在多维数据模型的基础上实现面向分析的各类操作，使用户可以从不同角度观察数据，同时能够在数秒内快速响应用户的查询请求。多维联机实时分析系统(Multi-dimensionalOLAP，MOLAP)是OLAP的经典使用模式之一，代表有麒麟(kylin)系统等。MOLAP利用多维数据模型对原始数据作预加工，将预加工的结果存储为数据立方(cube)，以便能够秒级响应用户的查询请求。具体地，在预加工时，首先，针对采用多维数据模型存储的数据中的n个维度，将这n个维度进行组合；然后，针对每一种维度组合方式，列出该维度组合方式下所有的维成员组合方式；再根据指标对数据作计算，例如去重计算、去重计数计算等，得到与每一种维成员组合方式对应的计算结果。将一种维度组合方式下所有的计算结果存储为一个数据长方体(cuboid)；所有的cuboid就构成了一个cube。由于OLAP技术分析的数据量往往非常大，因而整个cube所占用的物理存储空间很大，需要单独被存储在存储系统(例如，hbase系统等)中。在查询时，在获取用户输入的查询请求之后，在存储系统中根据查询请求从匹配的cuboid中查找对应的计算结果，再从存储系统中获取对应计算结果，最后反馈给用户，从而完成一次查询请求的响应工作。在获取用户的查询请求之前，cube已经构建好，通过这种以空间换取时间的方式，可以秒级响应查询请求。在利用OLAP技术作查询的过程中，专利技术人发现其至少存在以下问题：当维度或部分维度的维成员数量较多时，查询请求的响应时间较长。
技术实现思路
为了解决上述技术问题，本申请提供一种数据分析方法、设备和介质，用于缩短查询请求的响应时间。第一方面，本申请提供一种数据分析方法，包括:从收到的查询请求中解析得到多个分析维成员以及所述多个分析维成员之间的运算关系；其中，所述分析维成员是其对应的分析维度的维成员，所述分析维度是多维数据模型中除目标维度之外的维度，所述多维数据模型包括至少两个分析维度，在采用所述多维数据模型存储的结构化数据中，每一条所述结构化数据包括一个目标维成员和至少两个分析维成员；根据所述运算关系对多个位图块计算，得到针对目标维成员的计算结果；其中，所述多个位图块与解析得到的所述多个分析维成员分别对应，所述位图块中的每一个指示位与所述目标维度的每一个目标维成员一一对应，所述指示位的取值用于指示所述目标维成员对应的结构化数据中是否包含所述位图块对应的分析维成员。采用本实现方式，由于每一个位图块分别与一个分析维成员对应，不存在与多个分析维成员的组合对应的位图块，因此，需要预先存储的位图块数量较少。基于此，在解析得到多个分析维成员之后，查找到多个分析维成员各自对应的多个位图块所耗费的时间更短，从而缩短了OLAP服务器响应查询请求的时间。结合第一方面，在第一方面第一种可能的实现方式中，所述方法包括：从所述查询请求中解析得到第一查询组合，其中，所述第一查询组合包括所述多个分析维成员中的至少两个分析维成员，所述至少两个分析维成员之间的运算关系为交运算；将所述第一查询组合中的至少两个分析维成员各自对应的位图块做交运算，获得第一计算结果。采用本实现方式，通过对第一查询组合中的分析维成员所对应的位图块做交运算，从而对涉及这些分析维成员的结构化数据做去重计算，快速、准确地得到去重计算结果。结合第一方面的第一种实现方式，在第一方面第二种可能的实现方式中，将所述第一查询组合中的至少两个分析维成员各自对应的位图块做交运算的步骤，包括：检测所述第一查询组合是否与一个有效维成员组合相同，其中，所述有效维成员组合由采用多维数据模型存储的结构化数据中同一条数据所包含的分析维成员构成；如果所述第一查询组合与所述有效维成员组合相同，则获取所述第一查询组合中的至少两个分析维成员各自对应的位图块；将获取到的所述位图块做交运算，获得所述第一计算结果。采用本实现方式，将第一查询组合与有效维成员组合做对比，根据对比结果再对第一查询组合中的分析维成员所对应的位图块做交运算，排除掉结构化数据中不存在的情况，从而提高去重计算结果的准确率，实现精确去重。结合第一方面的第二种实现方式，在第一方面第三种可能的实现方式中，还包括：如果所述第一查询组合与任一个有效维成员组合均不相同，则所述第一计算结果为空。采用本实现方式，将第一查询组合与有效维成员组合做对比，根据对比结果再对第一查询组合中的分析维成员所对应的位图块做交运算，排除掉结构化数据中不存在的情况，从而提高去重计算结果的准确率，实现精确去重。结合第一方面的第一种实现方式，在第一方面第四种可能的实现方式中，将所述第一查询组合中的至少两个分析维成员各自对应的位图块做交运算的步骤，包括：检测所述第一查询组合是否满足过滤规则，其中，所述过滤规则包括预设的至少一种分析维成员的组合方式；如果所述第一查询组合不满足所述过滤规则，则获取所述第一查询组合中的至少两个分析维成员各自对应的位图块；将获取到的所述位图块做交运算，获得所述第一计算结果。采用本实现方式，用过滤规则来筛选第一查询组合，将满足过滤规则的第一查询组合的计算结果直接取空，从而省略了查找位图块等过程，进一步缩短了查询请求的响应时间。结合第一方面的第一种实现方式，在第一方面第五种可能的实现方式中，所述方法还包括：从所述查询请求中解析得到至少一个第一维成员，所述第一维成员是所述多个分析维成员中除第一查询组合中的分析维成员之外的分析维成员，所述至少一个第一维成员和所述第一查询组合之间的运算关系均为并运算；获取至少一个第一位图块，所述第一位图块为与所述第一维成员对应的位图块；将所述第一计算结果与所述至少一个第一位图块做并运算，得到针对所述目标维成员的第二计算结果。采用本实现方式，根据查询请求中解析到的多个分析维成员的不同状况，在第一查询组合的去重计算结果的基础上做进一步计算，从而得到满足查询请求的计算结果。结合第一方面的第一种实现方式，在第一方面第六种可能的实现方式中，所述方法还包括：从所述查询请求中解析得到至少一个第三查询组合，所述第三查询组合仅包括一个第二维成员，所述第二维成员是所述多个分析维成员中的分析维成员，并且所述第二维成员对自身做取反运算，所述至少一个第三查询组合与所述第一查询组合之间的运算关系均为并运算；对所述至少一个第三查询组合中的第二本文档来自技高网...

【技术保护点】
1.一种数据分析方法，其特征在于，包括:从收到的查询请求中解析得到多个分析维成员以及所述多个分析维成员之间的运算关系；其中，所述分析维成员是其对应的分析维度的维成员，所述分析维度是多维数据模型中除目标维度之外的维度，所述多维数据模型包括至少两个分析维度，在采用所述多维数据模型存储的结构化数据中，每一条所述结构化数据包括一个目标维成员和至少两个分析维成员；根据所述运算关系对多个位图块计算，得到针对目标维成员的计算结果；其中，所述多个位图块与解析得到的所述多个分析维成员分别对应，所述位图块中的每一个指示位与所述目标维度的每一个目标维成员一一对应，所述指示位的取值用于指示所述目标维成员对应的结构化数据中是否包含所述位图块对应的分析维成员。

【技术特征摘要】
1.一种数据分析方法，其特征在于，包括:从收到的查询请求中解析得到多个分析维成员以及所述多个分析维成员之间的运算关系；其中，所述分析维成员是其对应的分析维度的维成员，所述分析维度是多维数据模型中除目标维度之外的维度，所述多维数据模型包括至少两个分析维度，在采用所述多维数据模型存储的结构化数据中，每一条所述结构化数据包括一个目标维成员和至少两个分析维成员；根据所述运算关系对多个位图块计算，得到针对目标维成员的计算结果；其中，所述多个位图块与解析得到的所述多个分析维成员分别对应，所述位图块中的每一个指示位与所述目标维度的每一个目标维成员一一对应，所述指示位的取值用于指示所述目标维成员对应的结构化数据中是否包含所述位图块对应的分析维成员。2.根据权利要求1所述的数据分析方法，其特征在于，所述方法包括：从所述查询请求中解析得到第一查询组合，其中，所述第一查询组合包括所述多个分析维成员中的至少两个分析维成员，所述至少两个分析维成员之间的运算关系为交运算；将所述第一查询组合中的至少两个分析维成员各自对应的位图块做交运算，获得第一计算结果。3.根据权利要求2所述的数据分析方法，其特征在于，将所述第一查询组合中的至少两个分析维成员各自对应的位图块做交运算的步骤，包括：检测所述第一查询组合是否与一个有效维成员组合相同，其中，所述有效维成员组合由采用多维数据模型存储的结构化数据中同一条数据所包含的分析维成员构成；如果所述第一查询组合与所述有效维成员组合相同，则获取所述第一查询组合中的至少两个分析维成员各自对应的位图块；将获取到的所述位图块做交运算，获得所述第一计算结果。4.根据权利要求3所述的数据分析方法，其特征在于，还包括：如果所述第一查询组合与任一个有效维成员组合均不相同，则所述第一计算结果为空。5.根据权利要求2所述的数据生成方法，其特征在于，将所述第一查询组合中的至少两个分析维成员各自对应的位图块做交运算的步骤，包括：检测所述第一查询组合是否满足过滤规则，其中，所述过滤规则包括预设的至少一种分析维成员的组合方式；如果所述第一查询组合不满足所述过滤规则，则获取所述第一查询组合中的至少两个分析维成员各自对应的位图块；将获取到的所述位图块做交运算，获得所述第一计算结果。6.根据权利要求2所述的数据分析方法，其特征在于，所述方法还包括：从所述查询请求中解析得到至少一个第一维成员，其中，所述第一维成员是所述多个分析维成员中除第一查询组合中的分析维成员之外的分析维成员，所述至少一个第一维成员和所述第一查询组合之间的运算关系均为并运算；获取至少一个第一位图块，所述第一位图块为与所述第一维成员对应的位图块；将所述第一计算结果与所述至少一个第一位图块做并运算，得到针对所述目标维成员的第二计算结果。7.根据权利要求2所述的数据分析方法，其特征在于，所述方法还包括：从所述查询请求中解析得到至少一个第三查询组合，其中，所述第三查询组合仅包括一个第二维成员，所述第二维成员是所述多个分析维成员中的分析维成员，并且所述第二维成员对自身做取反运算，所述至少一个第三查询组合与所述第一查询组合之间的运算关系均为并运算；对所述至少一个第三查询组合中的第二维成员所对应的位图块分别做取反运算，得到与所述至少...

【专利技术属性】
技术研发人员：王烨嵩，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44