一种数据处理方法、设备和存储介质技术

本申请实施例公开了一种数据处理方法，方法包括：确定数据分析模式；基于所述数据分析模式，获取历史结构化查询语言SQL语句；按照预设时间粒度对所述历史SQL语句进行分组处理，得到m组分组SQL语句；其中，m为大于或等于1的正整数；确定每一组所述分组SQL语句对应的参考数据模型和参考数据立方体，得到m组所述参考数据模型和所述参考数据立方体；基于m组所述参考数据模型和所述参考数据立方体进行融合处理，得到n个目标数据立方体；其中，n为大于或等于1的正整数；确定推荐索引为n个所述目标数据立方体，并显示所述推荐索引。本申请实施例同时还公开了一种数据处理设备和存储介质。例同时还公开了一种数据处理设备和存储介质。例同时还公开了一种数据处理设备和存储介质。

A data processing method, device and storage medium

【技术实现步骤摘要】
一种数据处理方法、设备和存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、设备和存储介质。

技术介绍

[0002]随着互联网技术的飞速发展，互联网应用得到了广泛的应用，随之而来产生了大量的互联网数据产品。在建立数据仓库智能索引之前，需要读入用户历史输入的结构化查询语言(Structured Query Language，SQL)，并对读入的历史输入SQL进行解析，实现索引的构建。
[0003]但是，若用户在历史时间内输入了大量的SQL，在索引构建过程中，若一次性将全部SQL读入进行解析分析，会导致分析过程所花费的时长较长，严重降低了分析效率。

技术实现思路

[0004]有鉴于此，本申请实施例期望提供一种数据处理方法、设备和存储介质，解决了目前对SQL语句进行分析时所花费时长较长的问题，提出了一种针对SQL语句进行分析数据分析方法，缩短了对SQL语句进行分析时所花费时长，提高了分析效率。
[0005]为达到上述目的，本申请的技术方案是这样实现的：
[0006]第一方面，一种数据处理方法，所述方法包括：
[0007]确定数据分析模式；
[0008]基于所述数据分析模式，获取历史结构化查询语言SQL语句；
[0009]按照预设时间粒度对所述历史SQL语句进行分组处理，得到m组分组SQL语句；其中，m为大于或等于1的正整数；
[0010]确定每一组所述分组SQL语句对应的参考数据模型和参考数据立方体，得到m组所述参考数据模型和所述参考数据立方体；
[0011]基于m组所述参考数据模型和所述参考数据立方体进行融合处理，得到n个目标数据立方体；其中，n为大于或等于1的正整数；
[0012]确定推荐索引为n个所述目标数据立方体，并显示所述推荐索引。
[0013]可选的，所述基于所述数据分析模式，获取历史结构化查询语言SQL语句，包括：
[0014]若所述数据分析模式为全量模式，获取当前时刻之前的全部历史时刻接收到的原始SQL语句；
[0015]对所述原始SQL语句进行预处理，得到所述历史SQL语句；
[0016]若所述数据分析模式为增量模式，确定当前分析周期内的SQL增量语句；
[0017]对所述SQL增量语句进行预处理，得到所述历史SQL语句。
[0018]可选的，所述确定每一组所述分组SQL语句对应的参考数据模型和参考数据立方体，得到m组所述参考数据模型和所述参考数据立方体，包括：
[0019]对每一组所述分组SQL语句中的每一SQL语句进行解析分析，得到每一组所述分组SQL语句对应的数据表和数据列的统计信息；
[0020]基于每一组所述分组SQL语句对应的所述统计信息，确定对应的所述分组SQL语句对应的至少一个第一数据结构信息；
[0021]基于至少一个所述第一数据结构信息，确定对应的所述分组SQL语句对应的所述参考数据模型，进而得到m个所述参考数据模型；
[0022]基于每一组所述分组SQL语句对应的所述统计信息，确定对应的所述分组SQL语句对应的所述参考数据立方体，进而得到m个所述参考数据立方体。
[0023]可选的，所述基于至少一个所述第一数据结构信息，确定对应的所述分组SQL语句对应的所述参考数据模型，进而得到m个所述参考数据模型，包括：
[0024]按照分组配置参数，对至少一个所述第一数据结构信息进行分组处理，得到至少一组第二数据结构信息；
[0025]从至少一组所述第二数据结构信息中，获取与预设属性配置参数匹配的至少一个目标参数属性信息；
[0026]基于至少一个所述目标参数属性信息，构建对应的所述分组SQL语句对应的所述参考数据模型，进而得到m个所述参考数据模型。
[0027]可选的，所述分组配置参数至少包括以下参数之一：表连接信息相同、度量列信息匹配、属于同一数据表。
[0028]可选的，所述基于每一组所述分组SQL语句对应的所述统计信息，确定对应的所述分组SQL语句对应的所述参考数据立方体，进而得到m个所述参考数据立方体，包括：
[0029]按照预设数据立方体构建参数对每一组所述分组SQL语句对应的所述统计信息进行统计，构建对应的所述分组SQL语句对应的所述参考数据立方体，进而得到m个所述参考数据立方体；其中，所述预设数据立方体构建参数包括以下参数至少之一：预设聚合组、预设必须维度、预设联合维度和层级维度。
[0030]可选的，所述基于m组所述参考数据模型和所述参考数据立方体进行融合处理，得到n个目标数据立方体，包括：
[0031]若所述数据分析模式为全量模式，且从m个所述参考数据模型中确定得到n组属于包含关系的第一目标数据模型，获取每一组所述第一目标数据模型对应的所述参考数据立方体；
[0032]对每一组所述第一目标数据模型对应的所述参考数据立方体进行融合处理，得到对应的目标数据立方体，进而得到n个目标数据立方体。
[0033]可选的，所述方法还包括：
[0034]对每一组所述第一目标数据模型进行融合处理，得到对应的第二目标数据模型，进而得到n个所述第二目标数据模型；
[0035]存储n个所述第二目标数据模型和对应的n个所述目标数据立方体。
[0036]可选的，所述基于m组所述参考数据模型和所述参考数据立方体进行融合处理，得到n个目标数据立方体，包括：
[0037]若所述数据分析模式为增量模式，获取当前分析周期之前的p个历史分析周期对应的p组历史数据模型和历史数据立方体；其中，p为大于或等于1的正整数；
[0038]若从m个所述参考数据模型和p个历史数据模型中确定得到n组属于包含关系的第三目标数据模型，获取每一组所述第三目标数据模型对应的所述参考数据立方体；
[0039]对每一组所述第三目标数据模型对应的所述参考数据立方体进行融合处理，得到对应的目标数据立方体，进而得到n个目标数据立方体。
[0040]可选的，所述方法还包括：
[0041]对每一组所述第三目标数据模型进行融合处理，得到对应的第四目标数据模型，进而得到n个所述第四目标数据模型；
[0042]存储n个所述第四目标数据模型和对应的n个所述目标数据立方体。
[0043]第二方面，一种数据处理设备，所述设备包括：存储器、处理器和通信总线；其中：
[0044]所述存储器，用于存储可执行指令；
[0045]所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
[0046]所述处理器，用于执行所述存储器中存储的数据处理程序，实现如上述任一项所述的数据处理方法的步骤。
[0047]第三方方面，一种存储介质，所述存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上述任一项所述的数据处理方法的步骤。
[0048]本申请的实施例所提供的数据处理方法、设备和存储介质，通过确定数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：确定数据分析模式；基于所述数据分析模式，获取历史结构化查询语言SQL语句；按照预设时间粒度对所述历史SQL语句进行分组处理，得到m组分组SQL语句；其中，m为大于或等于1的正整数；确定每一组所述分组SQL语句对应的参考数据模型和参考数据立方体，得到m组所述参考数据模型和所述参考数据立方体；基于m组所述参考数据模型和所述参考数据立方体进行融合处理，得到n个目标数据立方体；其中，n为大于或等于1的正整数；确定推荐索引为n个所述目标数据立方体，并显示所述推荐索引。2.根据权利要求1所述的方法，其特征在于，所述基于所述数据分析模式，获取历史结构化查询语言SQL语句，包括：若所述数据分析模式为全量模式，获取当前时刻之前的全部历史时刻接收到的原始SQL语句；对所述原始SQL语句进行预处理，得到所述历史SQL语句；若所述数据分析模式为增量模式，确定当前分析周期内的SQL增量语句；对所述SQL增量语句进行预处理，得到所述历史SQL语句。3.根据权利要求1所述的方法，其特征在于，所述确定每一组所述分组SQL语句对应的参考数据模型和参考数据立方体，得到m组所述参考数据模型和所述参考数据立方体，包括：对每一组所述分组SQL语句中的每一SQL语句进行解析分析，得到每一组所述分组SQL语句对应的数据表和数据列的统计信息；基于每一组所述分组SQL语句对应的所述统计信息，确定对应的所述分组SQL语句对应的至少一个第一数据结构信息；基于至少一个所述第一数据结构信息，确定对应的所述分组SQL语句对应的所述参考数据模型，进而得到m个所述参考数据模型；基于每一组所述分组SQL语句对应的所述统计信息，确定对应的所述分组SQL语句对应的所述参考数据立方体，进而得到m个所述参考数据立方体。4.根据权利要求3所述的方法，其特征在于，所述基于至少一个所述第一数据结构信息，确定对应的所述分组SQL语句对应的所述参考数据模型，进而得到m个所述参考数据模型，包括：按照分组配置参数，对至少一个所述第一数据结构信息进行分组处理，得到至少一组第二数据结构信息；从至少一组所述第二数据结构信息中，获取与预设属性配置参数匹配的至少一个目标参数属性信息；基于至少一个所述目标参数属性信息，构建对应的所述分组SQL语句对应的所述参考数据模型，进而得到m个所述参考数据模型。5.根据权利要求4所述的方法，其特征在于，所述分组配置参数至少包括以下参数之一：表连接信息相同、度量列信息匹配、属于同一数据表。
6.根据权利要求3所述的方法，其特征在于，所述基于每一组所述分组SQL语句对应的所述统...

【专利技术属性】
技术研发人员：黄杰，姜婧妍，张雪岩，位凯志，古亮，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：