一种数据关联分析的方法、平台、电子设备及存储介质技术

本申请提供一种数据关联分析的方法、平台、电子设备及存储介质。由于对数据采用的聚合及索引能够得到与采用数据关联分析算法大致相同的结果，故通过将语法树中用于描述数据关联分析算法的节点替换成用于描述数据聚合索引的节点，那么在根据替换后的语法树执行时，便可以绕开执行数据关联分析算法而执行数据的聚合及索引。由于聚合及索引较于数据关联分析算法的计算量小很多，故以小计算量实时的计算并得到与采用数据关联分析算法大致相同的分析结果，从而实现在线实时的进行数据关联分析。

A data association analysis method, platform, electronic equipment and storage medium

【技术实现步骤摘要】
一种数据关联分析的方法、平台、电子设备及存储介质
本申请涉及计算机
，具体而言，涉及一种数据关联分析的方法、平台、电子设备及存储介质。
技术介绍
当前，随着技术的不断发展，设备性能的不断提升，大数据的数据分析技术已成熟，并且在各种场景都开始应用。在大数据的数据分析技术中，可以采用数据关联分析算法来对数据库中大量的数据进行关联分析，以确定出用户需要的且相互之间具备关联的数据。但是采用数据关联分析算法来进行关联分析的计算量很大，计算量大则会造成设备的性能瓶颈，导致其通常在离线状态下才能进行数据关联分析，而对于在线实时的数据关联分析，则无法实现。
技术实现思路
本申请实施例的目的在于提供一种数据关联分析的方法、平台、电子设备及存储介质，用以实现在线实时的进行数据关联分析。第一方面，本申请实施例提供了一种数据关联分析的方法，所述方法包括：接收客户端发送的数据关联分析请求；根据所述数据关联分析请求，生成用于描述数据关联分析的SQL语句；构建出所述SQL语句对应的语法树；将所述语法树中用于描述数据关联分析算法的节点替换成用于描述数据聚合索引的节点，获得替换后的语法树；利用所述替换后的语法树进行数据的聚合及索引，获得数据关联分析的结果，并将所述结果反馈给所述客户端。在本申请实施例中，由于对数据采用的聚合及索引能够得到与采用数据关联分析算法大致相同的结果，故通过将语法树中用于描述数据关联分析算法的节点替换成用于描述数据聚合索引的节点，那么在根据替换后的语法树执行时，便可以绕开执行数据关联分析算法而执行数据的聚合及索引。由于聚合及索引较于数据关联分析算法的计算量小很多，故以小计算量实时的计算并得到与采用数据关联分析算法大致相同的分析结果，从而实现在线实时的进行数据关联分析。结合第一方面，在第一种可能的实现方式中，将所述语法树中用于描述数据关联分析算法的节点替换成用于描述数据聚合索引的节点，获得替换后的语法树，包括：将所述语法树中用于描述所述算法的执行以及所述算法执行结果的推送的节点，替换成用于描述数据索引子句的执行以及数据聚合子句的执行的节点。在本申请实施例中，由于替换的是执行数据索引的子句以及数据聚合的子句，故利用替换后的语法树中的子句可以直接执行数据的聚合及索引，能够进一步提高数据的聚合及索引执行效率。结合第一方面，在第二种可能的实现方式中，将所述语法树中用于描述数据关联分析算法的节点替换成用于描述数据聚合索引的节点，获得替换后的语法树，包括：利用预设的分析替换规则分析所述语法树，确定出用于描述所述数据关联分析算法的节点；基于所述分析替换规则，将用于描述所述数据关联分析算法的节点替换成用于描述所述数据聚合索引的节点。在本申请实施例中，由于语法树是基于SQL语句构建，故利用SQL语句的预设语义分析能够准确的找到描述数据关联分析算法的节点。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述方法应用于数据分析平台，在基于所述分析替换规则，将用于描述所述数据关联分析算法的节点替换成用于描述所述数据聚合索引的节点之前，包括：将所述数据分析平台的预设接口的描述修改成与节点替换相关的描述；通过描述修改后的接口，将所述替换规则注入所述数据分析平台。在本申请实施例中，通过修改数据分析平台的预设接口的描述，能够确保替换规则正确的注入到数据分析平台中，从而确保描述数据关联分析算法的节点能够正确的被替换。结合第一方面，在第四种可能的实现方式中，构建出所述SQL语句对应的语法树，包括：利用预设的语法分析器将所述SQL语句拆解成多个SQL子语句，每个SQL子语句用于描述一个执行动作；根据所述多个SQL子语句，构建出所述语法树，其中，所述语法树中的每个节点基于对应的至少一个SQL子语句构建。在本申请实施例中，通过语法分析器准确的将SQL语句拆解，使得构建出的节点能够准确的描述数据关联分析算法。结合第一方面，在第五种可能的实现方式中，利用所述替换后的语法树进行数据的聚合及索引，获得数据关联分析的结果，并将所述结果反馈给所述客户端，包括：利用所述替换后的语法树，生成数据的聚合及索引的执行计划；通过执行所述执行计划而进行数据的聚合及索引，获得所述结果，并将所述结果反馈给所述客户端。在本申请实施例中，通过基于替换后的语法树生成数据的聚合及索引的执行计划，可便于数据的聚合及索引的执行。结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，通过执行所述执行计划而进行数据的聚合及索引，获得所述结果，包括：利用预设的任务执行优化策略优化所述执行计划，获得优化后的执行计划；通过执行所述优化后的执行计划而进行数据的聚合及索引，获得所述结果。在本申请实施例中，通过将执行计划优化以执行优化后的执行计划，能够进一步提高数据的聚合及索引的效率。第二方面，本申请实施例提供了一种数据关联分析平台，所述平台包括：数据收发模块，用于接收客户端发送的数据关联分析请求；数据分析模块，用于根据所述数据关联分析请求，生成用于描述数据关联分析的SQL语句；构建出所述SQL语句对应的语法树；将所述语法树中用于描述数据关联分析算法的节点替换成用于描述数据聚合索引的节点，获得替换后的语法树；利用所述替换后的语法树进行数据的聚合及索引，获得数据关联分析的结果；所述数据收发模块，还用于将所述结果反馈给所述客户端。结合第二方面，在第一种可能的实现方式中，所述数据分析模块，用于将所述语法树中用于描述所述算法的执行以及所述算法执行结果的推送的节点，替换成用于描述数据索引子句的执行以及数据聚合子句的执行的节点。结合第二方面，在第二种可能的实现方式中，所述数据分析模块，用于利用预设的分析替换规则分析所述语法树，确定出用于描述所述数据关联分析算法的节点；基于所述分析替换规则，将用于描述所述数据关联分析算法的节点替换成用于描述所述数据聚合索引的节点。结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述方法应用于数据分析平台，在基于预设的替换规则，在所述数据分析模块将用于描述所述数据关联分析算法的节点替换成用于描述所述数据聚合索引的节点之前，所述数据分析模块，还用于将所述数据分析平台的预设接口的描述修改成与节点替换相关的描述；所述数据收发模块，还用于通过描述修改后的接口，将所述替换规则注入所述数据分析平台。结合第二方面，在第四种可能的实现方式中，所述数据分析模块，用于利用预设的语法分析器将所述SQL语句拆解成多个SQL子语句，每个SQL子语句用于描述一个执行动作；根据所述多个SQL子语句，构建出所述语法树，其中，所述语法树中的每个节点基于对应的至少一个SQL子语句构建。结合第二方面，在第五种可能的实现方式中，所述数据分析模块，用于利用所述替换后的语法树，生成数据的聚合及索引的执行计划；通过执行所述执行计划而进行数据的本文档来自技高网...

【技术保护点】
1.一种数据关联分析的方法，其特征在于，所述方法包括：/n接收客户端发送的数据关联分析请求；/n根据所述数据关联分析请求，生成用于描述数据关联分析的SQL语句；/n构建出所述SQL语句对应的语法树；/n将所述语法树中用于描述数据关联分析算法的节点替换成用于描述数据聚合索引的节点，获得替换后的语法树；/n利用所述替换后的语法树进行数据的聚合及索引，获得数据关联分析的结果，并将所述结果反馈给所述客户端。/n

【技术特征摘要】
1.一种数据关联分析的方法，其特征在于，所述方法包括：
接收客户端发送的数据关联分析请求；
根据所述数据关联分析请求，生成用于描述数据关联分析的SQL语句；
构建出所述SQL语句对应的语法树；
将所述语法树中用于描述数据关联分析算法的节点替换成用于描述数据聚合索引的节点，获得替换后的语法树；
利用所述替换后的语法树进行数据的聚合及索引，获得数据关联分析的结果，并将所述结果反馈给所述客户端。


2.根据权利要求1所述的数据关联分析的方法，其特征在于，将所述语法树中用于描述数据关联分析算法的节点替换成用于描述数据聚合索引的节点，获得替换后的语法树，包括：
将所述语法树中用于描述所述算法的执行以及所述算法执行结果的推送的节点，替换成用于描述数据索引子句的执行以及数据聚合子句的执行的节点。


3.根据权利要求1所述的数据关联分析的方法，其特征在于，将所述语法树中用于描述数据关联分析算法的节点替换成用于描述数据聚合索引的节点，获得替换后的语法树，包括：
利用预设的分析替换规则分析所述语法树，确定出用于描述所述数据关联分析算法的节点；
基于所述分析替换规则，将用于描述所述数据关联分析算法的节点替换成用于描述所述数据聚合索引的节点。


4.根据权利要求3所述的数据关联分析的方法，其特征在于，所述方法应用于数据分析平台，在基于所述分析替换规则，将用于描述所述数据关联分析算法的节点替换成用于描述所述数据聚合索引的节点之前，包括：
将所述数据分析平台的预设接口的描述修改成与节点替换相关的描述；
通过描述修改后的接口，将所述替换规则注入所述数据分析平台。


5.根据权利要求1所述的数据关联分析的方法，其特征在于，构建出所述SQL语句对应的语法树，包括：
利用预设的语法分析器将所述SQL语句拆解成多个SQL子语句，每个SQL子语句用于描述一个执行动作；
根据所述多个SQL...

【专利技术属性】
技术研发人员：郭庆，李秋实，谢莹莹，于宏亮，
申请(专利权)人：中科曙光国际信息产业有限公司，
类型：发明
国别省市：山东;37