【技术实现步骤摘要】
一种基于大数据平台的SQL交互式分析方法及系统
本专利技术涉及大数据处理
，尤其是指一种基于大数据平台的SQL交互式分析方法及系统。
技术介绍
SQL是一种简单易学并且具有极大的灵活性和强大功能的数据分析语言，它需要基于底层的数据库系统和查询执行引擎。随着数据量的逐渐加大，传统关系型数据库例如MYSQL、ORACLE等已经难以在查询、分析性能上满足需要。大数据集群环境对处理大规模数据有着很好的性能，SQL也在大数据环境下有很多的应用，如HIVE、IMPALA等的SQL引擎逐步出现。这些SQL引擎依托于大数据集群在分析大规模数据的性能上远超传统关系型数据库。在传统关系型数据库的SQL分析开发转入到大数据环境的SQL分析开发时会出现以下一些问题：首先是数据需要迁移到大数据环境之中，原有数据仍然存储在关系型数据库中，而迁移操作时SQL开发人员不熟悉不了解的。由于大数据底层存储方式和SQL引擎各有优劣，在不同场景会使用不同的数据存储和SQL引擎，这需要开发人员进行手动的切换。大多数的大数据环境的SQL执行引擎并...
【技术保护点】
1.一种基于大数据平台的SQL交互式分析方法，其特征是，包括以下步骤：/n步骤1，系统通过WEB页面配置传统关系型数据库数据源；/n步骤2，系统通过WEB页面选择关联步骤1所配置的传统关系型数据库数据源和目标数据实体类型，在大数据环境中创建与目标数据实体类型匹配的大数据实体，并保存创建的大数据实体信息；/n步骤3，系统通过WEB页面读取步骤1中传统关系型数据库数据源和步骤2中保存的大数据实体信息，配置从传统关系型数据库数据源同步数据至大数据环境中的大数据实体的同步数据任务，并执行该任务；/n步骤4，系统配置大数据实体信息SQL执行参数，然后相关人员通过WEB页面选择SQL执...
【技术特征摘要】
1.一种基于大数据平台的SQL交互式分析方法，其特征是，包括以下步骤：
步骤1，系统通过WEB页面配置传统关系型数据库数据源；
步骤2，系统通过WEB页面选择关联步骤1所配置的传统关系型数据库数据源和目标数据实体类型，在大数据环境中创建与目标数据实体类型匹配的大数据实体，并保存创建的大数据实体信息；
步骤3，系统通过WEB页面读取步骤1中传统关系型数据库数据源和步骤2中保存的大数据实体信息，配置从传统关系型数据库数据源同步数据至大数据环境中的大数据实体的同步数据任务，并执行该任务；
步骤4，系统配置大数据实体信息SQL执行参数，然后相关人员通过WEB页面选择SQL执行参数匹配的SQL执行引擎进行SQL开发；
步骤5，相关人员通过WEB页面进行SQL的交互式查询并进行SQL分析，获取分析结果。
2.根据权利要求1所述的一种基于大数据平台的SQL交互式分析方法，其特征是，还包括步骤6，系统通过分析结果对其他SQL分析结果进行验证，若验证通过，则将其他SQL分析保存为SQL任务，若验证不通过，则反馈至相关人员并将此次的分析结果和其他SQL分析结果进行比对。
3.根据权利要求2所述的一种基于大数据平台的SQL交互式分析方法，其特征是，相关人员设置SQL任务与步骤3中的同步数据任务按顺序依次执行，构成SQL分析链路。
4.根据权利要求2所述的一种基于大数据平台的SQL交互式分析方法，其特征是，系统对步骤6的过程进行多次循环执行，对所有SQL分析与其他至少两个SQL分析进行验证，对于单个SQL分析，若验证通过的概率大于设定的第一阈值，则将此SQL分析保存为SQL任务，若验证通过的概率小于设定的第二阈值，则将此SQL分析舍弃；若验证通过的概率大于等于设定的第二阈值且小于等于设定的第一阈值，则将此SQL分析作为待观察SQL分析。
...
【专利技术属性】
技术研发人员：郑斌，侯素颖，裘炜浩，陈麟红，叶盛，许小卉，袁婷，丁麒，杨世旺，章丽娜，蒋榆桐，俞蓉，金恩莲，王珒，林景，
申请(专利权)人：国网浙江省电力有限公司，国网浙江省电力有限公司杭州供电公司，国网浙江省电力有限公司营销服务中心，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。