【技术实现步骤摘要】
一种数据查看引擎动态调用方法
[0001]本专利技术涉及数据加工
，具体为一种数据查看引擎动态调用方法。
技术介绍
[0002]在大数据场景下，通过数据挖掘建模从大量、繁杂的数据中挖掘出有价值的规律是常见且重要的工作。数据挖掘是人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程，数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示三个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含的规律找出来；规律表示是尽可能以用户可理解的方式将找出的规律表示出来，数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等，由于数据挖掘的工作不是一蹴而就的，用户需要经过大量的尝试，其中80%的工作都是在对大量的数据做清洗、加工、试建模等工作，在这一过程中，用户需要经常查看操作后生成的数据以了解工作的进展。然而由于用户查看数据的频率比较高，而...
【技术保护点】
【技术特征摘要】
1.一种数据查看引擎动态调用方法，其特征在于，包括具体步骤如下：S1，读取用作分析的数据表：用户通过一种编程语言，从数据源中读取要分析用的数据表；S2，建立不同的计算执行引擎来处理不同级别的数据量来进行预览和执行，预览为取部分数据进行执行，执行为取全部数据进行执行，用于预览的资源可为单机服务器配置，资源消耗较小支持用户并发数较大，全量数据执行为基于多服务器的Hadoop的分布式计算引擎，为服务器集群，资源消耗较大且并发用户较小，根据此配置初始化不同两级的执行引擎，为后续用户操作提供数据处理支持；S3，用户针对要进行的数据处理、数据探索、建模等操作选择查看结果的方式：用户使用编程语言，对数据进行加工处理，也就是进行各种行之间或列之间的操作，而在进行操作时，用户会面临如下三种操作场景：场景一：用户对数据做了处理，想查看数据处理的结果；场景二：用户数据生成了可视化图形、图表等，想查看可视化结果；场景三：用户使用数据挖掘算法应用全量数据进行建模；S4，针对三种用户场景，查看数据的需求其实是有差异的：针对场景一，用户查看数据的目的是确认操作结果是否正确且有效，在这种情况下，考虑到数据量非常大，用户只需要查看部分数据，也就是通过预览即可掌握操作的结果是否正确且有效；针对场景二，由于图形和报表的生成需要用到全量数据，因此这些操作需要用到全量数据才能实现；针对场景三，应用数据挖掘算法建模的过程需要用到全量数据，因此查看建模结果需要用到全量数据才能实现；S5，针对不同的用户场景调用S2提供的不同的计...
【专利技术属性】
技术研发人员：邹文景，孙刚，甘莹，唐良运，
申请(专利权)人：南方电网数字电网研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。