【技术实现步骤摘要】
基于三维场景的电力大数据快速可视化分析方法及系统
[0001]本专利技术涉及大数据分析
，具体为基于三维场景的电力大数据快速可视化分析方法及系统。
技术介绍
[0002]大数据是近年来兴起的新学科，在该领域的研究起步不久，在电力大数据可视化分析领域更是没有较为深入的研究和已成熟的应用。
[0003]将快速数据分析方法与快速场景绘制方法应用到电力大数据中，需要一个一体化的、专用于电力系统的平台。目前已存在的大数据应用系统尚无针对电力系统专门设计的架构，已存在的国家电网业务系统尚无针对大数据专门设计的应用，这使得各种数据与业务相互分离，用户无法在统一的平台进行可视化分析工作。在不同平台上分别处理不同的数据、然后设法综合到可视化分析系统这种模式不仅为用户带来诸多不便，更无法在数据挖掘过程中得到多种数据间的相关性并直观展现。
技术实现思路
[0004]针对现有技术的不足，本专利技术提供了基于三维场景的电力大数据快速可视化分析方法及系统，提出为电力大数据可视化分析设计一种一体化的模型，将大数据生态系统与可...
【技术保护点】
【技术特征摘要】
1.基于三维场景的电力大数据快速可视化分析方法，其特征在于：可视化分析方法的处理流程如下：步骤一：采集数据，序列化到大数据文件系统HDFS中，并同时持久化到数据库HBase；步骤二：决定采用何种方案对数据进行挖掘与分析，采用相应的智能算法；步骤三：将输出的结果集映射到可视化模块成为图形信息，可视化引擎将结果集与场景集成，以三维空间场可视化的形式输出给用户。2.基于三维场景的电力大数据快速可视化分析系统，其特征在于：所述可视化分析系统具有如下功能模块，分别是：(1)业务模块：提供高层抽象接口，实现用户层的业务需求；(2)可视化引擎：作为模型的核心子系统，应当实现数据与场景的集成方法，并实现大规模三维场景的快速渲染以达到实际应用的需求；(3)计算模块：用于实施各种智能算法，完成数据挖掘工作；(4)控制模块：用于完成大数据作业调度功能，实现合理的负载均衡控制；(5)存储模块：用于存储数据，需要实现大数据文件系统和数据库系统。3.根据权利要求2所述的基于三维场景的电力大数据快速可视化分析系统，其特征在于：所述将可能产生的业务结合以上模块对系统进行分层，分别为接口层、引擎层、计算层、控制层和持久化层；(1)持久化层采用Hadoop文件系统HDFS和数据库系统HBase，用于存储所有类型的数据，包括场景数据、数值数据以及实际运行中产生的日志数据等；(2)控制层采用Hadoop任务调度模块ZooKeeper和芯片级并行技术MPI分别用于控制不同类型的计算任务，ZooKeeper用于控制数据密集型计算模式STORM，MPI用于控制计算密集型计算模式CUDA。这些控制模块完成任务调度、低层次的负载均衡和简单的容错处理；(3)计算层对计算任务分类，不以图形计算和数据计算区分，而是根据计算特点分为数据密集型和计算密集型，采用这种分类方法的目的是为了尽可能提高计算效率，针对两种类型的计算任务分别采用与之相适应的并行计算模式，对于待计算的数据，凡是数据密集型的计都分配到STORM模块执行；凡是计算密集型的计算都分配到CUDA模块执行；(4)引擎层引擎是模型中的核心子系统，该模块实现一个快速渲染引擎，针对大数据环境下的大规模三维场景设计若干优化算法和策略，保证场景的实时渲染效率能够达到实际应用需求，大规模场景的实时渲染问题一直是研究的热点，本文针对此问题分别提出两种方法用于加速渲染：其一是基于八叉树的可见性剔除方法，其二是基于权重函数LOD的多分辨率绘制方法，这两种方法将在后续章节详细介绍算法与实施过程，并通过实验验证其效率。(5)接口层接口层作为高层抽象，需要对用户直接进行的操作定义一系列接口，这些接口应当包括对场景的操作和对数据的操作，以及其它操作，如场景导入、数据导入、数据分析、日志导出等，这些接口同时应当预留字段，指明所请求任务的计算类型是属于数据密集型还是属
于计算密集型；对于不需要并行计算的任务，该字段应设为NULL，避免不必要的任务调度和节点间通信时间损耗。4.根据权利要求3所述的基于三维场景的电力大数据快速可视化分析系统，其特征在于：在接口层收到计算任务请求时，对于数据密集型计算任务，应当考虑将数据量的并行度最大化，因此采用分布式实时计...
【专利技术属性】
技术研发人员：高菘，姚明亮，张龙浩，付恩狄，莫理，梁宇柔，刘永辉，李德华，胡道平，陈远政，
申请(专利权)人：南方电网调峰调频发电有限公司西部检修试验分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。