基于大数据技术的智能电网全景数据分析方法技术

本发明专利技术公开了一种基于大数据技术的智能电网全景数据分析方法，它包括以下步骤：1)数据采集：采用分布式数据采集方式采集智能电网系统内的数据信息；2)数据记录：对采集的智能电网系统数据信息进行分类；3)即席检索及批量处理：采用关键字进行检索，并基于MapReduce技术对采集的数据信息进行并行批量计算；4)全景数据分析结果展示：全景数据分析结果采用多种方式对智能电网内各种数据信息进行全景展示。本发明专利技术不仅可以采取海量的数据，收集整个网络的数据，而且能够采用全景数据分析的技术将海量数据进行筛选、解析、分组、可视化展示，实时检测智能变电站中各智能设备的状态及信息。

Analysis method of smart grid panorama data based on big data technology

The invention discloses a method for analysis of panoramic data of smart grid based on big data technology, which comprises the following steps: 1) data acquisition: the acquisition of smart grid distributed data acquisition system's data information; 2) data recording: classification of smart grid system data acquisition; 3) and ad hoc retrieval batch processing: using keyword retrieval, and parallel batch computing data acquisition based on MapReduce technology; 4) data analysis results show: panoramic panoramic data analysis using a variety of methods of intelligence data and information grid for panoramic display. The invention not only can take massive data, collect the data of the whole network, but also with panoramic data analysis technology will show massive data screening, analysis, grouping, visualization, and state information of each intelligent device for real-time detection in intelligent substation.

【技术实现步骤摘要】

本专利技术涉及一种智能电网数据分析方法，具体地说是一种基于大数据技术的智能电网全景数据分析方法，属于智能电网数据分析

技术介绍
随着电网规模的不断扩大、大规模可再生间歇性能源的接入，电网面临着严峻的安全可靠性问题。传统电力系统安全可靠性分析技术具有采集点少、运算量大的特点，随着覆盖整个系统信息采集系统逐步完善，智能电网可以实时获取整个系统的全景数据，而基于全景数据的分析评估计算量非常大，容易造成“计算灾难”，几千阶的微分方程求解，无法满足实时性要求；另一方面，随着大规模分布式间歇能源的接入，由于分布式能源的不确定性难以预测等，很容易对大电网造成冲击，从而对系统的稳定性提出了更高的要求。智能变电站的数据采集分析都有一定的限制，不能够同时采集全站的信息，只能分层次来进行采集，而且采集到的GOOSE及SMV信息不能够实时的全景展示出来。全景数据分析方法包含全景数据记录、全景数据回放、全景数据展现过程中所采用的压缩算法、存储算法、数据记录、数据反演等技术细节,并分析了该方法的应用效果。全景数据平台统一建模技术，随着IEC61850技术的推广及广泛应用，智能变电站作为智能电网环节中智能节点，需要具有统一的信息模型和高度智能化的处理功能。大数据引领着新一波的技术革命,对大数据查询和分析的实用性和实效性对于人们能否及时获得决策信息非常重要,决定着大数据应用的成败.但产业界面对大数据常常显得束手无策.一是因为数据容量巨大,类型多样,数据分析工具面临性能瓶颈.另一原因在于,数据分析工具通常仅为IT人员熟练使用,缺少简单易用、让业务人员也能轻松上手实现自助自主分析即时获取商业洞察的工具.因此,大数据的全景数据方法将成为成为大数据时代的显学.对大数据进行分析以后,为了方便用户理解也需要有效的可视化技术,这其中交互式的展示和超大图的动态化展示值得重点关注。大数据的背景下，必须要考虑数据之间的关联性，一个单独的数据是没有太大意义的，故在大数据的基础上采取全景数据分析的技术，将采集到的数据放到一个框架下，这样才能够及时的发现问题。因此，利用大数据技术的全景数据分析方法是电力大数据分析面临的一项重要工作。智能变电站仍在不断发展中，智能装置(IED)之间会传输大量数据，通过人工进行分析以及检测比较难于实现，因此，迫切需要一种基于大数据技术的全景数据分析技术，这将会给智能变电站的数据采集分析工作带来极大的便利。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于大数据技术的智能电网全景数据分析方法，其不仅可以采取海量的数据，收集整个网络的数据，而且能够采用全景数据分析的技术将海量数据进行筛选、解析、分组、可视化展示，实时检测智能变电站中各智能设备的状态及信息。本专利技术解决其技术问题采取的技术方案是：基于大数据技术的智能电网全景数据分析方法，它包括以下步骤：1)数据采集：采用分布式数据采集方式采集智能电网系统内的数据信息；2)数据记录：对采集的智能电网系统数据信息进行分类；3)即席检索及批量处理：采用关键字进行检索，并基于MapReduce技术对采集的数据信息进行并行批量计算；4)全景数据分析结果展示：全景数据分析结果采用多种方式对智能电网内各种数据信息进行全景展示。进一步地，在批量处理过程中采用数据流式计算和实时计算相结合的方式对数据信息进行处理，通过计算模型对数据流进行实时计算分析，实时产生分析结果。进一步地，在数据采集过程中，实时监听智能电网系统内的数据变化信息，获取数据变化事件，根据数据报文格式进行分类压缩和记录处理，所述数据报文格式包括MMS、GOOSE和SMV报文。进一步地，在数据记录过程中，将记录文件进行分类，分为单数据信息索引文件和整数据文件两类，所述单数据信息索引文件记录单标示、单名称和单类型信息，所述整数据文件记录智能变电站内所有变化数据的单数据信息。进一步地，在数据记录过程中，定点定时生成数据信息索引文件，用以确保数据的一致性及安全性。进一步地，在即席检索及批量处理过程中，采用单标识或者时间作为关键字进行检索。进一步地，在批量处理过程中，首先指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数来对数据信息进行批量处理。进一步地，在全景数据分析结果展示过程中，将不同的数据信息解析，同一间隔的SMV、GOOSE、MMS信息进行统一分析，将其间的关联数据、信息进行智能分析，并通过高可视化界面采用曲线、表格和图形三种方式将全景数据分析结果进行全景展示。本专利技术的有益效果是：大数据技术的全景数据分析方法主要应用于智能电网。智能电网组网数据的采集以及分析，然后通过大数据采集技术收集网络交换机中的GOOSE以及SMV信息，再采用全景数据分析方法将采集到的GOOSE以及SMV信息展示出来。与现有技术相比，本专利技术具有以下特点：1)采集全站的海量数据，能够实时检测智能变电站内各IED的状态。2)全景数据的可视化展示将各个信息清晰的展示。3)监测智能变电站内的各智能保护的虚回路，能够为日常的运行监护带来便利，同时能够为事故分析提供依据。4)大数据的全景分析角度探讨智能电网信息分析、监控、调度技术，可促进大数据的全景数据分析技术在电力系统中广泛并深层次的应用。5)针对智能电网对数据时效性、准确性、全景性的严格要求，基于大数据的全景数据分析技术能够提供整个电力系统的全景视图和实时动态监控。同时实现了智能变电站的厂站端的接线图、电网模型和采集信息与调度主站的信息实时共享。附图说明图1为本专利技术的方法流程图；图2为本专利技术的数据采集示意图。具体实施方式为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本专利技术省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本专利技术。如图1所示，本专利技术的一种基于大数据技术的智能电网全景数据分析方法，它包括以下步骤：1)数据采集：采用分布式数据采集方式采集智能电网系统内的数据信息；2)数据记录：对采集的智能电网系统数据信息进行分类；3)即席检索及批量处理：采用关键字进行检索，并基于MapReduce技术对采集的数据信息进行并行批量计算；4)全景数据分析结果展示：全景数据分析结果采用多种方式对智能电网内各种数据信息进行全景展示。进一步地，在批量处理过程中采用数据流式计算和实时计算相结合的方式对数据信息进行处理，通过计算模型对数据流进行实时计算分析，实时产生分析结果。数据的实时计算注重对于数据的快速高效处理、计算和分析，其特点是计算过程数据不落地，所有数据在内存完成。进一步地，在数据采集过程中，实时监听智能电网系统内的数据变化信息，获取数据变化事件，根据数据报文格式进行分类压缩和记录处理，所述数据报文格式包括MMS、GOOSE和SMV报文。如图2所示，在数据采集过程中，采用分布式数据采集方式采集智能电网系统内的数据信息，如从监控本文档来自技高网...

【技术保护点】
基于大数据技术的智能电网全景数据分析方法，其特征是，包括以下步骤：1)数据采集：采用分布式数据采集方式采集智能电网系统内的数据信息；2)数据记录：对采集的智能电网系统数据信息进行分类；3)即席检索及批量处理：采用关键字进行检索，并基于MapReduce技术对采集的数据信息进行并行批量计算；4)全景数据分析结果展示：全景数据分析结果采用多种方式对智能电网内各种数据信息进行全景展示。

【技术特征摘要】
1.基于大数据技术的智能电网全景数据分析方法，其特征是，包括以下步骤：1)数据采集：采用分布式数据采集方式采集智能电网系统内的数据信息；2)数据记录：对采集的智能电网系统数据信息进行分类；3)即席检索及批量处理：采用关键字进行检索，并基于MapReduce技术对采集的数据信息进行并行批量计算；4)全景数据分析结果展示：全景数据分析结果采用多种方式对智能电网内各种数据信息进行全景展示。2.根据权利要求1所述的基于大数据技术的智能电网全景数据分析方法，其特征是，在批量处理过程中采用数据流式计算和实时计算相结合的方式对数据信息进行处理，通过计算模型对数据流进行实时计算分析，实时产生分析结果。3.根据权利要求2所述的基于大数据技术的智能电网全景数据分析方法，其特征是，在数据采集过程中，实时监听智能电网系统内的数据变化信息，获取数据变化事件，根据数据报文格式进行分类压缩和记录处理，所述数据报文格式包括MMS、GOOSE和SMV报文。4.根据权利要求3所述的基于大数据技术的智能电网全景数据分析方法，其特征是，在数据记录过程中，将记录文件进行分类，...

【专利技术属性】
技术研发人员：张向东，许磊，贾楠，王祥哲，郑超，孟洋洋，白树斌，魏佛送，张晓明，
申请(专利权)人：国网山东省电力公司济宁供电公司，国家电网公司，山东网聪信息科技有限公司，
类型：发明
国别省市：山东;37