一种基于多层模型迭代的大数据分析平台装置及方法制造方法及图纸

一种基于多层模型迭代的大数据分析平台装置及方法，包括包括依次连接的数据源获取装置、数据整合单元、时序数据存储器、计算单元、无线终端和数据服务终端，可以快速、高效、及时地处理海量实时数据，同时保证设备安全、稳定、高效地运行。

A Device and Method of Large Data Analysis Platform Based on Multilayer Model Iteration

A large data analysis platform device and method based on multi-layer model iteration, including sequentially connected data source acquisition device, data integration unit, sequential data memory, computing unit, wireless terminal and data service terminal, can process massive real-time data quickly, efficiently and timely, while ensuring the safe, stable and efficient operation of the equipment.

【技术实现步骤摘要】
一种基于多层模型迭代的大数据分析平台装置及方法
本专利技术涉及设备监测分析应用领域，具体涉及到一种基于多层模型迭代的大数据分析平台装置及方法。
技术介绍
随着计算机技术的飞速发展，各行业的数据急速增长，数据量变的越来越大，类型也越来越多，数据结构也趋于复杂化，传统的数据库不但各设备独立放置，并且需要较大的部署空间，存在不易部署、成本较高等缺点，不能满足用户的一般要求。时序数据是带时间标签的时间序列数据，其典型特点是产生频率快、严重依赖于采集时间、测点多信息量大。在电力行业中，为了保证设备安全、稳定、高效地运行，通常会对发电、变电等各类设备的运行状态进行实时监测，采集获得大量的时序数据可作为设备运行状态评估、设备运行故障预警、设备可靠性分析等高级应用的基础，因而，如何快速、高效、及时地处理海量实时数据，一直是电力、化工、石油、钢铁等重资产行业面临的一项重大课题。电力行业中历史业务数据收集和分析、实时或准实时数据的即时分析是电力行业中信息化建设过程中比较重要的内容，它需要一套完整、稳定、契合实际业务场景的大数据分析装置的解决方案，对设备故障预警等实时分析类业务场景提供稳定可靠的底层数据支撑。近年来，随着云计算、大数据、机器学习、数据挖掘等IT技术迅猛发展，分布式存储、高性能计算在理论研究和技术实践层面均获得了关键性突破，业界涌现出了一批以Hadoop为代表的大数据处理和应用解决方案。Hadoop是一个分布式系统基础架构，包括分布式文件系统HDFS(HadoopDistributedFileSystem)、分布式存储系统HBase、并行计算编程模型MapReduce等几个核心部分，它可以极大地简化大规模数据的处理过程，但它在功能完整性、运行稳定性方面存在一定的局限性，而基于Hadoop衍生的一些商用大数据平台又跟电力业务场景的实际需求存在偏差，因而，深度分析研究电力行业的业务需求，构建一种基于分布式时序数据服务的大数据分析装置，具有深远的意义和较强的利用价值。多层模型迭代计算是重资产行业中大数据多维度分析平台的重要应用，通过多层模型迭代计算，能够提高计算结果的精确度，对重资产行业中多维度的分析至关重要。然而，目前并没有专门针对大数据分析平台装置而设计的结合了分布式系统基础架构以及多层模型迭代计算方式的装置。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于多层模型迭代的大数据分析平台装置及方法，可以快速、高效、及时地处理海量实时数据，同时保证设备安全、稳定、高效地运行。本专利技术提供了一种基于多层模型迭代的大数据分析平台装置，包括依次连接的数据源获取装置、数据整合单元、时序数据存储器、计算单元、无线终端和数据服务终端，其中数据服务终端还分别与时序数据存储器、数据源获取装置和无线终端连接；数据源获取装置，用于获取设备监测数据和常规的设备数据，并发送至数据整合单元；数据整合单元，用于以接收来自数据源获取装置发送的设备监测数据和常规的设备数据，经过预处理后将结果发送给时序数据存储器；时序数据存储器，用于存储预处理后的数据和配置数据，并且将访问频度高、性能要求高的数据集中缓存到时序数据存储器中的内存器；计算单元，用于驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，其中计算单元包括多个子计算单元M，数据挖掘模型为N层，其中每一层分别包括M1，M2，…，MN个子计算单元，第N层的每2个子计算单元的输出结果作为第N-1层子计算单元的输入，不断地执行迭代计算，最终得出第1层的计算结果，计算结果在计算引擎的调度下，通过数据连接器，解析成不同的表现形式后回传时序数据存储器和/或数据服务端；数据服务端，包括数据服务端处理器、接口单元和显示装置，其中数据服务端处理器用于从时序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并且进行分析处理，将处理后的结果通过显示装置进行显示，同时通过接口单元将处理后的结果发送给无线终端；无线终端，用于接收来自数据服务端发送的处理后的结果，并且能够无线发送控制命令至数据服务端，数据服务端接收到控制命令后控制数据源获取装置，调整数据源获取装置的数据采集频率。进一步地，数据源获取装置包括监测传感器、监测数据存储器和设备数据存储器，其中监测数据存储器分别与监测传感器和数据整合单元连接，数据整合单元还连接设备数据存储器：监测传感器，用于实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数据存储器；监测数据存储器，用于将设备监测数据存储，并且以流式输出的方式，将设备监测数据输出至数据整合单元；设备数据存储器，用于存储常规的设备数据，并且以批量输出的方式，将常规的设备数据输出至数据整合单元；进一步地，数据连接器为关系型数据连接器、时序数据连接器和/或非结构化数据连接器。进一步地，所述迭代计算的中间结果采用Redis集群式缓存的形式存储。进一步地，还包括与数据整合单元连接的人工输入装置，用于在因安全要求实施了隔离措施或不支撑数据接入的情形下输入监测设备数据。进一步地，配置数据为描述设备监测数据和/或常规的设备数据的业务含义数据、存储结构数据和/或处理逻辑数据。进一步地，所述访问频度高、性能要求高的数据是指近期的监测数据、常规的设备数据，以及关注率较高的历史指标数据、模型元数据和预处理规则数据。进一步地，数据服务端处理后的结果为故障预警结果和/或负荷预测结果。进一步地，所述无线终端为笔记本电脑、平板电脑和/或手机。本专利技术还提供了一种基于多层模型迭代的大数据分析平台装置的大数据分析方法，依次包括如下步骤：(1)初始化，设置数据服务端的初始参数，根据设置好的初始参数控制监测传感器的采样周期为每秒6次，采样时间为1分钟，将1分钟内采样的数据求平均值A；(2)在同样的初始参数条件下，重复步骤(1)3次，分别求得3次的平均值B、C、D；(3)将平均值A、B、C、D求和后再求平均值P：A.如果则监测传感器性能稳定，进入步骤(4)；B.如果则监测传感器性能不稳定，则进入步骤(1)；(4)实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数据存储器后存储，以流式输出的方式，将设备监测数据输出至数据整合单元；(5)以批量接入的方式，通过预定义的调度计划自动获取设备数据存储器中的常规的设备数据，将设备监测数据和常规的设备数据以预处理规则进行数据的清洗、过滤、转换的预处理,并将预处理后的数据输出至时序数据存储器进行存储；(6)将近期的监测数据、常规的设备数据，以及关注率较高的历史指标数据、模型元数据和预处理规则数据集中缓存到时序数据存储器中的内存器；(7)通过计算单元驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，其中计算单元包括多个子计算单元M，数据挖掘模型为N层，其中每一层分别包括M1，M2，…，MN个子计算单元，第N层的每2个子计算单元的输出结果作为第N-1层子计算单元的输入，不断地执行迭代计算，最终得出第1层的计算结果，计算结果在计算引擎的调度下，通过数据连接器，解析成不同的表现形式后回传时序数据存储器和/或数据服务端本文档来自技高网...

【技术保护点】
1.一种利用基于多层模型迭代的大数据分析平台装置的大数据分析方法，其中大数据分析平台装置包括依次连接的数据源获取装置、数据整合单元、时序数据存储器、计算单元、无线终端和数据服务终端，其中数据服务终端还分别与时序数据存储器、数据源获取装置和无线终端连接，其特征在于：数据源获取装置，用于获取设备监测数据和常规的设备数据，并发送至数据整合单元；数据整合单元，用于以接收来自数据源获取装置发送的设备监测数据和常规的设备数据，经过预处理后将结果发送给时序数据存储器；时序数据存储器，用于存储预处理后的数据和配置数据，并且将访问频度高、性能要求高的数据集中缓存到时序数据存储器中的内存器；计算单元，用于驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，其中计算单元包括多个子计算单元M，数据挖掘模型为N层，其中每一层分别包括M1，M2，…，MN个子计算单元，第N层的每2个子计算单元的输出结果作为第N‑1层子计算单元的输入，不断地执行迭代计算，最终得出第1层的计算结果，计算结果在计算引擎的调度下，通过数据连接器，解析成不同的表现形式后回传时序数据存储器和/或数据服务端；数据服务端，包括数据服务端处理器、接口单元和显示装置，其中数据服务端处理器用于从时序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并且进行分析处理，将处理后的结果通过显示装置进行显示，同时通过接口单元将处理后的结果发送给无线终端；无线终端，用于接收来自数据服务端发送的处理后的结果，并且能够无线发送控制命令至数据服务端，数据服务端接收到控制命令后控制数据源获取装置，调整数据源获取装置的数据采集频率；数据源获取装置包括监测传感器、监测数据存储器和设备数据存储器，其中监测数据存储器分别与监测传感器和数据整合单元连接，数据整合单元还连接设备数据存储器：监测传感器，用于实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数据存储器；监测数据存储器，用于将设备监测数据存储，并且以流式输出的方式，将设备监测数据输出至数据整合单元；设备数据存储器，用于存储常规的设备数据，并且以批量输出的方式，将常规的设备数据输出至数据整合单元；其中分析方法具体依次包括如下步骤：(1)初始化，设置数据服务端的初始参数，根据设置好的初始参数控制监测传感器的采样周期为每秒6次，采样时间为1分钟，将1分钟内采样的数据求平均值A；(2)在同样的初始参数条件下，重复步骤(1)3次，分别求得3次的平均值B、C、D；(3)将平均值A、B、C、D求和后再求平均值P：A.如果...

【技术特征摘要】
1.一种利用基于多层模型迭代的大数据分析平台装置的大数据分析方法，其中大数据分析平台装置包括依次连接的数据源获取装置、数据整合单元、时序数据存储器、计算单元、无线终端和数据服务终端，其中数据服务终端还分别与时序数据存储器、数据源获取装置和无线终端连接，其特征在于：数据源获取装置，用于获取设备监测数据和常规的设备数据，并发送至数据整合单元；数据整合单元，用于以接收来自数据源获取装置发送的设备监测数据和常规的设备数据，经过预处理后将结果发送给时序数据存储器；时序数据存储器，用于存储预处理后的数据和配置数据，并且将访问频度高、性能要求高的数据集中缓存到时序数据存储器中的内存器；计算单元，用于驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，其中计算单元包括多个子计算单元M，数据挖掘模型为N层，其中每一层分别包括M1，M2，…，MN个子计算单元，第N层的每2个子计算单元的输出结果作为第N-1层子计算单元的输入，不断地执行迭代计算，最终得出第1层的计算结果，计算结果在计算引擎的调度下，通过数据连接器，解析成不同的表现形式后回传时序数据存储器和/或数据服务端；数据服务端，包括数据服务端处理器、接口单元和显示装置，其中数据服务端处理器用于从时序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并且进行分析处理，将处理后的结果通过显示装置进行显示，同时通过接口单元将处理后的结果发送给无线终端；无线终端，用于接收来自数据服务端发送的处理后的结果，并且能够无线发送控制命令至数据服务端，数据服务端接收到控制命令后控制数据源获取装置，调整数据源获取装置的数据采集频率；数据源获取装置包括监测传感器、监测数据存储器和设备数据存储器，其中监测数据存储器分别与监测传感器和数据整合单元连接，数据整合单元还连接设备数据存储器：监测传感器，用于实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数据存储器；监测数据存储器，用于将设备监测数据存储，并且以流式输出的方式，将设备监测数据输出至数据整合单元；设备数据存储器，用于存储常规的设备数据，并且以批量输出的方式，将常规的设备数据输出至数据整合单元；其中分析方法具体依次包括如下步骤：(1)初始化，设置数据服务端的初始参数，根据设置好的初始参数控制监测传...

【专利技术属性】
技术研发人员：丁书耕，邢宏伟，张建辉，王震，丛兴滋，刘涛，杨立涛，
申请(专利权)人：山东鲁能软件技术有限公司，
类型：发明
国别省市：山东,37