一种电厂数据处理方法、系统及存储介质技术方案

本发明专利技术公开了一种电厂数据处理方法，包括：采集电厂各类数据信息；针对电厂的各类数据信息建立标准的数据模型；根据所需数据将数据对象和数据模型进行关联，计算出该对象关联的模型数据。本方法采用了统一标准的数据模型，大幅减小了重复设计，提高了模型的复用性，扩展性强，并且采用了SPARK框架进行分布式计算，大幅提高了计算效率。

【技术实现步骤摘要】
一种电厂数据处理方法、系统及存储介质
本专利技术属于电厂生产
，具体为一种电厂数据处理方法、系统及存储介质。
技术介绍
电厂的生产统计指标，可以帮助我们统计企业运行和发展方方面面的数据,这对于火电厂决策层的科学决策是非常具有参考价值的。对于火电厂来说常用的指标包括发电量，供电煤耗，厂用电率，锅炉效率，汽机效率，管道效率等日月年等时段的统计量。对于风电，则有发电量，上网电量，弃风电量，风机的八种状态以及其对应的发电量。对于水电则包括：机组发电量，综合厂用电量，发电利用小时，弃水损失电量，水量利用率，水轮机效率等指标的日月年等时段的统计量。随着电厂发电规模的扩大，业务的增加，会产生各种各样的统计指标。指标算法更加复杂，统计指标的增多，由此带来了一系列问题：指标配置复杂，复用率低，已配置好的指标，移植到其他系统，往往需要修改或者重新配置；扩展性差：增加计算指标，往往需要单独开发程序，造成计算程序冗余，难以统一管理；指标量的增多，统计引擎的统计计算需要耗费更多时间，难以满足对时效要求较高的的业务。目前针对以上问题，业界没有普遍统一的解决方案，但是最常见方案是为计算一个或多个简易指标，单独开发对应的统计计算程序。对于指标配置复杂，可移植性和复用率低的问题，通常做法是先手动编写好各个统计指标的计算算法，针对不同的需求然后再手动更改；针对指标扩展性差的问题，单独开发特定的程序来计算新增的指标。对于统计时效性低，耗时长的问题通常是通过多线程技术或者开多个进程方法来临时解决，或者使用Storm等计算框架等。
技术实现思路
本专利技术的目的在于提供一种电厂数据处理方法，能够提高电厂指标数据的复用率。为实现上述目的，本专利技术提供如下技术方案：第一方面，提供了一种电厂数据处理方法，包括：采集电厂各类数据信息；针对电厂的各类数据信息建立标准的数据模型；根据所需数据将数据对象和数据模型进行关联，计算出该对象关联的模型数据。结合第一方面，进一步的，所述标准的数据模型包括：白箱数据模型，具体为将数据模型的输入与输出映射关系保存在配置文件中；黑箱数据模型，具体为第三方计算模块。结合第一方面，进一步的，与数据对象关联的数据模型的计算采用Spark计算模型。结合第一方面，进一步的，各类数据标准的数据模型采用统一的数据接口。第二方面，提供了一种电厂数据处理系统，包括：采集模块：用于采集电厂各类数据信息；建模模块：用于针对电厂的各类数据信息建立标准的数据模型；计算模块：用于所需数据将数据对象和数据模型进行关联，计算出该对象关联的模型数据。第三方面，还提供了一种电厂数据处理系统，包括存储器和处理器；所述存储器用于存储指令；所述处理器用于根据所述指令进行操作以执行根据第一方面任一项所述方法的步骤。第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述方法的步骤。有益效果：本方法采用了统一标准的数据模型，大幅减小了重复设计，提高了模型的复用性，扩展性强，并且采用了SPARK框架进行分布式计算，大幅提高了计算效率。附图说明图1为本专利技术中的数据模型配置示意图；图2为本专利技术中选数据择模型的示意图；图3为本专利技术中数据模型计算的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1-图3所示，本专利技术提供了一种电厂数据处理方法，包括以下步骤：步骤一、采集电厂各类数据（指标数据）信息；对于火电而言，常用的指标包括发电量、供电煤耗、厂用电率、锅炉效率、汽机效率、管道效率等日月年等时段的统计量；对风电而言，常用的指标有上网电量、弃风电量、风机的八种状态以及其对应的发电量。对于水电而言，常用的指标有机组发电量、综合厂用电量、发电利用小时、弃水损失电量、水量利用率、水轮机效率等指标的日月年等时段的统计量。步骤二、针对电厂的各类数据信息建立标准的数据模型，具体为：针对步骤一中厂各类数据信息，如火电厂的发电量、供电煤耗、厂用电率、锅炉效率或者风电厂的上网电量、弃风电量、风机的八种状态以及水电厂的机组发电量、综合厂用电量、发电利用小时等各类指标数据分别建立标准通用的数据模型，这样，无论在什么地方用到某类数据指标，只需调用相应的模型计算即可，无需为每次需求单独设计，这些模型的建立方式主要有两种，白箱模型和黑箱模型。白箱模型：将模型的输入和输出的映射关系保存在配置文件中，程序在计算的时候先读取配置文件中的模型公式，按照配置的数据参数赋值后执行模型公式，将结果输出。建建立白箱模型的步骤为：1）标识出该模型的名称，即能给出能唯一标识该模型的名称；2）给出该模型依赖的模型名称，即找出该模型的输入参数为其他模型输出的模型；3）给出模型的输入参数；4）给出模型的输出参数；5）给出模型的计算参数列表，即通过一系列的参数来表达出模型的算法。黑箱模型：即采用第三方的计算模块，如图1所示，输入第三方的计算模型类型，输入对应的模型名，在模型计算时自动加载第三方的计算包进行计算。步骤三、根据所需数据将数据对象和数据模型进行关联，计算出该对象关联的模型数据。模型建立完毕后，每个数据对象（数据对象可以是一个水电、火电机组、一个风机等也可以是他们的上层组织，例如一个火电厂、风电场等）按照实际的需求选择相应的模型，将数据对象和数据模型关联起来，设置对应的统计时段参数，如图2所示。接下来，模型选择完成后，就需要计算不同数据对象下的模型，如图3所示。计算采用Spark框架，YARN-Cluster模式，利用YARN资源管理器来管理调度集群资源。过程如下：1.首先任务控制节点Driver创建一个SparkContext，由SparkContext根据读取的组织机构信息（包括统计开始和结束时间，模型名）向资源管理器（ClusterManager）进行资源的申请、任务的分配和监控等。2.根数据对象构建抽象弹性分布式数据集RDD，SparkContext根据构建的RDD的依赖关系构建有向无环图DAG任务集，并提交给底层的任务调度器（TaskScheduler）进行处理3.SparkContext会向资源管理器注册并申请运行Executor的资源，此处可设置并发计算度。4.每个Executor根据分配的任务，启动相应的线程对分配到的组织机构下的所有模型进行计算，并将计算结果按照统计时段写入关系库中对应的结果表。Spark框架是ApacheSpark是专为大规模数据处理而设计的快本文档来自技高网...

【技术保护点】
1.一种电厂数据处理方法，其特征在于，包括：/n采集电厂各类数据信息；/n针对电厂的各类数据信息建立标准的数据模型；/n根据所需数据将数据对象和数据模型进行关联，计算出该对象关联的模型数据。/n

【技术特征摘要】
1.一种电厂数据处理方法，其特征在于，包括：
采集电厂各类数据信息；
针对电厂的各类数据信息建立标准的数据模型；
根据所需数据将数据对象和数据模型进行关联，计算出该对象关联的模型数据。


2.根据权利要求1所述的一种电厂数据处理方法，其特征在于：所述标准的数据模型包括：
白箱数据模型，具体为将数据模型的输入与输出映射关系保存在配置文件中；
黑箱数据模型，具体为第三方计算模块。


3.根据权利要求1所述的一种电厂数据处理方法，其特征在于：与数据对象关联的数据模型的计算采用Spark计算模型。


4.根据权利要求1所述的一种电厂数据处理方法，其特征在于：各类...

【专利技术属性】
技术研发人员：刘广，宋坤，王永文，张飞，马驰源，王照阳，朱峰，朱辰泽，刘川，王腾，
申请(专利权)人：南京华盾电力信息安全测评有限公司，
类型：发明
国别省市：江苏;32