基于电力大数据的调度依赖计算方法技术

本发明专利技术公开了基于电力大数据的调度依赖计算方法，属于电力技术领域，包括以下步骤：步骤一：数据导入，将源数据导入HDFS中存储；步骤二：计算，对HDFS中的数据进行多次计算并将计算结果保存在HDFS中；步骤三：入库，将HDFS中每一次的计算数据单独入库postgres。本发明专利技术通过将不同的计算按照上下流的关系设计成了一个模型，每个节点都只负责自己该做的计算，能很清楚的看到整个程序中的业务关系，调度计算效率较高，在计算过程中，如果某个环节出错，能够精准的定位，具体到计算。

Calculation method of dispatching dependence based on power big data

【技术实现步骤摘要】
基于电力大数据的调度依赖计算方法
本专利技术涉及一种调度依赖计算方法，特别是涉及一种基于电力大数据的调度依赖计算方法，属于电力

技术介绍
在电力系统中涉及到大量的业务数据计算，如何对所有计算业务进行设计、管理、监控、应用是当前面临的问题，在实际业务中，假设我们需要对A，B，C，D进行数据计算，A，B，C，D有依赖关系，而如果我们将A，B，C，D放在同一个程序中，按顺序调用执行，如果程序出现问题，那就整个所有的计算可能都无法正常运行了，并且在程序出现问题的时候，不能直观的定位到错误的位置，导致在程序的执行效率方面较低，为此提出了一种基于电力大数据的调度依赖计算方法。
技术实现思路
本专利技术的主要目的是为了解决现有技术的不足而提供基于电力大数据的调度依赖计算方法。本专利技术的目的可以通过采用如下技术方案达到：基于电力大数据的调度依赖计算方法，包括以下步骤：步骤一：数据导入，将源数据导入HDFS中存储；步骤二：计算，对HDFS中的数据进行多次计算并将计算结果保存在HDFS中；步骤三：入库，将HDFS中每一次的计算数据单独标记入库postgres。优选的，步骤一中的导入的源数据为相应日期冻结后的数据。优选的，步骤二中的计算是对HDFS中的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压集抄终端抄表率。优选的，计算完成后再次存储在HDFS中，同时进行第一次入库postgres，对进行初步计算后的更新的HDFS中数据进行不同程序的计算，计算完成后将HDFS存储结果分别入库postgres。优选的，在步骤三中，对HDFS中每一次的计算数据单独入库postgres，并根据不同的计算程序分别做特殊标记。优选的，调度依赖Airflow并通过trigger_rule来设置上下游节点的运行规则，trigger_rule对应的参数如下：(1)All_success：上级依赖全部执行成功，执行下级；(2)All_failed：上级依赖全部执行失败，执行下级；(3)One_success：一个上级依赖执行成功，执行下级；(4)One_failed：一个上级依赖执行失败，执行下级；(5)All_done：上级依赖全部执行完毕，无论success或failed，执行下级；(6)None_failed：所有的上级依赖，没有failed及upstream_failed状态，执行下级；(7)none_skipped：上级处于skipped状态，执行下级；相互依赖的任务将会根据其上下游关系，按照配置的trigger_rule从上游向下游有序执行。优选的，在步骤二中，根据HDFS中的数据还依次计算运行电能表、计量点电量和分析对象电量，且三者呈依赖式关系。优选的，计算分析对象电量分别计算对象类别、计算组织机构、计算行业和计算终端。优选的，Airflow可通过配置文件和很多其他的第三方程序进行集成。优选的，Airflow自带的web监控服务，web提供一系列可对节点任务进行的操作，通过UI直接对每个节点进行重跑，并能同时进行上游或下游的批量操作。本专利技术的有益技术效果：按照本专利技术的基于电力大数据的调度依赖计算方法，调度依赖关系是用于构建有序业务流程的根本，只有正确构建任务依赖关系，才能保障业务数据有效、适时地产出，形成规范化的数据研发场景，在Airflow中，通过代码自动解析，设置节点依赖关系，通过上下游关系正常及运行状态来保障业务数据的顺序产出，通过串行，并行，将不同的计算按照上下流的关系设计成了一个模型，每个节点都只负责自己该做的计算，能很清楚的看到整个程序中的业务关系，调度计算效率较高，在计算过程中，如果某个环节出错，能够精准的定位，具体到计算；拓展性也大大的加强，在新增计算业务时，无需再去考虑与其他计算的耦合性，只需考虑上下游关系，确认其输入及输出即可，简单方便。附图说明图1为按照本专利技术的基于电力大数据的调度依赖计算方法的一优选实施例的系统流程示意图；图2为按照本专利技术的基于电力大数据的调度依赖计算方法的一优选实施例的计算任务依赖示意图。具体实施方式为使本领域技术人员更加清楚和明确本专利技术的技术方案，下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。如图1-图2所示，本实施例提供的基于电力大数据的调度依赖计算方法，包括以下步骤：步骤一：数据导入，将源数据导入HDFS中存储；步骤二：计算，对HDFS中的数据进行多次计算并将计算结果保存在HDFS中；步骤三：入库，将HDFS中每一次的计算数据单独标记入库postgres，调度依赖关系是用于构建有序业务流程的根本，只有正确构建任务依赖关系，才能保障业务数据有效、适时地产出，形成规范化的数据研发场景，在Airflow中，通过代码自动解析，设置节点依赖关系，通过上下游关系正常及运行状态来保障业务数据的顺序产出，通过串行，并行，将不同的计算按照上下流的关系设计成了一个模型，每个节点都只负责自己该做的计算，能很清楚的看到整个程序中的业务关系，调度计算效率较高，在计算过程中，如果某个环节出错，能够精准的定位，具体到计算；拓展性也大大的加强，在新增计算业务时，无需再去考虑与其他计算的耦合性，只需考虑上下游关系，确认其输入及输出即可，简单方便。在本实施例中，如图1所示，步骤一中的导入的源数据为相应日期冻结后的数据，步骤二中的计算是对HDFS中的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压集抄终端抄表率，计算完成后再次存储在HDFS中，同时进行第一次入库postgres，对进行初步计算后的更新的HDFS中数据进行不同程序的计算，计算完成后将HDFS存储结果分别入库postgres，在步骤二中，根据HDFS中的数据还依次计算运行电能表、计量点电量和分析对象电量，且三者呈依赖式关系，计算分析对象电量分别计算对象类别、计算组织机构、计算行业和计算终端，在步骤三中，对HDFS中每一次的计算数据单独入库postgres，并根据不同的计算程序分别做特殊标记，特殊标记避免在某个结果或者环节出错，能够精准的定位，具体到计算，以便及时查找和更正。在本实施例中，如图1和图2所示，调度依赖Airflow并通过trigger_rule来设置上下游节点的运行规则，trigger_rule对应的参数如下：(1)All_success：上级依赖全部执行成功，执行下级；(2)All_failed：上级依赖全部执行失败，执行下级；(3)One_success：一个上级依赖执行成功，执行下级；(4)One_failed：一个上级依赖执行失败，执行下级；(5)All_done：上级依赖全部执行完毕，无论success或failed，执行下级；(6)None_failed：所有的上级依赖，没有fai本文档来自技高网...

【技术保护点】
1.基于电力大数据的调度依赖计算方法，其特征在于，包括以下步骤：/n步骤一：数据导入，将源数据导入HDFS中存储；/n步骤二：计算，对HDFS中的数据进行多次计算并将计算结果保存在HDFS中；/n步骤三：入库，将HDFS中每一次的计算数据单独标记入库postgres。/n

【技术特征摘要】
1.基于电力大数据的调度依赖计算方法，其特征在于，包括以下步骤：
步骤一：数据导入，将源数据导入HDFS中存储；
步骤二：计算，对HDFS中的数据进行多次计算并将计算结果保存在HDFS中；
步骤三：入库，将HDFS中每一次的计算数据单独标记入库postgres。


2.如权利要求1所述的基于电力大数据的调度依赖计算方法，其特征在于，步骤一中的导入的源数据为相应日期冻结后的数据。


3.如权利要求1所述的基于电力大数据的调度依赖计算方法，其特征在于，步骤二中的计算是对HDFS中的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压集抄终端抄表率。


4.如权利要求3所述的基于电力大数据的调度依赖计算方法，其特征在于，计算完成后再次存储在HDFS中，同时进行第一次入库postgres，对进行初步计算后的更新的HDFS中数据进行不同程序的计算，计算完成后将HDFS存储结果分别入库postgres。


5.如权利要求1所述的基于电力大数据的调度依赖计算方法，其特征在于，在步骤三中，对HDFS中每一次的计算数据单独入库postgres，并根据不同的计算程序分别做特殊标记。


6.如权利要求1所述的基于电力大数据的调度依赖计算方法，其特征在于，调度依赖Airflow并通过trigger_rule来设置上下游节点的运行规则，trigger_rule对应的参数如下：
(1)All_success：上级依赖全部...

【专利技术属性】
技术研发人员：郑楷洪，肖勇，石少青，周密，钱斌，
申请(专利权)人：南方电网科学研究院有限责任公司，中国南方电网有限责任公司电网技术研究中心，
类型：发明
国别省市：广东;44