一种支持自定义函数的电网运行数据分布式统计方法及系统技术方案

本发明专利技术公开一种支持自定义函数的电网运行数据分布式统计方法及系统，根据数据统计业务规则开发对应的UDF自定义函数；初始化SQL模板、UDF函数等配置信息；通过任务调度中心前端注册统计任务相关信息；调度中心根据统计任务的Cron配置按时触发任务调度，并通过RPC方式向执行器发送调度请求；执行器接收并解析任务参数，根据表名信息给HBase量测表创建对应的Hive映射表；执行器根据任务参数信息动态生成SQL统计语句、完成系统变量设置、创建统计结果表，然后把SQL统计语句提交给Yarn资源管理框架来执行对应的统计任务；数据统计结果写入HBase结果表。本发明专利技术解决了现有的基于Kettle的数据统计系统存在的RDB数据库卡死、统计任务执行过慢、数据操作算子不易扩展等痛点问题。题。题。

【技术实现步骤摘要】
一种支持自定义函数的电网运行数据分布式统计方法及系统


[0001]本专利技术属于大数据
，具体是一种支持自定义函数的电网运行数据分布式统计方法及系统。

技术介绍

[0002]在企业级大数据平台系统中，普遍存在着大量业务相关的需要进行数据统计分析的各种业务需求。这些业务的特点是需要按照一定的业务规则，对数据进行聚合、累加、求极值以及极值对应的时间等统计分析操作。例如电网领域统计容器和设备的特征值，包括最大值、最小值、最大值时间、最小值时间、平均值、积分电量等指标。对于上述业务场景，目前业界存在一系列的解决方案，比如Kettle、Informatica等大数据ETL处理工具，这些数据处理工具具有良好的扩展性，提供了用户友好的GUI操作界面，支持多种数据源类型，是企业级大数据平台数据分析处理的常用选择。
[0003]其中，Kettle是一个可视化编程ETL工具，该数据处理工具操作简单、使用方便，是目前比较流行的开源ETL工具。Kettle在数据处理方面已经实现的特性有：可以编写Transformation脚本，完成对数据的基础转换；可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，包括以下步骤：S1，根据电网运行数据统计业务的功能需求，开发对应的UDF函数；S2，初始化各种业务类型对应的SQL模板和UDF函数创建语句；S3，通过任务调度中心前端界面来完成统计任务信息的注册；S4，调度中心根据任务的Cron配置信息按时触发任务调度，并通过RPC方式向执行器发起任务调度请求；S5，执行器接收并解析任务参数，根据表名信息给HBase量测表创建对应的Hive映射表；S6，执行器根据任务参数动态生成统计任务对应的统计SQL语句，执行 UDF函数创建语句，然后把统计SQL语句提交给Yarn资源调度框架来执行统计任务；S7，电网运行数据统计结果写入HBase结果表；S8，执行器完成数据统计任务，并返回运行结果。2.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述根据运行数据统计业务的具体需求，判断现有数据仓库的内置函数是否满足数据统计业务需求，如果不满足，则需要根据统计业务逻辑，开发对应的UDF函数，来满足统计业务需求。3.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述初始化各种业务类型对应的配置信息还包括：数据统计任务对应的统计结果表创建SQL模板。4.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述任务信息包括数据统计的表名、业务类型、任务类型和任务参数。5.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述任务调度中心与执行器之间通过RPC的方式来实现任务参数信息的传递以及任务执行函数的调用。6.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述任务调度中心使用分片广播的路由策略来实现数据统计任务的分布式协同执...

【专利技术属性】
技术研发人员：陈佳佳，张珂珩，季学纯，李昊，刘琪，闫妮，陈子韵，李昂儒，
申请(专利权)人：南瑞集团有限公司国电南瑞南京控制系统有限公司，
类型：发明
国别省市：