【技术实现步骤摘要】
本专利技术涉及电力电子，具体涉及一种基于流式处理的数据算法管理的方法、系统、计算机设备及存储介质。
技术介绍
1、随着能源结构调整、产业结构升级和智慧城市建设，配电网运行管控从中压向低压延伸，随着分布式电源和柔性负荷等大规模接入，引起配电网中低压感知能力不足、传统数据处理方式无法支撑海量异构配网数据实时和高效的需求等诸多问题，因此亟需引入云计算、大数据等ict先进技术构建中低压一体化海量实时数据算法管理的方法，以提高中低压一体化数据融合水平，实现中低压数据综合监控，配电网系统全面感知。
技术实现思路
1、专利技术目的：为解决配电网中低压感知能力不足，传统数据处理方式无法满足配电网数据实时和高效性的需求的问题，本专利技术提出了一种基于流式处理的数据算法管理的方法、系统、计算机设备及存储介质，通过web端实现公式定义，流式计算服务解析公式集合实现计算结果，以满足用户不同统计场景的需求。
2、技术方案：一种基于流式处理的数据算法管理的方法，包括以下步骤：
3、构建数据算法集合；所述数据算法集合包括公式定义集合信息和操作数集合信息；
4、基于流式处理，周期性或触发式获取数据算法集合，并更新计算结果。
5、进一步的，所述公式定义集合信息包括：公式名称、公式表达式、计算周期和相关配置信息。
6、进一步的，所述操作数集合信息包括：操作数符号和操作数数值；所述操作数符号与存储有设备模型数据和量测数据的数据库唯一性绑定，所述操作数数据为设备
7、进一步的，基于流式处理，触发式获取数据算法集合，并更新计算结果，具体操作包括：
8、基于spark structured streaming流计算的数据处理框架，判断是否触发公式计算流程，若触发，则获取数据算法集合，并对数据算法集合中的操作数进行运算，得到计算结果，更新数据流中操作数所属公式的计算结果。
9、进一步的，所述判断是否触发公式计算流程，具体包括：
10、获取公式定义集合信息，将公式定义集合信息的索引方式转换为按操作数索引；
11、定义触发公式计算流程条件，基于触发公式计算流程条件，判断是否触发公式计算流程。
12、进一步的，基于流式处理，周期性获取数据算法集合，并更新计算结果，具体包括：
13、基于spark structured streaming流计算的数据处理框架，获取数据算法集合，对计算结果进行周期性统计。
14、本专利技术还公开了一种基于流式处理的数据算法管理的系统，包括：
15、前端web页面，用于构建数据算法集合；所述数据算法集合包括公式定义集合信息和操作数集合信息；后端数据处理，用于基于流式处理，周期性或触发式获取数据算法集合，并更新计算结果。
16、所述公式定义集合信息包括：公式名称、公式表达式、计算周期和相关配置信息；所述操作数集合信息包括：操作数符号和操作数数值；所述操作数符号与存储有设备模型数据和量测数据的数据库唯一性绑定，所述操作数数据为设备模型数据和量测域值。
17、进一步的，基于流式处理，触发式获取数据算法集合，并更新计算结果，具体操作包括：
18、基于spark structured streaming流计算的数据处理框架，获取公式定义集合信息，将公式定义集合信息的索引方式转换为按操作数索引；
19、定义触发公式计算流程条件，基于触发公式计算流程条件，判断是否触发公式计算流程，若触发，则获取数据算法集合，并对数据算法集合中的操作数进行运算，得到计算结果，更新数据流中操作数所属公式的计算结果。
20、本专利技术还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种基于流式处理的数据算法管理的方法的步骤。
21、本专利技术还公开了一种存储介质，所述存储介质存储有程序，所述程序被至少一个处理器执行时实现一种基于流式处理的数据算法管理的方法的步骤。
22、有益效果：本专利技术与现有技术相比，具有以下优点：
23、(1)本专利技术通过web端实现单一、批量公式定义，在多态多应用下，支持触发式、周期性计算，极大丰富了公式定义的灵活性、可用性，满足了用户在不同统计场景下的需求；
24、(2)本专利技术基于spark structured streaming流计算的数据处理框架设计，在处理和分析配电网海量实时数据的过程中，极大的提高了数据实时性、高效性。
本文档来自技高网...【技术保护点】
1.一种基于流式处理的数据算法管理的方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于流式处理的数据算法管理的方法，其特征在于：所述公式定义集合信息包括：公式名称、公式表达式、计算周期和相关配置信息。
3.根据权利要求1所述的一种基于流式处理的数据算法管理的方法，其特征在于：所述操作数集合信息包括：操作数符号和操作数数值；所述操作数符号与存储有设备模型数据和量测数据的数据库唯一性绑定，所述操作数数据为设备模型数据和量测域值。
4.根据权利要求1所述的一种基于流式处理的数据算法管理的方法，其特征在于：基于流式处理，触发式获取数据算法集合，并更新计算结果，具体操作包括：
5.根据权利要求4所述的一种基于流式处理的数据算法管理的方法，其特征在于：所述判断是否触发公式计算流程，具体包括：
6.根据权利要求1所述的一种基于流式处理的数据算法管理的方法，其特征在于：基于流式处理，周期性获取数据算法集合，并更新计算结果，具体包括：
7.一种基于流式处理的数据算法管理的系统，其特征在于：包括：
8
9.根据权利要求7所述的一种基于流式处理的数据算法管理的系统，其特征在于：基于流式处理，触发式获取数据算法集合，并更新计算结果，具体操作包括：
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6任意一项所述的一种基于流式处理的数据算法管理的方法的步骤。
11.一种存储介质，其特征在于，所述存储介质存储有程序，所述程序被至少一个处理器执行时实现权利要求1至6任意一项所述的一种基于流式处理的数据算法管理的方法的步骤。
...【技术特征摘要】
1.一种基于流式处理的数据算法管理的方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于流式处理的数据算法管理的方法，其特征在于：所述公式定义集合信息包括：公式名称、公式表达式、计算周期和相关配置信息。
3.根据权利要求1所述的一种基于流式处理的数据算法管理的方法，其特征在于：所述操作数集合信息包括：操作数符号和操作数数值；所述操作数符号与存储有设备模型数据和量测数据的数据库唯一性绑定，所述操作数数据为设备模型数据和量测域值。
4.根据权利要求1所述的一种基于流式处理的数据算法管理的方法，其特征在于：基于流式处理，触发式获取数据算法集合，并更新计算结果，具体操作包括：
5.根据权利要求4所述的一种基于流式处理的数据算法管理的方法，其特征在于：所述判断是否触发公式计算流程，具体包括：
6.根据权利要求1所述的一种基于流式处理的数据算法管理的方法，其特征在于：基于流式处理，周期性获取数据算法集合，并更新计算结果，具体包括：
7....
【专利技术属性】
技术研发人员：朱灏，于海平，郭王勇，杜红卫，韩韬，吴雪琼，张可新，匡雅琴，孙保华，冯荣强，陈益果，周琰，孙聪聪，罗达诗，黄汉远，黄晓铭，黄宸希，盛月茂，马锋，徐中原，周兆南，孔令伟，郭谦，陆潇晓，
申请(专利权)人：国电南瑞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。