一种基于高速并发消息框架的流式数据处理的方法技术

一种基于高速并发消息框架的流式数据处理的方法，包括：确定处理流式数据的关系数据库PostgreSQL，并在该中，关系数据库PostgreSQL通过SQL语句创建流式数据扩展模块；数据生产者针对流式数据Stream启用多个工作进程，并将数据插入到流失数据Stream中，并将流式数据随机发送到一个工作进程中；数据接收者通过基于ZeroMQ的API接口接收多个工作进程，并对应的将数据生产者发送来的数据发送到对应的队列里面，工作进程能够在对应的进程间通信获取数据；数据接收者对接收到的流式数据聚合操作生成流视图。聚合操作生成流视图。聚合操作生成流视图。

【技术实现步骤摘要】
一种基于高速并发消息框架的流式数据处理的方法


[0001]本专利技术涉及电力系统的信息技术处理领域，具体涉及基于高速并发消息框架的流式数据处理的方法。

技术介绍

[0002]电力系统是国家运行的基础，是现代生活无法缺失的一部分；一旦电力系统由任何问题，都会对整个社会的生产生活造成巨大的影响。一旦电力系统发生任何故障，人类社会将会彻底进入黑暗状态，所以保持电力通常是政府最应该首先解决的问题。近年来，随着我国智能电网高速建设，对整个电力系统的自动化要求也越来越高。
[0003]随着物联网(IoT)设备广泛的运用，流式数据出现在越来越多的场景，比如交通实时监测和追踪、水文监测、物流动态、网络协议层流量分析、FEED实时分析，金融数据实时处理等。通常这些数据需要进行实时、高速、高吞吐计算，现有数据库无法满足以上要求。

技术实现思路

[0004]本申请提供了一种基于高速并发消息框架的流式数据处理的方法，典型的可以应用在高速高吞吐的流式数据处理
以提高数据处理的实时性。
[0005]为了达到上述目的，本申请实施例提出了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高速并发消息框架的流式数据处理的方法，其特征在于，包括：确定处理流式数据的关系数据库PostgreSQL，并在该中，关系数据库PostgreSQL通过SQL语句创建流式数据扩展模块；数据生产者针对流式数据Stream启用多个工作进程，并将数据插入到流失数据Stream中，并将流式数据随机发送到一个工作进程中；数据接收者通过基于ZeroMQ的API接口接收多个工作进程，并对应的将数据生产者发送来的数据发送到对应的队列里面，工作进程能够在对应的进程间通信获取数据；数据接收者对接收到的流式数据，按照指定的时间间隔进行高吞吐数据聚合操作，并将聚合后的数据持久化到数据库的流视图中；其中该流视图为一张物化视图表；使用SQL语言持续查询流式数据统计聚合结果，或将接收的流式数据进行实时转换后，存储到外部存储中或作为另一个流式数据处理的输入。2.根据权利要求1所述的方法，所述方法还包括：在进行聚合前，在每条数据都打上当前时间戳标签，以支持对流式数据滑动窗口查询；其中滑动窗口与所述PostgreSQL数据库内置的聚合函数关联以实现滑动聚合。3.根据权利要求1所述的方法，所述方法还包括：基于触...

【专利技术属性】
技术研发人员：裴振军，钟金柱，王伟，
申请(专利权)人：北京许继电气有限公司，
类型：发明
国别省市：