一种考虑网络负载的分布式电力用电信息数据采集系统技术方案

本发明专利技术提供了一种考虑网络负载的分布式电力用电信息数据采集系统，包括：S1：基于异步事件驱动网络模型构建通信服务；S2：基于分布式协调组件zookeeper构建分布式采集集群；S3：设计考虑供需平衡的分布式负载管理模型；S4：引入分布式消息中间件kafka处理剧增的业务数据。本发明专利技术利用EPOLL设计基于通信频次的读写缓冲区的异步数据处理策略，可以更加有效的利用服务器资源；弹性扩招的采集服务集群避免了采集服务的单点故障，可以随着设备的接入量在不停机的情况下弹性伸缩，极大的提高了采集服务的可靠性；基于图论构建供需平衡的分布式负载模型，考虑各个节点的资源限制，极大的提高了数据在分布式节点中的传输效率。了数据在分布式节点中的传输效率。了数据在分布式节点中的传输效率。

【技术实现步骤摘要】
一种考虑网络负载的分布式电力用电信息数据采集系统


[0001]本专利技术涉及电力计量自动化和用电信息采集领域，具体为一种考虑网络负载的分布式电力用电信息数据采集系统。

技术介绍

[0002]电力信息采集系统的全面上线，电力数据的采集彻底告别了手工抄表的时代，电信息采集系统的远程自动抄表方式极大的提升了抄表效率，近年来，随着远程抄表方式的优化和能源互联网建设的持续推进，电力采集系统的新兴业务不断涌现，例如电力设备负荷识别、电力现货交易等，采集系统接入了更多类型和数量的设备，采集频度大幅提高，采集数据量越来越庞大，呈爆发式增长。现有的采集系统在面对海量设备的接入，海量数据的采集的需求时，存在着明显的性能瓶颈，只能增加服务器部署服务来满足海量设备的接入，不能充分运用现有服务器资源，严重增加了系统部署成本。

技术实现思路

[0003]本专利技术的目的在于提供一种考虑网络负载的分布式电力用电信息数据采集系统，主要解决的是用电信息采集系统中，面对海量设备接入和高频采集需求，现有前置机存在技术瓶颈，无法满足新兴业务的开展的问题。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种考虑网络负载的分布式电力用电信息数据采集系统，其特征在于：包括以下步骤：S1：基于异步事件驱动网络模型构建通信服务；S2：基于分布式协调组件zookeeper构建分布式采集集群；S3：设计考虑供需平衡的分布式负载管理模型；S4：引入分布式消息中间件kafka处理剧增的业务数据。2.根据权利要求1所述的一种考虑网络负载的分布式电力用电信息数据采集系统，其特征在于：S1具体包括：S1.1：借助EPOLL的I/O多路复用模型基于通讯频次构建高并发的网络通讯模型；借助于EPOLL的事件通知机制，实时检测到网络通道上的读写就绪事件，根据相应的读写就绪事件，基于每个设备与通讯服务之间建立的网络连接上的通讯频次，对每一个设备维护一个数据写缓冲区和数据读缓冲区，其中读写缓冲区均具有一个回调函数，回调函数用来真正处理缓冲区中的数据，回调函数的应用，使主线程和上下行数据的处理过程剥离，使主线程专注于对读写缓冲的轮询判断，每个设备的数据由异步的回调函数处理，将需要下发的数据打包发送到网络通道或者将上行的数据发送到数据解析模块处理，业务处理线程按照通讯频次从大到小依次轮询处理每个设备对应缓冲区的数据；某个设备有数据需要下发时，将设备下行数据消息和当前时间写入设备对应的数据写缓冲区，当收到设备上行的数据后，收到EPOLL通知的读就绪事件后，从网络中读取数据，将设备上行数据消息和当前时间写入设备对应的数据读缓冲区；业务处理线程以轮询的方式处理设备数据读写缓冲区，每次处理数据前对读写缓冲区按照通讯频次进行排序，每次轮询处理缓冲区中前1万个设备的数据，触发数据读写缓冲区对应的回调函数，对上行或下行数据进行真正的处理，并对读写缓冲区中通讯频次较低的设备的数据未处理时长是否达到一定的阈值，当达到一定的阈值时，触发数据读写缓冲区对应的回调函数，对上行或下行数据进行真正的处理；在处理数据读写缓冲区时，当某个设备有多条消息需要处理时，将多条消息打包成一个请求；S1.2：通信服务使用主从Reactor多线程模型，一组线程池接收请求，一组线程池处理 I/O；通信服务端用于接收设备连接的不再是一个单独的I/O线程，而是一个独立的I/O线程池；监听线程组接收到设备网络连接的请求并处理完成后，将新创建的网络连接并注册到I/O线程池的某个I/O线程上，由它负责跟设备的网络连接的读写和数据的处理工作；监听线程组仅仅用于设备的登录、握手和安全认证，一旦链路建立成功，就将链路注册到I/O线程池的I/O线程上，由I/O线程负责后续的I/O操作；如果有数据需要下发到设备，由业务处理线程处理将需要下发的数据发送到I/O线程池对应的I/O通道上进行下发，如果设备有上行数据需要处理，则由I/O通道将数据发送给业务处理线程进行处理；S1.3：对网络I/O操作进行异步处理；通讯服务使用Future模式达到异步调用，在调用者提交任务后被调用者直接返回一个Future凭据，调用者在未来某个时间点根据Future凭据检查对应的调用是否返回结果，让原来需要同步等待的这段时间用来做其他的事情。3.根据权利要求1所述的一种考虑网络负载的分布式电力用电信息数据采集系统，其
特征在于：S2具体包括：基于ZooKeeper中事件监听器、异步通知和文件目录结构，构建弹性扩展的分布式采集集群；其中步骤如下：S2.1：在Zookeeper里面创建名为cluster的永久节点，表示是整个采集服务集群的根节点；S2.2：每一个采集服务节点启动时，在cluster的节点下创建自己的临时节点，并将自己的节点编号写入节点消息体中，表示此服务节点处于活跃状态；临时节点有个重要的特性，当创建此类节点的客户端与Zookeeper服务器的连接关闭时，此节点自动删除，利用此特性来感知采集服务节点的上下线；S2.3：每个采集服务向ZooKeeper中的cluster节点注册监听器，监听cluster节点下节点的新增和删除事件；S2.4：当采集服务监听到cluster节点下...

【专利技术属性】
技术研发人员：卢婕，刘向向，严勤，范志夫，胡志强，俞林刚，冯颖，田静，刘波，曾子厦，伍栋文，晏依，
申请(专利权)人：国网江西省电力有限公司供电服务管理中心，
类型：发明
国别省市：