一种基于分布式消息队列进行海量数据交互的前置系统技术方案

一种基于分布式消息队列进行海量数据交互的前置系统，涉及一种前置系统。前置机原有系统数据接收发送缺乏统一的数据缓存机制，处理海量数据时会有处理能力的瓶颈。本发明专利技术包括用于对现场终端各种通信信道链路维护的通信网关集群、与通信网关集群相连的用于报文收发调度的前置机、与前置机相连的对数据进行队列处理的消息队列集群；消息队列集群与应用集群、数据层相连，消息队列集群在前置系统内部起到数据总线的作用，上下行数据先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。本技术方案解决海量数据的缓存难题和前置机系统处理能力的线性扩展问题，避免数据丢失，增强了前置机系统的负载均衡能力。

A pre system based on distributed message queuing for mass data interaction

A pre - system based on a distributed message queue for mass data interaction, which involves a pre - system. The original system data receiving and sending of the front machine lacks a unified data caching mechanism, and there will be a bottleneck in processing capacity when dealing with massive data. The invention includes a variety of communication channels for on-site terminal link maintenance communication gateway cluster, connected with the communication gateway cluster for sending and receiving packets scheduling processor, and the client is connected to the data message queue queue processing cluster; cluster, connected with the data layer and Message Queuing cluster, Message Queuing cluster to the data bus role in the pre system, uplink and downlink data into distributed message queue, each processing node according to its processing capacity from the message queue to obtain the corresponding number of data processing. This technology solution solves the massive data cache problem and the linear expansion problem of the front-end machine system processing capacity, avoiding data loss and enhancing the load balancing ability of the front end computer system.

【技术实现步骤摘要】
一种基于分布式消息队列进行海量数据交互的前置系统
本专利技术涉及一种前置系统，尤其指一种基于分布式消息队列进行海量数据交互的前置系统。
技术介绍
浙江省用电采集系统采集终端数量规模达到300多万，采集用户达到2500多万，每天主站、后台应用产生的下行请求数据和终端上行数据峰值会超过数亿条。前置机原有系统是被动接收如此庞大的下行请求数据，所以需要对每个节点程序内部进行队列最大值控制，为了避免内存溢出超过程序处理能力则只能有选择的丢弃；前置机原有系统接收上行海量数据到超过程序处理能力时，会采取本地文件缓存的方式来缓解并发处理压力，避免程序内存溢出和数据丢失。前置机原有系统数据接收发送缺乏统一的数据缓存机制，所以处理海量数据时会有处理能力的瓶颈，无法简单的通过增加处理节点的方式扩展处理能力。
技术实现思路
本专利技术要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于分布式消息队列进行海量数据交互的前置系统，以达到提高扩展处理能力的目的。为此，本专利技术采取以下技术方案。一种基于分布式消息队列进行海量数据交互的前置系统，其特征在于：包括用于对现场终端各种通信信道链路维护的通信网关集群、与通信网关集群相连的用于报文收发调度的前置机、与前置机相连的对数据进行队列处理的消息队列集群；所述的消息队列集群与应用集群、数据层相连，消息队列集群在前置系统内部起到数据总线的作用，上下行数据先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。作为对上述技术方案的进一步完善和补充，本专利技术还包括以下附加技术特征。所述的通信网关集群设有负载均衡器、与负载均衡器相连的多个通信网关。进一步的，所述的消息队列集群设有用于放置下行请求消息队列的下行请求消息队列模块、用于放置上行应答消息队列的上行应答消息队列模块、用于放置流数据消息队列的流数据消息队列模块、用于放置解析数据消息队列的解析数据消息队列模块。进一步的，所述的数据层包括云平台及云数据库。进一步的，所述的应用集群与数据层相连以获取数据，所述的应用集群包括web应用集群，统一数据接口平台；所述的统一数据接口平台设有：权限配置模块,用于针对需求进行审批，审批通过后为其配置接口认证账号，并配置数据访问权限，权限包括所能访问的数据类型、数据范围、数据频度；数据发布模型配置模块，用于配置数据发布模型并将模型告之需求方；数据发布模型是指接口服务端为需求方自动生成调用接口所需的入参模型，数据发布模型内容包含数据类型、数据时间、数据范围、数据频度、数据项信息；数据准备模块，用于依据需求方的数据需求抽取所需数据。本专利技术基于面向对象的思路，结合WebService技术，实现了采集数据按需定制的统一对外发布。其与传统的各业务系统间数据需求存在交叉，一对一方式的接口实现方法比对，存在如下优势：统一规范管理，无需重复开发众多接口，易维护；灵活性高，按需定制。可直接通过平台按客户端数据需求定制接口，大大节约开发所需人力、物力的投入；减轻采集系统的日常运行压力，可支撑频繁大量数据的发布，支撑时效性要求高的业务应用需求；对外发布的采集数据可控，数据安全性更高。进一步的，数据发布模型分为请求对象模型和返回对象模型，请求对象模型包括请求对象参数和请求对象数据内容，请求对象参数包括单位、台区、终端局号、户号、表计局号；请求对象数据内容包括开始时间、结束时间、数据频度和数据类型，其中数据类型包括表示电量、负荷、电压、电流；返回对象模型包括返回对象参数和返回对象数据内容，返回对象参数包括单位、台区、终端局号、户号、表计局号；返回对象数据内容包括数据时间、数据项。有益效果：本技术方案采用分布式消息队列，为互联网分布式海量数据缓存技术，前置机采用这种分布式消息队列，可以在内部起到数据总线的作用，无论上下行数据都先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。采用分布式消息队列解决了海量数据的缓存难题和前置机系统处理能力的线性扩展问题，避免了因为系统的处理能力造成的数据丢失，增强了前置机系统的负载均衡能力。附图说明图1是本专利技术原理图。具体实施方式以下结合说明书附图对本专利技术的技术方案做进一步的详细说明。如图1所示，本技术方案包括用于对现场终端各种通信信道链路维护的通信网关集群、与通信网关集群相连的用于报文收发调度的前置机、与前置机相连的对数据进行队列处理的消息队列集群；所述的消息队列集群与应用集群、数据层相连，消息队列集群在前置系统内部起到数据总线的作用，上下行数据先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。其中，所述的通信网关集群设有负载均衡器、与负载均衡器相连的多个通信网关、短信网关互备装置、230M网关互备装置及北斗卫星网关互备装置。所述的消息队列集群设有用于放置下行请求消息队列的下行请求消息队列模块、用于放置上行应答消息队列的上行应答消息队列模块、用于放置流数据消息队列的流数据消息队列模块、用于放置解析数据消息队列的解析数据消息队列模块。所述的数据层包括云平台及云数据库。所述的应用集群与数据层相连以获取数据。所述的应用集群包括web应用集群、统一数据接口平台、及对应的后台程序；为统一规范管理，降低开发众多接口的成本，易于维护；提高灵活性。所述的统一数据接口平台设有：权限配置模块,用于针对需求进行审批，审批通过后为其配置接口认证账号，并配置数据访问权限，权限包括所能访问的数据类型、数据范围、数据频度；数据发布模型配置模块，用于配置数据发布模型并将模型告之需求方；数据发布模型是指接口服务端为需求方自动生成调用接口所需的入参模型，数据发布模型内容包含数据类型、数据时间、数据范围、数据频度、数据项信息；数据准备模块，用于依据需求方的数据需求抽取所需数据。本专利技术基于面向对象的思路，结合WebService技术，实现了采集数据按需定制的统一对外发布。其与传统的各业务系统间数据需求存在交叉，一对一方式的接口实现方法比对，存在如下优势：统一规范管理，无需重复开发众多接口，易维护；灵活性高，按需定制。可直接通过平台按客户端数据需求定制接口，大大节约开发所需人力、物力的投入；减轻采集系统的日常运行压力，可支撑频繁大量数据的发布，支撑时效性要求高的业务应用需求；对外发布的采集数据可控，数据安全性更高。其中，数据发布模型分为请求对象模型和返回对象模型，请求对象模型包括请求对象参数和请求对象数据内容，请求对象参数包括单位、台区、终端局号、户号、表计局号；请求对象数据内容包括开始时间、结束时间、数据频度和数据类型，其中数据类型包括表示电量、负荷、电压、电流；返回对象模型包括返回对象参数和返回对象数据内容，返回对象参数包括单位、台区、终端局号、户号、表计局号；返回对象数据内容包括数据时间、数据项。统一数据接口平台的工作方法包括以下步骤：1、外部系统发起采集数据需求申请；2、权限配置。平台针对需求进行审批，审批通过后为其配置接口认证账号，并配置数据访问权限，权限包括所能访问的数据类型、数据范围、数据频度等；3、配置数据发布模型。数据发布模型是指接口服务端为需求方（客户端）自动生成调用接口所需的入参模型（模型内容包含本文档来自技高网...

【技术保护点】
一种基于分布式消息队列进行海量数据交互的前置系统，其特征在于：包括用于对现场终端各种通信信道链路维护的通信网关集群、与通信网关集群相连的用于报文收发调度的前置机、与前置机相连的对数据进行队列处理的消息队列集群；所述的消息队列集群与应用集群、数据层相连，消息队列集群在前置系统内部起到数据总线的作用，上下行数据先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。

【技术特征摘要】
1.一种基于分布式消息队列进行海量数据交互的前置系统，其特征在于：包括用于对现场终端各种通信信道链路维护的通信网关集群、与通信网关集群相连的用于报文收发调度的前置机、与前置机相连的对数据进行队列处理的消息队列集群；所述的消息队列集群与应用集群、数据层相连，消息队列集群在前置系统内部起到数据总线的作用，上下行数据先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。2.根据权利要求1所述的一种基于分布式消息队列进行海量数据交互的前置系统，其特征在于：所述的通信网关集群设有负载均衡器、与负载均衡器相连的多个通信网关。3.根据权利要求2所述的一种基于分布式消息队列进行海量数据交互的前置系统，其特征在于：所述的消息队列集群设有用于放置下行请求消息队列的下行请求消息队列模块、用于放置上行应答消息队列的上行应答消息队列模块、用于放置流数据消息队列的流数据消息队列模块、用于放置解析数据消息队列的解析数据消息队列模块。4.根据权利要求2所述的一种基于分布式消息队列进行海量数据交互的前置系统，其特征在于：所述的数据层包括云平台及云数据库。5.根据权利要求2所述的一种基于分布式消息队列进行...

【专利技术属性】
技术研发人员：裴旭斌，蒋鸿城，裘炜浩，蒋锦霞，方舟，杨杰，叶方彬，王明，
申请(专利权)人：国网浙江省电力公司，浙江华云信息科技有限公司，国家电网公司，
类型：发明
国别省市：浙江,33