实现电力分布式系统间数据路由处理的方法及存储介质技术方案

本发明专利技术公开了一种实现电力分布式系统间数据路由处理的方法及存储介质，包括API网关接收数据、数据路由器分发数据、数据清洗器清洗数据及削峰填谷数据处理等步骤，通过“数据路由器”实现数据的组网，使得分布式部署的业务系统间的数据流转如同在一个系统间进行流转，数据的路由流转逻辑和业务逻辑进行分离，有效了保证了业务系统的稳定运行。本发明专利技术实现了将数据流转、转换的策略从应用系统的应用逻辑代码中分离出来，可以把复杂、冗余的业务规则同整个支撑的业务系统分离开，做到架构、构件的可复用。本发明专利技术通过异步处理、数据分流、解耦合、削峰填谷可以适应海量的数据请求和处理，解决了在高峰期要处理大量流转数据发生性能下降和宕机等问题。能下降和宕机等问题。能下降和宕机等问题。

【技术实现步骤摘要】
实现电力分布式系统间数据路由处理的方法及存储介质


[0001]本专利技术涉及一种实现电力分布式系统间数据路由处理的方法及存储介质，尤其是一种将在电力企业分布式部署的系统间实现将大量的数据通过一系列的操作和规则准确地将数据在各个系统之间进行流转和处理、帮助电力企业提高数据处理的效率的方法及存储介质。

技术介绍

[0002]在电力企业信息系统建设中，各业务信息系统由不同的单位采用不同的技术架构进行建设，过程相对独立，各个系统的运行部门和运行环境自成体系。但是电力企业的业务数据往往需要多个业务系统协作完成，但是各个系统的部署方式为网、省、市多级部署，从而导致系统间数据流转和处理困难，难于将不同地域、不同系统之间的数据进行很好的流转和处理。现阶段对于系统间需要进行数据交互时，通常采用硬编码的方式，通过WebService、gRPC等方式直接点对点集成，这样的集成方式，会增加开发和运维的成本。同时各业务信息系统的可用性和可维护性也降低。
[0003]在此背景下,有必要开展有关电力企业数据路由的研究工作,针对电力企业的数据体系结构、数据组织、数据发布、数据共享、数据流转和数据应用等各个环节进行研究和设计，提供一种实现电力分布式系统间数据路由处理的方法，用于高效地处理不同系统中的数据流转和处理，以保证各业务信息系统的稳定运行。

技术实现思路

[0004]本专利技术目的在于提供一种实现电力分布式系统间数据路由处理的方法及存储介质，以应用于不同系统间数据的流转、处理。
[0005]针对上述目的，本专利技术提供的技术方案为：
[0006]一种实现电力分布式系统间数据路由处理的方法，其核心是通过将一种实现数据路由方法计算机程序嵌入在应用程序或者植入在芯片上，实现了将数据流转、转换的策略从应用系统的应用逻辑代码中分离出来，这种处理方法是可以通过配置化实现。使用该方法可以把复杂、冗余的业务规则同整个支撑的业务系统分离开，做到架构、构件的可复用。
[0007]本专利技术包括下列步骤：
[0008]步骤101，API网关接收数据(异步处理)：
[0009]使用统一的数据网关，接收业务数据，支持WebService、Restful、gRPC等方式，支持配置中心：apollo、nacos，支持注册中心：eureka、nacos。最大程度的兼容各不同系统间的接口形式。使用FastHttp实现高性能网关，在性能超越Nginx。由于采用的异步数据处理方式，不会造成业务系统的等待和阻塞。另一方面也将点对点集成方式改为了星型的集成方式，提升了系统间的可用性、可维护性和安全性。同时对于分布式部署的系统，我们也采用分布式的方式进行系统部署，就像使用“路由器”进行数据的“组网”。具体过程：
[0010]步骤1：业务系统接收用户的请求，业务系统在接收到用户输入的业务数据请求信
息。
[0011]步骤2：业务系统将需要流转的数据写入消息队列。
[0012]步骤3：处理程序将消息队列中的数据转发给数据路由服务的API网关进行处理。
[0013]步骤102，数据路由器分发数据(数据分流)：
[0014]基于路由表来确定对数据的处理(弃、存储数据库或者转发其他路由节)。结合路由表，对于业务系统传递过来的数据，数据内容中要求必须包含其他路由节点的主机名，路由表通过匹配主机名，找到对应路由节点的API网关地址。若没有完成数据路由，则进行异常数据日志记录，用于审计分析。根据路由表可以将数据分发到一个或者N个数据路由中心进行处理。若当前的数据处理中心与当前路由节点一致，则进入后续处理；若主机名与当前路由节点不一致，则将数据转发到对应的路由节点，由下一个路由节点继续对数据进行处理。
[0015]具体步骤如下：
[0016]步骤1：路由中心从消息队列中获取需要流转的业务数据；
[0017]步骤2：查询路由表，通过业务数据中的业务系统标识获取出接口地址以及接口类型；
[0018]步骤3:如果找到出接口则通过特定的转发器将数据进行转发；
[0019]步骤4：如果没有找到出接口，则将数据进行记录，并告知源系统该异常情况。
[0020]步骤103，数据清洗器清洗数据(解耦合)：
[0021]通过清洗器简化业务系统的处理逻辑和压力。由于各个节点的业务系统由于属地的特点存在差异性，所以我们采用规则引擎将数据清洗的工作从应用逻辑分离，使得更为适应性更高、系统的稳定性也更高，另一方面业务系统不要在做复杂的逻辑校验和转化工作降低业务系统压力。基于这个目标，我们根据决策树的语法设计了一套业务处理规则，具体步骤如下：
[0022]步骤1：确定数据报文属于的业务域；
[0023]步骤2：确定数据报文属于的数据模型；
[0024]步骤3：根据报文的特征决定报文的分类，找到适合的数据转换器；
[0025]步骤4：根据配置的转换规则数据报文数据的转换；
[0026]步骤5：输出目标报文。
[0027]步骤104，数据处理(削峰填谷)：
[0028]通过前面的步骤已经实现了一定的削峰填谷的操作，但是我们也要避免在早晚高峰期，大量的数据激增，造成业务系统压力剧增，引起宕机的风险。为此采用Kafka作为消息队列进行。
[0029]步骤1：数据处理器从数据清洗队列中获取待业务系统处理的数据；
[0030]步骤2：处理器将数据处理到数据库或再次分发到二级队列；
[0031]步骤3：业务系统根据处理能力处理数据，依次从队列中获取数据进行处理。
[0032]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序能够被处理器执行以实现本专利技术的实现电力分布式系统间数据路由处理的方法的步骤。
[0033]本专利技术的有益效果
[0034]本专利技术通过“数据路由器”实现数据的组网，使得分布式部署的业务系统间的数据
流转如同在一个系统间进行流转，数据的路由流转逻辑和业务逻辑进行分离，有效了保证了业务系统的稳定运行。同时通过异步处理、数据分流、解耦合、削峰填谷可以适应海量的数据请求和处理，解决了在高峰期容易出现业务系统要处理大量流转数据发生性能下降和宕机等问题。
附图说明
[0035]图1：数据路由网关部署图。
[0036]图2：异步处理接收数据的操作示意图。
[0037]图3：使用规则引擎对待办状态字段进行转换归类示意图。
[0038]图4：使用规则引擎对待办中的时间字段进行转换示意图。
[0039]图5：削峰填谷数据处理流程图。
具体实施方式
[0040]一种实现电力分布式系统间数据路由处理的方法，包括下列步骤：
[0041]步骤101，API网关接收数据(异步处理)：
[0042]如图1和图2所示，使用统一的数据网关，接收业务数据，支持WebService、Restful、gRPC等方式，支持配置中心：apollo、na本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现电力分布式系统间数据路由处理的方法，其特征在于，包括下列步骤：步骤101，API网关接收数据，包括：使用统一的数据网关接收业务数据，支持WebService、Restful和gRPC方式，支持配置中心包括：apollo、nacos，支持注册中心包括：eureka、nacos；兼容各不同系统间的接口形式；使用FastHttp实现高性能网关；采用的异步数据处理方式，用于避免造成业务系统的等待和阻塞；将点对点集成方式改为了星型的集成方式，用于提升系统间的可用性、可维护性和安全性；采用分布式的方式进行系统部署，就像使用“路由器”进行数据的“组网”；步骤102，数据路由器分发数据，包括：基于路由表来确定对数据的处理；结合路由表，对于业务系统传递过来的数据，数据内容中要求必须包含其他路由节点的主机名，路由表通过匹配主机名，找到对应路由节点的API网关地址；若没有完成数据路由，则进行异常数据日志记录，用于审计分析；根据路由表将数据分发到一个或者N个数据路由中心进行处理；若当前的数据处理中心与当前路由节点一致，则进入后续处理；若主机名与当前路由节点不一致，则将数据转发到对应的路由节点，由下一个路由节点继续对数据进行处理；步骤103，数据清洗器清洗数据，包括：通过清洗器简化业务系统的处理逻辑和压力；采用规则引擎将数据清洗的工作从应用逻辑分离；步骤104，削峰填谷数据处理，包括：采用Kafka作为消息队列，用于避免在早晚高峰期出现数据激增。2.根据权利要求1所述的方法，其特征在于，所述步骤101还包括：(1)业务系统接收用户的请求，业务系统在接收到用户输入的业务数据请求信息；(2)业务系统将需要流转的数据写入消息队列；(3)处理程序将消息...

【专利技术属性】
技术研发人员：陈恩邦，
申请(专利权)人：昆明能讯科技有限责任公司，
类型：发明
国别省市：