一种基于信创环境的实时计算框架搭建方法技术

本发明专利技术提供一种基于信创环境的实时计算框架搭建方法，包括步骤：S101、搭建分布式环境，所述分布式环境基于流批一体处理框架的独立集群模式实现；S102、使用第一测试用例对分布式环境性能进行测试；S103、使用第二测试用例对分布式环境在大数据量的计算场景下的可靠性进行测试；S104、完成分布式环境对外公开的应用程序接口的抽象，从而提供针对静态批次数据、流式数据的数据操作功能；S105、基于配网的业务需求，在分布式环境中实现相应的业务功能。本发明专利技术以Apache Flink为实时计算框架基础，实现流批一体实时计算，优化、提升其应用容错能力，满足电网应用场景的低延时、高呑吐、高健壮等方面的要求。健壮等方面的要求。健壮等方面的要求。

【技术实现步骤摘要】
一种基于信创环境的实时计算框架搭建方法


[0001]本专利技术涉及实时计算框架
，尤其涉及一种针对静态批次数据、流式数据的基于信创环境的实时计算框架搭建方法。

技术介绍

[0002]信创环境，即信息技术应用创新环境，指的是国家构建自己的信息技术产业标准和生态，使得IT产品跟技术安全可控。在传统的数据处理流程(离线计算)中，先是收集数据，然后将数据存储到数据库中。当需要某些数据时，可以通过对数据库中的数据做操作，得到所需要的数据，再进行其他相关的处理。这样的处理流程会造成结果数据密集，结果数据密集则数据反馈不及时。对于配网的数据采集、流式存储、实时计算等功能的实现而言，传统的数据处理流程反馈速度慢，难以满足业务场景的需求。对于电网一类的企业所使用的数据处理系统而言，海量数据的高效处理和安全性的高度保障都是不可或缺的，因此有必要基于信创环境搭建一套能够满足配网各种静态批次数据、流式数据处理需求的实时计算框架。

技术实现思路

[0003]鉴于此，本专利技术的目的在于提供一种基于信创环境的实时计算框架搭建方法，以Apache Flink为实时计算框架基础，实现流批一体实时计算，优化、提升其应用容错能力，满足电网应用场景的低延时、高呑吐、高健壮等方面的要求。
[0004]为实现上述专利技术目的，本专利技术提供一种基于信创环境的实时计算框架搭建方法，所述方法包括以下步骤：
[0005]S101、搭建分布式环境，所述分布式环境基于流批一体处理框架的独立集群模式实现；
[0006]S102、使用第一测试用例对分布式环境性能进行测试；
[0007]S103、使用第二测试用例对分布式环境在大数据量的计算场景下的可靠性进行测试；
[0008]S104、完成分布式环境对外公开的应用程序接口的抽象，从而提供针对静态批次数据、流式数据的数据操作功能；
[0009]S105、基于配网的业务需求，在分布式环境中实现相应的业务功能。
[0010]进一步的，步骤S101中，流批一体处理框架采用Flink流计算引擎。
[0011]进一步的，在步骤S102和S103之前，对分布式环境的测试环境进行软硬件配置，分布式环境包括三台服务器node0、node1和node2，其中node0上部署的软件包括Flink Master、Redis、Flink worker、Zookeeper和Kafka broker；node1和node2上部署的软件包括Flink worker、Zookeeper和Kafka broker。
[0012]进一步的，在步骤S102和S103之前，还包括步骤：生成测试数据，测试数据由数据生成器生成，并存储到Kafka中，对于kafka的每个分区，数据生成器首先置入开始标记，用
于标记计算开始，并按预设的程序参数要求生成测试数据，最后在Kafka的每个分区置入结束标记，用于标记计算结束。
[0013]进一步的，步骤S102具体包括以下步骤：
[0014]S201、同步node1、node2和node3的系统时钟；
[0015]S202、将测试数据输入到应用程序中，将应用程序提交到分布式环境的Flink集群中执行，应用程序执行预设算法对测试数据进行处理；
[0016]S203、在应用程序执行结束后获取结果；
[0017]S204、基于应用程序的执行过程获取性能评价指标。
[0018]进一步的，步骤S204中，性能评价指标包括计算总时间和任务调度时间，计算总时间的获取包括以下步骤：
[0019]S301、在应用程序执行过程中，当读取到测试数据中的开始标记时，将当前时间写入Redis中的Key中，将该Key命名为voltage_start，若voltage_start已存在，则取最小值存入；
[0020]S302、当读取到测试数据中的结束标记时，将当前系统时间写入Redis中的另一Key中，将该Key命名为voltage_end，若voltage_end已存在，则取最大值存入，并分别创建名为voltage_time、voltage_end_count的Key，将voltage_end
‑
voltage_start的结果存入voltage_time中，若voltage_time已存在则对其进行更新，更新voltage_end_count为自增1；
[0021]S303、当voltage_end_count与voltage_end_num相等时，读取voltage_time得到计算总时间，voltage_end_num为Kafka分区数；
[0022]任务调度时间通过读取Flink JobManager的日志信息计算得到。
[0023]进一步的，步骤S105中，在分布式环境中实现低电压检测业务场景下的数据链路和数据处理算法，数据处理算法包括以下步骤：
[0024]S401、数据从数据源进入Kafka，Kafka中每个分区内的数据格式均为D
(mpoint)(mptime)
，其中mpoint表示计量点编号，mptime表示计量点获取数据时间；
[0025]S402、Flink Kafka Connector从Kafka中读取数据，按照数据的Key进行划分，将其发往对应处理该Key的Flink worker；
[0026]S403、Flink worker维护一个KeyedState，每个Key对应一个State，在接收到数据时，Flink worker对当前Key的State进行更新，并在所接收数据的mptime对应的一天结束时注册事件；
[0027]S404、当新一天的数据到来时，将该数据的mptime作为event time触发Flink的watermark更新，使得之前注册的事件被触发，汇总前一天所有数据的State被存储到Redis中，并把State更新为初始状态。
[0028]进一步的，当Kafka有多个分区时，检测对应时间区间的状态已经输出的元素对于迟到的数据，将其从Redis中取回State，更新后重新写回。
[0029]进一步的，在实现低电压检测业务场景下的数据处理算法时，对数据处理算法进行优化，所述优化包括复用DataFormat对象，使用Unix时间戳代替Date对象，复用Random对象。
[0030]进一步的，在触发watermark更新时，对每个mpoint管理各自的watermark和结果
输出时间。
[0031]与现有技术相比，本专利技术的有益效果是：
[0032]本专利技术提供的一种基于信创环境的实时计算框架搭建方法，首先基于流批一体处理框架搭建分布式环境，随后分别通过第一测试用例、第二测试用例充分测试分布式环境的性能和在大数据量的计算场景下的可靠性，以便根据测试结果优化分布式环境配置，随后完成分布式环境对外公开的应用程序接口的抽象，从而提供针对静态批次数据、流式数据的数据操本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信创环境的实时计算框架搭建方法，其特征在于，所述方法包括以下步骤：S101、搭建分布式环境，所述分布式环境基于流批一体处理框架的独立集群模式实现；S102、使用第一测试用例对分布式环境性能进行测试；S103、使用第二测试用例对分布式环境在大数据量的计算场景下的可靠性进行测试；S104、完成分布式环境对外公开的应用程序接口的抽象，从而提供针对静态批次数据、流式数据的数据操作功能；S105、基于配网的业务需求，在分布式环境中实现相应的业务功能。2.根据权利要求1所述的一种基于信创环境的实时计算框架搭建方法，其特征在于，步骤S101中，流批一体处理框架采用Flink流计算引擎。3.根据权利要求2所述的一种基于信创环境的实时计算框架搭建方法，其特征在于，在步骤S102和S103之前，对分布式环境的测试环境进行软硬件配置，分布式环境包括三台服务器node0、node1和node2，其中node0上部署的软件包括Flink Master、Redis、Flink worker、Zookeeper和Kafka broker；node1和node2上部署的软件包括Flink worker、Zookeeper和Kafka broker。4.根据权利要求2所述的一种基于信创环境的实时计算框架搭建方法，其特征在于，在步骤S102和S103之前，还包括步骤：生成测试数据，测试数据由数据生成器生成，并存储到Kafka中，对于kafka的每个分区，数据生成器首先置入开始标记，用于标记计算开始，并按预设的程序参数要求生成测试数据，最后在Kafka的每个分区置入结束标记，用于标记计算结束。5.根据权利要求4所述的一种基于信创环境的实时计算框架搭建方法，其特征在于，步骤S102具体包括以下步骤：S201、同步node1、node2和node3的系统时钟；S202、将测试数据输入到应用程序中，将应用程序提交到分布式环境的Flink集群中执行，应用程序执行预设算法对测试数据进行处理；S203、在应用程序执行结束后获取结果；S204、基于应用程序的执行过程获取性能评价指标。6.根据权利要求5所述的一种基于信创环境的实时计算框架搭建方法，其特征在于，步骤S204中，性能评价指标包括计算总时间和任务调度时间，计算总时间的获取包括以下步骤：S301、在应用程序执行过程中，当读取到测试数据中的开始标记时，将当前时间写入Redis中的Key中，将该Key命名为voltage_start，若voltage_start已存在，则取最小值存入；S302、当读取到测试数据中的结束标记时，将当前系统时间写入Redis中的另一Key中，将该Key命名为volta...

【专利技术属性】
技术研发人员：陈彬，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：