基于Flink的站点滑动降雨量累积实时计算方法及系统技术方案

本发明专利技术公开了基于Flink的站点滑动降雨量累积实时计算方法及系统，属于数据处理技术领域，要解决的技术问题为如何准确快速的计算累计降雨量，并提高站点累计降雨的计算频次。包括如下步骤：对于各个雨量监测站基于预定频率定时上报雨量监测数据，通过Flink的连接器接入每个雨量监测站上报的雨量监测数据，并对雨量监测数据进行解析得到雨量监测值；通过Flink分布式计算每个雨量监测站在各个预定长度时间段的滑动降雨累积量；将每个雨量监测站在各个预定长度时间段的滑动降雨累积量存储至数据库；通过Flink提供的界面展示每个雨量监测站在各个预定长度时间段的滑动降雨累积量，并提供滑动降雨累积量查询。并提供滑动降雨累积量查询。并提供滑动降雨累积量查询。

【技术实现步骤摘要】
基于Flink的站点滑动降雨量累积实时计算方法及系统


[0001]本专利技术涉及数据处理
，具体地说是基于Flink的站点滑动降雨量累积实时计算方法及系统。

技术介绍

[0002]Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据引擎。Flink以数据并行(分布式)和流水线方式执行任意流数据程序，Flink的流水线运行系统可以执行批处理和流处理程序。
[0003]站点降雨累积是指测站降雨累积统计，目前常用的降雨累积量是整点降雨累积量，有1小时、3小时、6小时、12小时、24小时降雨累积量。小时降雨定义为每1小时的降雨累积量，整点数据为上1个小时的总降雨量。
[0004]随着监测技术的提高，目前雨量站的监测频率普遍提高到5分钟1次，提供了更加准确的实时数据。降雨累积量的统计提升到每5分钟累计一次，可以更准确的获得降雨累积以及降雨极值出现的时间。通过使用Flink分布式流处理引擎技术，可将实时上报的降雨数据进行累计计算，从而将累积降雨量的统计尺度由原来的整时段统计，提升到每5分钟1次累积降雨量统计，得到更精细频次的累积降雨量，为滑动降雨累积计算和雨量极值发生的时间点定位提供了更准确更快速的技术手段。
[0005]如何准确快速的计算累计降雨量，并提高站点累计降雨的计算频次，是需要解决的计算问题。

技术实现思路

[0006]本专利技术的技术任务是针对以上不足，提供基于Flink的站点滑动降雨量累积实时计算方法及系统，来解决如何准确快速的计算累计降雨量，并提高站点累计降雨的计算频次的技术问题。
[0007]第一方面，本专利技术的一种基于Flink的站点滑动降雨量累积实时计算方法，包括如下步骤：
[0008]对于各个雨量监测站基于预定频率定时上报雨量监测数据，通过Flink的连接器接入每个雨量监测站上报的雨量监测数据，并对雨量监测数据进行解析得到雨量监测值；
[0009]基于各个雨量监测站对应的雨量监测值，通过Flink分布式计算每个雨量监测站在各个预定长度时间段的滑动降雨累积量；
[0010]将每个雨量监测站在各个预定长度时间段的滑动降雨累积量存储至数据库；
[0011]通过Flink提供的界面展示每个雨量监测站在各个预定长度时间段的滑动降雨累积量，并提供每个雨量监测站在各个预定长度时间段的滑动降雨累积量查询。
[0012]作为优选，通过Flink的连接器接入每个雨量监测站上报的雨量监测数据之前，通过Flink提供的流数据Datastream API或Batch Processing API获取执行环境。
[0013]作为优选，所述雨量监测数据为报文格式；
[0014]通过Flink的连接器接入每个雨量监测站上报的雨量监测数据后，基于报文解析协议对雨量监测数据进行解析得到雨量监测值。
[0015]作为优选，将每个雨量监测站在各个预定长度时间段的滑动降雨累积量存储至数据库之前，Flink基于Sink方法与数据库建立连接。
[0016]作为优选，还包括如下步骤：
[0017]基于每个雨量监测站在各个预定长度时间段的滑动降雨累积量，生成各个雨量监测站的单日降雨累计曲线，并通过Flink提供的界面展示各个雨量监测站的单日降雨累计曲线。
[0018]第二方面，本专利技术的一种基于Flink的站点滑动降雨量累积实时计算系统，用于通过如第一方面任一项所述的一种基于Flink的站点滑动降雨量累积实时计算方法计算各个雨量监测站的滑动降雨累积量，所述系统包括：
[0019]数据库；
[0020]Flink，所述Flink通过界面与用户交互，用于执行：
[0021]对于各个雨量监测站基于预定频率定时上报雨量监测数据，通过连接器接入每个雨量监测站上报的雨量监测数据，并对雨量监测数据进行解析得到雨量监测值；
[0022]基于各个雨量监测站对应的雨量监测值，分布式计算每个雨量监测站在各个预定长度时间段的滑动降雨累积量；
[0023]将每个雨量监测站在各个预定长度时间段的滑动降雨累积量存储至数据库；
[0024]通过界面展示每个雨量监测站在各个预定长度时间段的滑动降雨累积量，并提供每个雨量监测站在各个预定长度时间段的滑动降雨累积量查询。
[0025]作为优选，所述Flink通过连接器接入每个雨量监测站上报的雨量监测数据之前，用于通过流数据Datastream API或Batch Processing API获取执行环境。
[0026]作为优选，所述雨量监测数据为报文格式；
[0027]所述Flink通过连接器接入每个雨量监测站上报的雨量监测数据后，用于基于报文解析协议对雨量监测数据进行解析得到雨量监测值。
[0028]作为优选，将每个雨量监测站在各个预定长度时间段的滑动降雨累积量存储至数据库之前，所述Flink用于基于Sink方法与数据库建立连接。
[0029]作为优选，所述Flink还用于执行：
[0030]基于每个雨量监测站在各个预定长度时间段的滑动降雨累积量，生成各个雨量监测站的单日降雨累计曲线，并通过界面展示各个雨量监测站的单日降雨累计曲线。
[0031]本专利技术的基于Flink的站点滑动降雨量累积实时计算方法及系统具有以下优点：
[0032]1、各个雨量监测站通过预定的上报频率定时上报雨量监测数据，实现了雨量监测数据的实时累计计算，改变了原来降雨量极值发生的时间只能是整点数据统计，提高了降雨极值发生时间段判断的准确性，对暴雨、特大暴雨等极端天气的研究，提高了准确性和可靠性；
[0033]2、可对多个站点进行分布式同步计算，提高了计算效率，节省了计算时间；
[0034]2、能支持整时段滑动降雨累积和非整时段滑动降雨累积计算，可应用到日降雨量累积计算中，提升了累积降雨计算频次，可准确、快速、有效地计算日降雨累积数值、小时降雨量极值发生时间，同时可准确定位降雨极值发生的时间。
附图说明
[0035]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]下面结合附图对本专利技术进一步说明。
[0037]图1为实施例1一种基于Flink的站点滑动降雨量累积实时计算方法的流程框图。
具体实施方式
[0038]下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定，在不冲突的情况下，本专利技术实施例以及实施例中的技术特征可以相互结合。
[0039]本专利技术实施例提供基于Flink的站点滑动降雨量累积实时计算方法及系统，用于解决如何准确快速的计算累计降本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Flink的站点滑动降雨量累积实时计算方法，其特征在于，包括如下步骤：对于各个雨量监测站基于预定频率定时上报雨量监测数据，通过Flink的连接器接入每个雨量监测站上报的雨量监测数据，并对雨量监测数据进行解析得到雨量监测值；基于各个雨量监测站对应的雨量监测值，通过Flink分布式计算每个雨量监测站在各个预定长度时间段的滑动降雨累积量；将每个雨量监测站在各个预定长度时间段的滑动降雨累积量存储至数据库；通过Flink提供的界面展示每个雨量监测站在各个预定长度时间段的滑动降雨累积量，并提供每个雨量监测站在各个预定长度时间段的滑动降雨累积量查询。2.根据权利要求1所述的基于Flink的站点滑动降雨量累积实时计算方法，其特征在于，通过Flink的连接器接入每个雨量监测站上报的雨量监测数据之前，通过Flink提供的流数据Datastream API或Batch Processing API获取执行环境。3.根据权利要求1所述的基于Flink的站点滑动降雨量累积实时计算方法，其特征在于，所述雨量监测数据为报文格式；通过Flink的连接器接入每个雨量监测站上报的雨量监测数据后，基于报文解析协议对雨量监测数据进行解析得到雨量监测值。4.根据权利要求1所述的基于Flink的站点滑动降雨量累积实时计算方法，其特征在于，将每个雨量监测站在各个预定长度时间段的滑动降雨累积量存储至数据库之前，Flink基于Sink方法与数据库建立连接。5.根据权利要求1所述的基于Flink的站点滑动降雨量累积实时计算方法，其特征在于，还包括如下步骤：基于每个雨量监测站在各个预定长度时间段的滑动降雨累积量，生成各个雨量监测站的单日降雨累计曲线，并通过Flink提供的界面展示各个雨量监测站的单日降雨累计曲线。6.一种基于Flink的站点滑动降雨量累积实时计算系统，其特征在于，用于通过如权利要求1
...

【专利技术属性】
技术研发人员：于春蕾，朱家兵，蔡军凯，房爱印，尹曦萌，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：