一种智慧城市海量数据采集优化方法技术

本发明专利技术涉及到对于水利信息化设备的智能控制，并能在特定的事件中通过对数据的快速处理来达到对水利信息化的高效管理。本方法通过在前端数据采集设备中增加事件触发功能，在事件发生过程中能优先将数据发送至分布架构中特定数据仓库中，并在数据仓库设定不同的粒度级并在粒度级上划分不同的数据域，通过对雨量、水位和流量三个关键数据点的抓取，加速在事件中对海量水利数据的批量处理，实现数据存储和访问的高效率，提升整个系统深度数据分析的能力。

An optimized method for massive data collection in smart city

The invention relates to the intelligent control of the water conservancy information equipment, and achieves the efficient management of the water conservancy informatization through the rapid processing of the data in a particular event. This method through the trigger function increase events in the front-end data acquisition equipment, in the course of events will give priority to specific data warehouse data can send to distributed architecture, and in the data warehouse set size different and divided into different data domains in particle size, the rainfall, water level and flow of three key data the crawl, accelerated processing of massive data in bulk water incident, realize the data storage and access efficiency, enhance the capability of the whole system depth data analysis.

【技术实现步骤摘要】
一种智慧城市海量数据采集优化方法
本专利技术涉及一种计算机梳理数据处理方法，特别是一种智慧城市海量数据采集优化方法。
技术介绍
随着现代计算机信息技术的高速发展，结合互联网络，水利行业在信息采集技术和手段、远程数据传输方式、信息后处理方法等方面都取得的较大的进步，并根据行业发展需求分阶段进行了水利信息化建设，并初步构建以智慧水利大数据分析为基础的综合管理平台。伴随着水利前端采集设备越来越智能化、功能集成化程度也越来越高，但在软件方面依旧存在着分散管理、重复开发、复用率低等弊端。
技术实现思路
专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种智慧城市海量数据采集优化方法。为了解决上述技术问题，本专利技术公开了一种智慧城市海量水利数据采集优化方法，包括：步骤1，对已部署的水利数据采集终端设备增加基于事件触发的功能模块；步骤2，对水利数据采集的大数据进行分布式和集中式双架构处理；步骤3，设定触发功能的优先级高低顺序，包括：故障告警模式、事件及时模式以及非实时性中断模式；步骤4，功能模块获取设备运行状态值，功能模块对数据信号进行判断，根据判断规则如否则触发故障告警模式，直接发送设备运行故障信息数据至平台数据交换库，如是则执行步骤5；步骤5，功能模块触发事件及时模式，执行发送水利数据到分布式架构下的事件数据仓库；步骤6，在事件数据仓库中建水利事实数据表、时间维度表、区域维度表、设备特征维度表和水利属性维度表；步骤7，将水利数据的原始信息按时间维度表、区域维度表、设备类型维度表和水利属性维度表分别存入各表；步骤8，将步骤7中的各维度表插入到单一事件事实表和周期事实表中；步骤9，将单一事件事实表进行数据持久操作至底层数据库，事件数据仓库内对于周期事实表中的水利数据进行处理，包括：步骤9.1，抽取以日为时间粒度的水利基础数据并放入缓存；步骤9.2，执行对缓存中的水利数据的查询；步骤9.3，根据查询结果输出以降雨量、水位、流量为三个数据结果集；步骤9.4，将降雨量、水位、流量的数据与设计的参数指标值进行比较，如符合参数指标值，执行步骤10，如否则执行步骤11；步骤10，执行对所得数据结果集的数据持久化；步骤11，执行对所得数据结果集在低粒度级的底层数据库中做更新操作；步骤12，执行对步骤10在事件数据仓库中的事件数据分割；步骤13，执行对步骤11在事件数据仓库中的业务数据分割；步骤14，执行功能模块在系统因资源占用无法继续执行故障告警模式或事件及时模式，或高优先级任务退出后需要实现低优先级任务执行环境的恢复。本专利技术中，步骤1中，水利数据采集终端设备的数据信号经过A/D转换器后通过时钟分配器，设定两个独立的A时钟域和B时钟域，如数据信息不延时，则以A时钟的宽度分配寄存地址；如数据信息延时，则以B时钟的宽度分配到寄存地址；设定寄存数据形成以A时钟和B时钟宽度的并按照时间先后顺序的数据循环队列，数据缓存控制器读取数据循环队列中的数据；在数据缓存控制器中以10个缓存数据为一个周期单元，且把每个单元和与其相邻的两个单元作为一个对前端设备运行状态的判断点；如果单一单元内的缓存数据信息完整度达到85％，且三个单元内的A时钟宽度数据比例不低于60％，同时B时钟宽度数据比例不高于40％，则数据缓存控制器触发事件及时功能并输出数据；否则，则数据缓存控制器触发故障告警但仍输出数据；判断缓存数据控制器中的数据量是否满，如满则中断对数据的输入触发模块的非实时性中断功能，否则继续读取数据。本专利技术中，步骤2中包括：步骤2.1，对水利大数据的分布式架构包括：.对整个水利数据采集区域划分为河道区、泵站闸口区、水库堤坝区以及灌排区；对基于多个河道区，泵站闸口区、水库堤坝区、灌排区的构建相互独立的数据仓库；步骤2.2，对水利大数据的集中式架构包括：基于步骤2.1已建立的分布式数据仓库来建立集中式的数据仓库。本专利技术中，步骤6包括：步骤6.1，构建水利数据单一事件事实表和周期事实表，单一事实表为水利低粒度级，周期事实表为水利事件数据的累积的高粒度级，事件数据表包含高程、水位、流量、雨量、蓄水量、蒸发量、温度以及水流速；步骤6.2，构建水利数据的维度表，无变化维度为区域维度表和设备特征维度表；常变化维度为时间维度表和水利属性维度表。本专利技术中，步骤9中，将降雨量、水位、流量的数据与设计的参数指标值进行比较，包括：河道区、泵站闸口区、水库堤坝区、灌排区四个区域内的实时降雨量有效数据和近一小时时段降雨数值的平均值是否大于警戒的指标值，如低于就判定降雨量数据有效；对于符合以下规则描述的降雨量、水位和流量数据结果集认定为有效数据：在日降雨量数据值在n年平均时段降雨量的正负一个标准差范围内，同一时段的有效水位数据结果集和流量数据结果集的增加或减少的幅度也在上一组数据的正负一个标准差范围内；在日降雨量数据值达到当月平均时段降水数值的正负两个标准差范围内之间，同一时段的有效水位数据结果集和流量数据结果集的增加或减少的幅度也在上一组数据的正负两个标准差范围内以内；在日降雨量数据值超过近8小时降雨量数值的正负三个标准差范围内，同一时段的有效水位数据结果集和流量数据结果集的增加的幅度也在上一组数据的正负三个标准差范围内。附图说明下面结合附图和具体实施方式对本专利技术做更进一步的具体说明，本专利技术的上述和/或其他方面的优点将会变得更加清楚。图1为功能触发模块的逻辑结构图。图2为事件功能触发流程图；图3为数据仓库建表结构图；图4为事件触发的数据优化流程方法图。具体实施方式本专利技术涉及到对于水利信息化设备的智能控制，并能在特定的事件中通过对数据的快速处理来达到对水利信息化的高效管理。本方法通过在前端数据采集设备中增加事件触发功能，在事件发生过程中能优先将数据发送至分布架构中特定数据仓库中，并在数据仓库设定不同的粒度级并在粒度级上划分不同的数据域，通过对雨量、水位和流量三个关键数据点的抓取，加速在事件中对海量水利数据的批量处理，实现数据存储和访问的高效率，提升整个系统深度数据分析的能力。本专利技术针对现有水利信息系统中的缺陷，本专利技术提供基于智慧水利前端数据采集优化一种方法，快速实现对前端采集设备的智能化管理，并在水利的特定事件发生过程中对海量数据的专项处理。本专利技术对于不同类型的水利前端数据采集设备包括水位雨量监测机、泵站/闸口水质水情数据采集器，增加基于事件触发的功能模块对不同设备运行状态的统一监听以及对跨业务类型的数据在水利事件中实现业务协同的快速处理。本专利技术中的事件触发的功能模块，该功能实现逻辑结构为：水利数据采集终端设备的数据信号经过A/D转换器后通过时钟分配器，设定两个独立的A、B时钟域，如数据信息不延时则以A时钟的宽度分配寄存地址；如数据信息延时则以B时钟的宽度分配到寄存地址；设定寄存数据形成以A、B时钟宽度的并按照时间先后顺序的数据循环队列，数据缓存控制器读取数据循环队列中的数据，在数据缓存控制器中以10个缓存数据为一个周期单元且把每个单元和与其相邻的两个单元作为一个对前端设备运行状态的判断点，单一单元内的缓存数据信息完整度达到85％且三个单元内的A时钟宽度数据比例不低于60％同时B时钟宽度数据比例不高于40％，则数据缓存控制器触发事件及时功能并输出数据；如否则数据缓存控制本文档来自技高网...

【技术保护点】
一种智慧城市海量水利数据采集优化方法，其特征在于，包括：步骤1，对已部署的水利数据采集终端设备增加基于事件触发的功能模块；步骤2，对水利数据采集的大数据进行分布式和集中式双架构处理；步骤3，设定触发功能的优先级高低顺序，包括：故障告警模式、事件及时模式以及非实时性中断模式；步骤4，功能模块获取设备运行状态值，功能模块对数据信号进行判断，根据判断规则如否则触发故障告警模式，直接发送设备运行故障信息数据至平台数据交换库，如是则执行步骤5；步骤5，功能模块触发事件及时模式，执行发送水利数据到分布式架构下的事件数据仓库；步骤6，在事件数据仓库中建水利事实数据表、时间维度表、区域维度表、设备特征维度表和水利属性维度表；步骤7，将水利数据的原始信息按时间维度表、区域维度表、设备类型维度表和水利属性维度表分别存入各表；步骤8，将步骤7中的各维度表插入到单一事件事实表和周期事实表中；步骤9，将单一事件事实表进行数据持久操作至底层数据库，事件数据仓库内对于周期事实表中的水利数据进行处理，包括：步骤9.1，抽取以日为时间粒度的水利基础数据并放入缓存；步骤9.2，执行对缓存中的水利数据的查询；步骤9.3，根据查询结果输出以降雨量、水位、流量为三个数据结果集；步骤9.4，将降雨量、水位、流量的数据与设计的参数指标值进行比较，如符合参数指标值，执行步骤10，如否则执行步骤11；步骤10，执行对所得数据结果集的数据持久化；步骤11，执行对所得数据结果集在低粒度级的底层数据库中做更新操作；步骤12，执行对步骤10在事件数据仓库中的事件数据分割；步骤13，执行对步骤11在事件数据仓库中的业务数据分割；步骤14，执行功能模块在系统因资源占用无法继续执行故障告警模式或事件及时模式，或高优先级任务退出后需要实现低优先级任务执行环境的恢复。...

【技术特征摘要】
1.一种智慧城市海量水利数据采集优化方法，其特征在于，包括：步骤1，对已部署的水利数据采集终端设备增加基于事件触发的功能模块；步骤2，对水利数据采集的大数据进行分布式和集中式双架构处理；步骤3，设定触发功能的优先级高低顺序，包括：故障告警模式、事件及时模式以及非实时性中断模式；步骤4，功能模块获取设备运行状态值，功能模块对数据信号进行判断，根据判断规则如否则触发故障告警模式，直接发送设备运行故障信息数据至平台数据交换库，如是则执行步骤5；步骤5，功能模块触发事件及时模式，执行发送水利数据到分布式架构下的事件数据仓库；步骤6，在事件数据仓库中建水利事实数据表、时间维度表、区域维度表、设备特征维度表和水利属性维度表；步骤7，将水利数据的原始信息按时间维度表、区域维度表、设备类型维度表和水利属性维度表分别存入各表；步骤8，将步骤7中的各维度表插入到单一事件事实表和周期事实表中；步骤9，将单一事件事实表进行数据持久操作至底层数据库，事件数据仓库内对于周期事实表中的水利数据进行处理，包括：步骤9.1，抽取以日为时间粒度的水利基础数据并放入缓存；步骤9.2，执行对缓存中的水利数据的查询；步骤9.3，根据查询结果输出以降雨量、水位、流量为三个数据结果集；步骤9.4，将降雨量、水位、流量的数据与设计的参数指标值进行比较，如符合参数指标值，执行步骤10，如否则执行步骤11；步骤10，执行对所得数据结果集的数据持久化；步骤11，执行对所得数据结果集在低粒度级的底层数据库中做更新操作；步骤12，执行对步骤10在事件数据仓库中的事件数据分割；步骤13，执行对步骤11在事件数据仓库中的业务数据分割；步骤14，执行功能模块在系统因资源占用无法继续执行故障告警模式或事件及时模式，或高优先级任务退出后需要实现低优先级任务执行环境的恢复。2.根据权利要求1所述的方法，其特征在于，步骤1中，水利数据采集终端设备的数据信号经过A/D转换器后通过时钟分配器，设定两个独立的A时钟域和B时钟域，如数据信息不延时，则以A时钟的宽度分配寄存地址；如数据信息延时，则以B时钟的宽度分配到寄存地址；设定寄存数据形成以A时钟和B时钟宽度的并按照时间先后顺序的数据循环队列，数据缓存控制器读取数据循环队列中的数据；在数据缓存控制器中以10个缓存数据为...

【专利技术属性】
技术研发人员：林珂，马奉先，马乐，徐元晓，徐啸峰，赵海洋，胡蔚，
申请(专利权)人：江苏省邮电规划设计院有限责任公司，
类型：发明
国别省市：江苏,32