一种城市水管家集控系统中的外部数据处理方法技术方案

本发明专利技术公开了一种城市水管家集控系统中的外部数据处理方法，数据采集时，将成串的数据处理成信文格式，增加时间戳字段，当数据变位时进行存储，存储规则为：当数据变化间隔小于T个采集周期时，不带时间戳存储，当数据变化间隔大于等于T个采集周期变化时，带时间戳存储，中间数据不再存储。本发明专利技术提供的一种城市水管家集控系统中的外部数据处理方法，提出了时间戳数据信文处理格式，支持10万条以上现地站点数据的实时处理，综合统计通信负载降低、CPU处理开销降低约50%以上。CPU处理开销降低约50%以上。

【技术实现步骤摘要】
一种城市水管家集控系统中的外部数据处理方法


[0001]本专利技术属于城市供水系统数据处理
，特别涉及一种城市水管家集控系统中的外部数据处理方法。

技术介绍

[0002]水管家集控系统是将一个城市所有的厂网河、供排涝等涉水资产(包括：供水厂、净水厂、污水泵站、排涝泵站、调蓄池以及排水管网、河道等)数据进行集成，实现城市水管家集约化管控管理的目标。
[0003]数据是城市水管家的核心要素，需要充分利用前端信息化设备的建设成果，充分整合厂站、在线监测等水资源等相关专业的数据采集成果，首先构建水务数据处理的先进办法，开发水务数据处理程序，最后依托水务数据处理程序对各类水务数据进行统筹处理。保证数据的有效性、可用性、时效性，达到“健全水务数据资源体系、实现水务数据有序共享开放、深化水务数据开发应用”三大目标。
[0004]加强厂站网末梢智能感知建设，优化厂站网工程基础数据采集能力，利用优化后的数据处理等技术，有效辅助水管家运行基础数据采集，降低水务基础数据采集综合管理成本，从而提升各类数据采集项目的工作效率和成果质量。
[0005]水管家系统内的数据类型主要包括：采集的站点的开关量、模拟量、温度量、脉冲量、通信等信息。包含水位、开度、温度、压力、流量，以及主要设备的电压、电流、有功功率、无功功率、功率因素、励磁电压、励磁电流等。
[0006]数据处理是为了便于数据存储和查询，存储包括对模拟量、开关量、温度量、脉冲量等信息按照要求进行分类存储；每个开关量数据包含了1
‑
>0描述、取反、0
‑
>1报警、0
‑
>1登录、0
‑
>1寻呼、事件启动、上位机报警、远动、双节点、双节点名、0
‑
>1语音号、镜头号、报警时间阀值、报警次数阀值等配置功能等参数性质。每个模拟量数据包含低信号、高信号、低量程、高量程、高高限、高限、低限、低低限、越复限死区、刷新死区、零漂、报警、梯度报警、入历史库入库频度等参数性质。
[0007]上述大量需要采集处理的数据，不但占用通信带宽及CPU处理开销，而且占用存储空间，造成数据查询时间加长，降低软件使用效果，影响系统的运行。
[0008]现有技术通过减少数据量，提高存储效率，一般进行处理的方法分为两种：
[0009]1、降低采集存储频率，牺牲数据采集面，只采集关键、重要的部分数据，从而提高数据存储的效率；
[0010]2、减少数据参数性质。这种技术首先在技术上没有实质性改变，在减少通信带宽占有率、数据处理开销上成效不高。
[0011]上述缺点造成的数据的不完善、不丰富，对实现水管家精细化运维、一体化调度等智能应用带来较大影响。
[0012]目前对于多站点大量数据处理方法，行业内大部分数据采集处理程序对数据不进行优化处理，只是对采集数据的数量进行调整。这种方式没有从根本上优化数据处理办法，
只是简单的对数据量进行删减。

技术实现思路

[0013]本专利技术的目的在于针对现有技术的不足，提出一种城市水管家集控系统中的外部数据处理方法，通过该方法可解决水管家的大量站点的海量数据涌入后，造成的数据查询效率低，占用了大量的数据存储空间问题，以及大量的数据传输占用了较高的通信带宽及CPU处理开销，影响了水管家系统运行的稳定性的问题。
[0014]本专利技术的技术目的是通过以下技术方案得以实现的：一种城市水管家集控系统中的外部数据处理方法，数据采集时，将成串的数据处理成信文格式，增加时间戳字段，当数据变位时进行存储，存储规则为：当数据变化间隔小于T个采集周期时，不带时间戳存储，当数据变化间隔大于等于T个采集周期变化时，带时间戳存储，中间数据不再存储。
[0015]优选的，其中带时间戳的数据报文头占用报文特征码、日、时、分、秒5个地址空间。
[0016]优选的，所述数据为城市水管家系统中的压力、流量、电流、电压、开度和温度数据。
[0017]优选的，数据采集后，后端数据处理程序将数据进行计算处理，然后存入实时数据库，对采集到的数据进行运算前，先判断数据是否发生变化，当数据变化时进行计算处理，当数据未发生变化时不重复进行计算处理。
[0018]相比于现有技术，本专利技术具有以下有益效果：
[0019]1、本专利技术提供的一种城市水管家集控系统中的外部数据处理方法，提出了时间戳数据信文处理格式，支持10万条以上现地站点数据的实时处理，综合统计通信负载降低、CPU处理开销降低约50％以上。
[0020]2、本专利技术提供的一种城市水管家集控系统中的外部数据处理方法，提出了逢变再算的数据处理方式，综合统计节省存储空间、查询时间降低约50％以上；可以进一步优化算法，规定时间周期是T，使得T可以根据数据保持周期数不同，而实时自适应变化，可以达到此方式数据存储压缩的最优化。
具体实施方式
[0021]下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]作为本专利技术的一种优选实施例，本实施例提供一种城市水管家集控系统中的外部数据处理方法，数据采集时，将成串的数据处理成信文格式，增加时间戳字段，当数据变位时进行存储，存储规则为：当数据变化间隔小于T个采集周期时，不带时间戳存储，当数据变化间隔大于等于T个采集周期变化时，带时间戳存储，中间数据不再存储。在优选实施例中，参见下表1，其中带时间戳的数据报文头占用报文特征码、日、时、分、秒5个地址空间。
[0023][0024]表1
[0025]上述实施例对数据处理后，对于变化频繁的数据，存储空间降低不明显。但是对于变化不频繁的数据存储的空间会大大降低。例如：对于变化可能比较频繁的压力、流量、电流等数据，存储空间降低效果不是很明显，但是对于绝大部分开关量、部分变化不频繁或者变化速度慢的模拟量和温度量(例如电压、开度、温度)数据，存储空间将大大降低。
[0026]例如：100个数据按照原来的数据存储方式，共计需要106个地址空间：即【带时间戳的报文头5】【数据长度】【6.1、8.3、2.2、6.6、
…
(82个6.6)
…
、7.8、2.1、5.5、4.9】，此报文长度共计106个地址空间；
[0027]按照上述方法对数据处理后，这100个数据共计占用33个地址空间：即【带时间戳的报文头5】【数据长度】6.1、8.3、2.2，此报文长度9个地址空间；
[0028]和【带时间戳的报文头5】【数据长度】6.6，此报文长度7个地址空间；
[0029]和【带时间戳的报文头5】【数据长度】6.6，此报文长度7个地址空间；
[0030]和【带时间戳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种城市水管家集控系统中的外部数据处理方法，其特征在于，数据采集时，将成串的数据处理成信文格式，增加时间戳字段，当数据变位时进行存储，存储规则为：当数据变化间隔小于T个采集周期时，不带时间戳存储，当数据变化间隔大于等于T个采集周期变化时，带时间戳存储，中间数据不再存储。2.根据权利要求1所述的一种城市水管家集控系统中的外部数据处理方法，其特征在于：其中带时间戳的数据报文头占用报文特征码、日、时、分、秒5个地址空间。...

【专利技术属性】
技术研发人员：刘煜，李天智，王珊珊，黄荣敏，陈翔，熊朝阳，梅长松，李永光，陈姝予，王亦宁，陈向飞，
申请(专利权)人：南京南瑞水利水电科技有限公司，
类型：发明
国别省市：